让docker构建nodejs应用时使用npm缓存加速安装

我的node应用在原本的部署脚本下,每次部署都要十几分钟,而我的项目又不适合多阶段构建,于是想了各种办法让它使用镜像layer缓存一部分安装过程,但是多多少少都有点问题。

看来想要不出问题的话还是要在部署的时候让安装过程完整跑一次,这样要缩短部署时间就只能尽量利用npm缓存。

第一步:挂个外部缓存

我本来以为dockerfile构建过程中是没法像容器那样绑定一个volume来让过程文件持久化的,但是昨天我才发现其实是有的,就是要更新一下docker,这是Buildkit特性的一部分,这个特性在18.09版本之后的docker才有,总之尽量把docker升级到最新版就可以用了。

使用方法很简单,如下Dockerfile:

FROM node:18.18.1-buster-slim
RUN apt update &&\
	apt install -y git openssh-client python3 curl
COPY ./deploy /deploy
COPY ./app/ /app
RUN --mount=type=cache,target=/root/.npm \   #在RUN命令的开头这样写来挂一个缓存目录,这个mount参数需要在每个要使用此缓存的命令里都写一遍
	sh /deploy/install.sh   #然后执行你的安装脚本
WORKDIR "/deploy"
ENTRYPOINT ["/bin/sh"]
CMD [ "./start.sh" ]
EXPOSE 80

这样在这个dockerfile构建过程中就会把构建容器的`/root/.npm`映射到通用的docker缓存里,而且我测试下来如果在其它镜像里也挂载同样的缓存,那么其它镜像构建的时候也可以使用该缓存,但我其它镜像的FROM镜像都是相同的,不知道如果来源镜像变了是否会影响缓存挂载。

注意:~/.npm 是linux下npm默认的缓存目录,但默认缓存目录是可以更改的,如果你的项目里修改了npm的默认缓存目录地址,那么这里也要一起改。或者如果你的平台比较特殊,npm的默认目录本来就不在这里,那么也要进行对应的修改。

除了挂载缓存(type=cache)以外,还可以绑定外部文件或目录(type=bind),相关资料在这里https://docs.docker.com/build/guide/mounts/,不过这个文档有点迷惑,没写source和target哪个是里面哪个是外面的,我在source里面写外部路径它给我报文件不存在,然后我就直接用cache了,没再继续尝试。

如果你觉得构建过程缓存的文件有问题,或者单纯想清除这些缓存,可以根据这里的方法,执行以下命令:

docker builder prune --filter type=exec.cachemount

如果没有效果,可以尝试去掉–filter及其参数。

第二步:让npm优先使用缓存(可选)

npm在安装依赖时,即使本地有缓存,也会向服务器发起请求检查每个本地的缓存有没有过期,这个过程也很漫长。其实一般即使缓存过期了也问题不大,因为正常来说同一个版本号的包其内容是不会变的,所以可以让npm优先使用本地缓存,跳过检查其在线状态,这样可以大幅减少安装时间。

方法很简单,只要给安装命令加个`–prefer-offline`参数:

npm i --prefer-offline
#也可以再加个 --verbose 参数确认是否真的使用了缓存
npm i --prefer-offline --verbose

这样折腾完了之后,应用的后续部署时间在依赖没有改变的情况下从原来的十几分钟缩短到了一分多钟,堪称火箭级加速,总算解决了一个困扰我一年多的问题。

[docker]GDBus.Error:org.freedesktop.DBus.Error.ServiceUnknown: The name org.freedesktop.secrets was not provided by any .service files

这问题很奇怪,我在这部署了几个镜像都好好的,到其中一个的时候突然就报出了这样的错误:

failed to solve: node:18.18.1-buster-slim: error getting credentials - err: exit status 1, out: `GDBus.Error:org.freedesktop.DBus.Error.ServiceUnknown: The name org.freedesktop.secrets was not provided by any .service files`

然后查了下说跑这个命令安装依赖`apt install gnome-keyring`就好了,我试了一下确实解决了问题,但为什么好好的突然就不行了依然是个谜。

[docker]ERROR: Service ‘***’ failed to build: the –mount option requires BuildKit.

我在dockerfile中用了个–mount参数,结果一开始一直报`ERROR: Dockerfile parse error line 8: Unknown flag: mount`,然后我发现是我的docker版本太低了,于是升级了docker之后发现又变了个错误:

[docker]ERROR: Service '***' failed to build: the --mount option requires BuildKit. Refer to https://docs.docker.com/go/buildkit/ to learn how to build images with BuildKit enabled

我明明已经设置了两个环境变量

export DOCKER_BUILDKIT=1
export COMPOSE_DOCKER_CLI_BUILD=1

又研究了一会儿我发现原因出在我用的程序上,我执行的是docker-compose,这个版本还是1.17.1,但docker还内置了一个compose,它的版本是2.18.1,于是直接把命令换成docker compose就好了。

[nodejs]同时使用devDependencies和dependencies以处理本地依赖链接

我做了一个自用的工具包,但我想把其中一部分独立出来放到其它项目里用,所以我把它们放在一个命名空间里发布了出来。

于是就出现了一个问题,本来这些包是属于一整个项目,其中的模块存在一些相互依赖,既然要分开发布那么package.json里依赖模块的目标就不能再写原来的本地路径了,需要改成发布的版本号或者项目地址。

本地开发时依赖路径填写本地路径,执行npm i会帮你直接创建一个目录链接到目标目录上,这样你在目标依赖里的改动就不需要发布或者复制就可以直接在当前项目里测试,但如果需要把依赖目标改成模块的发布版本号的话,即使手动把node_module中安装的模块删除手动创建目录链接,执行npm命令在有些情况下也会把已经创建的链接删除并重新从npm下载发布版本,这样会导致开发时不知不觉使用错误的依赖。

刚刚我测试了一下,发现一个模块可以同时出现在package.jsondevDependenciesdependencies里,而且默认情况下npm会优先找devDependencies里模块的目标是否有效,有的话就会选用这个安装,因此要解决我上面遇到的问题,其实只要把需要本地开发的发布模块同时写在这两个字段里,在devDependencies里的目标写本地路径,在dependencies里的目标写发布版本即可,这样在本地存在目标路径时npm就会优先帮你创建路径,而不是从npm下载发布版。参考如下:

{
	"devDependencies": {
		"@jialibs/utils": "file:../Utils"
	},
	"dependencies": {
		"@jialibs/utils": "^1"
	}
}

就是有两点要注意,如果被依赖的模块版本变了,要注意同步修改这个里面依赖的版本,否则其它地方从npm下载就会安装老版本的依赖,或者另一个解决方案就是像我这样直接一个大版本号或者写到次版本,这样只要大版本或次版本没变,那么别处就始终会下载最新版(已经安装过的需要清除package-lock.json,否则npm还是会按照lock里的版本安装)。

另一点要注意的是如果在生产环境为npm i命令显式添加了--omit=dev这样的参数的话,会导致在devDependencies里出现过的包都不会被安装,这种情况可以尝试把本地路径的包放到`peerDependencies`中。

【佳佳拆解】雅马哈YAS-107音响

今天为了检查音响后面的低音炮接口是不是被我插坏了,顺便确认一下这几年有没有什么奇怪的小动物住在里面,所以拆开来检查一下。

所有螺丝都拧下来之后发现还是打不开,找了个视频看了一下原来是周围有一点点不知道是胶还是减震泡棉的东西,而且整个卡得很严实,不要指望用手掰开来。我用一个圆润的扁撬棍把周围一点点撬开后最后才打开了。

继续阅读【佳佳拆解】雅马哈YAS-107音响

QQNT会每月创建重复资源文件

QQNT是去年腾讯放出的新架构QQ客户端,我在去年12月更新到了这个新版,已经用了3个月,今天发现了这好像有个问题。
这是一个关于接收的图片和视频资源产生重复文件的问题。

原来的PC QQ是把接收到的所有图片放在一个目录中,所有视频放在一个目录中,分别按照QQ自己的hash规则命名,当客户端接收到消息,需要加载图片或视频时将会先按照资源的hash在存放资源文件的目录中查找,如果没有就会从服务器下载一份。这是很河里的做法。

新版的QQNT在这一套接收资源文件的流程上基本上差不多,但有一个地方不同:它在每个类型的资源目录中又以“年-月”的格式加了一层目录,这个“年月”目前看下来指的是附件资源所在消息的发送年月(我这甚至出现了2019-06的资源目录)。这将导致每个月的消息附件资源(图片,表情,视频)不共享,上个月消息中接收过的表情图片在这个月对于QQ来说就不存在了,要重新下载一份。对于缩略图来说也一样,因为缩略图目录也在每个月的目录中单独有一个。

QQNT存放这些资源的路径是”C:\Users\用户名\Documents\Tencent Files\QQ号\nt_qq\nt_data”,其中”Emoji”里面是表情图,”Pic”里面是表情图以外的图片,”Video”是接收到的任何视频,可以发现它们里面全都以年月的子目录对资源进行分隔,我用Everything直接对Emoji目录查找,按文件大小排序,就已经发现了大量完全相同的表情文件出现在不同月份的目录里。

以下是在Everything中搜索到分别存在于1月和2月目录的相同表情文件




这样重复的表情文件和图片文件还有很多,随着时间推移,这种每个月不共用附件资源的特性根据接收消息数量的不同可能会导致空间占用快速增长,每个月都产生大量的重复文件(已确认每个月出现的相同文件都是单独的文件,并不是硬链接)。

目前不理解为什么要这么做,如果是为了避免在一个目录中存在大量文件导致文件系统操作效率降低的话,按照其”avatar”目录中的做法就很好,直接按文件hash的开头来划分子目录即可。
如果QQNT之后也坚持以这种方式存放文件,那用户就要注意定期清理本地重复文件。至于重复下载对服务器资源造成的浪费,那反正也不关用户的事🤔。

继续阅读QQNT会每月创建重复资源文件

TypeError: Descriptors cannot not be created directly. Downgrade the protobuf package to 3.20.x or lower

今天启动sd-webui的时候报了这个错误,由于启动之前更新过所有扩展,所以可能是哪个扩展的依赖版本冲突了,这时候按照它的提示将此模块降级即可。

首先进cmd并激活项目的venv,不激活会安装到全局去,然后执行

pip install protobuf==3.20.2

执行完后可能会有提示依然和某个模块不兼容,但是我试了一下可以正常启动webui了

升级到windows11之后游戏帧率暴跌

从win10升级到win11之后一开始我发现vr帧数超低,然后我发现不只是vr,战舰世界的帧率也超低,但任务管理器里看GPU占用竟然几乎到了90%,然后我就网上找解决方案,有什么显卡设置里关GPU硬件加速的,有关闭窗口化游戏优化的,有关闭Game Bar的,我全试了一遍都没用。

直到我偶然点开Afterburner,发现显卡跑在一个很低的频率上,然后我直接把它的频率配置重置了一下,瞬间就恢复正常性能了。

怀疑是win11什么节能功能修改了显卡相关设置。

[TrueNAS]解决使用USB硬盘柜导致多块硬盘被识别为一块

这篇文章不是用来帮你在TrueNAS GUI里找到不显示的硬盘的,而是使用命令创建Pool。

由于大多数USB硬盘柜或者硬盘盒会硬编码一个序列号,而且接入的所有硬盘都会提供这同一个序列号给系统(不知道这是什么脑梗逻辑),又因为TrueNAS平台本身就是靠硬盘序列号来区分硬盘的,所以就会导致它的硬盘列表里只显示你插入的其中一块硬盘。

虽然TrueNAS不显示同序号的其余硬盘,但它们在系统里却是存在盘号的,所以你其实可以直接用命令创建池。

以下操作需要执行shell命令,请打开ssh服务后通过ssh连接操作,不要使用gui的终端,因为gui的会话时间太短了。

首先要找到列表里看不到的硬盘,执行以下命令,你就会看到一堆linux给硬盘分配的盘号,比如sd[abcdefg…]这样按字母顺序排下去的

lsblk

如果你插了很多硬盘,搞不清到底是少了哪块,可以去GUI的硬盘列表里扫一遍盘号,比如我的列表里就是少了sdc,再在lsblk命令的结果里确认一下sdc设备的空间大小,确认和你加的盘相符那就是那块了。

知道盘符之后就好办了,直接找个zfs的使用说明参考一下,手动创建池即可,比如这个:https://docs.oracle.com/cd/E19253-01/819-7065/gaynr/index.html

参考:我这里做了个raid1,执行以下命令创建池,创建一个raid1池,其中使用sdc和sdd盘做镜像

zpool create 池名 mirror sdc sdd

现在你的池创建好了,但你会发现在GUI的存储标签页里看不到它,在数据集里面可以看到它,但创建数据集之后也无法共享。这是因为直接使用命令创建的池缺少一些步骤,导致这个池不仅挂载点不对,而且系统池记录中没有这个池,所以大部分操作都是不允许的。

要解决这个问题很简单,我们只要先把这个池导出(export):

zpool export 池名

然后再用GUI的导入池功能把它导入进来,池的所有功能就正常了。

最后注意,由于TrueNAS是用序列号来区分硬盘的,所以使用此方法创建的pool不要在gui中执行硬盘替换等操作,可能会出问题!相关操作请使用zfs、zpool命令操作。

 

其它歪门邪道:

如果你和我一样是让TrueNAS跑在Windows宿主的虚拟机里的,那么可以让新加入的硬盘先在宿主里格式化成NTFS后生成vhd放在里面,接着让虚拟机把vhd挂载成虚拟机的硬盘,这样就有不一样的序列号了,但这么做就多了一层处理开销,也增加了意外情况下出错的风险,个人建议尽量不要这么做,除非使用vhd对你会有其它什么好处。这么一说其实其它平台的宿主也可以用其它虚拟磁盘来搞出不一样的序列号。

[TrueNAS]替换系统盘阵列中的坏盘

TrueNAS中的系统盘池不能在GUI中直接操作,所以需要敲点命令来替换坏盘,这里做个记录

首先查看zfs状态

# zpool status
 pool: boot-pool
 state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
        Sufficient replicas exist for the pool to continue functioning in a
        degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
        repaired.
  scan: scrub repaired 0B in 00:00:39 with 0 errors on Sat Nov  4 03:45:40 2023
config:

        NAME        STATE     READ WRITE CKSUM
        boot-pool   DEGRADED     0     0     0
          mirror-0  DEGRADED     0     0     0
            sdc3    FAULTED      2    17     0  too many errors
            sdd3    ONLINE       0     0     0

可以看到是sdc这块盘不行了,所以我们要替换它。

首先把它offline:

zpool offline boot-pool sdc3

然后把这块盘拔了,插进新盘,去web gui的磁盘页面看看新盘获得的盘号叫什么,我这里分配到了sde,所以接下来使用sde替换sdc3

zpool replace -f boot-pool sdc3 sde

由于boot-pool的内容其实很少,所以稍微等一会儿就同步好了,期间可以继续用`zpool status`查看同步状态。

阻止GooglePlay框架自动升级后导致“保护机制认证”错误再次出现

最近从我爸那意外获得了一部华为Mate60Pro,虽然我本来是不会去用这种不能root 也不能刷机的手机的,但都到手里了也不能就当摆设,正好我的小米Mix2s刷了lineageos之后长久以来蓝牙微信通话声音一直不从耳机出的问题让我困扰很久了,这次就顺便把Mate60Pro当作主用机,把Mix2s换成备用机,原本当备用机的Pixel XL就正式退役了,因为它的闪存明显开始出问题了,会出现部分照片或视频损坏的现象。

换机之后自然第一件事是把谷歌框架弄上,不然连chrome都没法用。虽然不能root,但好在网上有利用备份恢复机制把谷歌框架恢复进手机的方法。这里简单提一下就是利用华谷套件APP把该装的都装了之后,最后解决无法过play保护验证的问题,华谷里面最后一步点进去是要收费的,其实网上一查都有教程,比如这个,解决了这个问题之后会发现过一天,这个错误提示就又出现了,我反复折腾这几个app,折磨了我好几天。

主要问题出在我们自己注册GSF ID的方法可以在20版本(可能21也行)的“Google Play服务”通过验证,但该服务APP会被自动升级到最新版(目前是23),且GSF ID同时会变,不知是因为ID变了还是验证方法变了,反正在23版本下你再去按流程注册新的ID清app数据也没用,一定要退回旧版play服务去注册才能过验证。

我查了一下也有人发现这个问题,他用各种禁止相关app访问网络的设置试图防止play服务自动更新,让play服务一直保持在旧版。但这样也有问题,就是有时候就是需要新版的play服务才能完成一些操作,而且保不准什么意外就让play服务又更新了,这样就很麻烦。我也尝试了一下,不管是禁止play服务还是play框架访问网络,它都会自动更新,我总不能把play商店断网吧。

然后我发现了这个方法,我目前几天测下来还没有出问题。简单说就是在解决了“保护机制认证”的错误之后,直接用以下adb命令把“谷歌服务框架”禁用

adb shell pm disable-user 'com.google.android.gsf'

然后play服务就无法获取GSF ID了,同样我们可以在“Device IDs” app中确认GSF ID已经无法获取了。我猜原理是这样:play服务获取不到ID,就无法进入下一步验证流程,那么原本验证通过的状态就会一直被保留下来,同时play服务的版本也可以保持更新。

继续阅读阻止GooglePlay框架自动升级后导致“保护机制认证”错误再次出现

[nginx]the “listen … http2” directive is deprecated, use the “http2” directive instead

新版本nginx出现了标题上的提示,其实就是把http2配置从listen指令里分出来了,修改方法很简单,只要把原来的http2去掉,然后在下面加一个`http2 on;`就行了。

原来:

server {
    listen [::]:443 http2 ssl;
    .....
}

改为:

server {
    listen [::]:443 ssl;
    http2 on;
    .....
}

就这么简单,但我为什么要写这篇?因为我搜索这个警告的时候发现搜索结果全是清一色抄的同一篇错误的文章,那篇垃圾文章莫名其妙让你删除http2就完事了,对如何添加这个新指令只字不提,看得我来气。

解决硬盘设备变成SCSI设备后在CrystalDiskInfo里不显示的问题

前几天买了一块宏碁掠夺者GM7 4T版本,回来装到主板上的第二m.2硬盘位之后发现进系统在CrystalDiskInfo(以下简称CDI)里不显示,不管怎么调设置怎么重新扫描都不出来,于是我看了一下磁盘精灵(DiskGenius),发现里面竟然显示这个盘的接口是SATA,我知道这肯定是这软件的判断错误,但不知道到底是哪里出了问题。

网上查了下,说和AHCI还有RAID模式有关,进bios里看了一下它里面关于AHCI什么的设置只和SATA接口的硬盘有关,而且调了也没解决这个nvme ssd被识别成SCSI设备的问题,于是我怀疑是不是这个第二m.2接口接上去就是会变成这样的,我就把主m.2槽的系统盘和它对调了一下,这下好了,俩盘都变成SCSI设备了。然后我还作死尝试删除驱动让它重新识别成nvme设备,结果就是一个下午加上晚上3小时我都在修复系统,因为转完loading的圈圈电脑就会直接重启,看了一下启动日志是加载完disk.sys之后其它的所有驱动就都无法加载了,显然是加载了disk驱动之后对硬盘的读写就出现了错误,当然和我删除的驱动有关。

后来我好不容易通过其它电脑开虚拟机把这个盘里的系统覆盖安装了,装回主机里成功启动后打开CDI看了一下发现所有盘都扫描不到了,我想起来是bios里把ACHI切成RAID了,但现在切回ACHI我的系统又进不去了,我开始怀疑会不会其实有一个驱动可以让硬盘就在SCSI控制器下正常工作,所以我翻了一下AMD官网上我这个主板芯片组的驱动列表,发现确实有和raid有关的驱动,装好之后所有的硬盘就都可以在CDI里显示出来了。我觉得这里要批评微星的主板驱动列表,放驱动也不放全,如果他那有这驱动我一开始就打上了,就没后面那么多事情了。

虽然现在我所有的硬盘都不小心被我变成SCSI设备了,不过只要装好驱动其实也是照常用的,也能正确获取SMART信息。最开始我发现网上也有不少人问硬盘变成SCSI设备了怎么改回来,因为没相关驱动的时候CDI等软件是无法获取硬盘的SMART信息的,这样对于硬盘的健康状态就心里没底,虽然我还是不知道要怎么改回来,不过把RAID驱动装好也是一个解决方案,虽然我们用不上它raid的功能,但它提供了获取这些信息的接口。

大龄单身狗的日常