[MySQL]JSON数组取对称差集函数

写了个函数,做个记录。作用是扣掉两个数组相同的部分,只保留不同的部分,也就是对称差集。

CREATE FUNCTION `array_diff`(`arr1` json, `arr2` json) RETURNS json
    NO SQL
    DETERMINISTIC
BEGIN
	RETURN (
		WITH 
		A AS (SELECT el FROM JSON_TABLE(arr1, '$[*]' COLUMNS(el INT PATH '$')) T),
		B AS (SELECT el FROM JSON_TABLE(arr2, '$[*]' COLUMNS(el INT PATH '$')) T)
		SELECT JSON_ARRAYAGG(el) FROM (
			SELECT el FROM A WHERE A.el NOT IN (SELECT el FROM B)
			UNION
			SELECT el FROM B WHERE B.el NOT IN (SELECT el FROM A)
		) AS T
	);
END

调用

select array_diff('[1,2,3]','[2,3,4]')

结果

[1, 4]

 

网页视频截图、录制GIF、调整时间脚本

源码地址在:https://github.com/JiaJiaJiang/jia-webvideo-tools

我也写了一个油猴脚本来引用打包好的项目输出文件:https://gist.github.com/JiaJiaJiang/736f5a90b55b815a0e9eb6463dd09061,需要注意,引用的文件位于GitHub,所以需要过墙才可以正常加载。

主要功能均通过Alt+Shift+右键调出的工具条操作,鼠标悬浮在各个项目上会有说明。其它快捷功能见脚本描述或者Github的readme。

截图效果:

[SQLite]导入自己写的扩展出现”SqliteError: 找不到指定的程序”

自己写了个sqlite c++扩展,然后编译之后载入出现了标题上的错误,如果是英文的话应该是”SqliteError: The specified module could not be found”。

出现这个错误并不是sqlite没找到对应的dll文件,如果是没找到文件的话会提示“找不到指定的模块”。

这个情况是sqlite载入dll之后找不到程序入口,但我在 load_extension 和 c++ 代码中的入口名称明明就是一致的,于是我用 `dumpbin /exports dll文件` 查看dll到底导出了什么入口,发现导出了这么个东西:

_Z22我的入口名P7sqlite3PPcPK20sqlite3_api_routines

我把这一串名字写到 load_extension 中之后终于可以正确导入了,但我肯定不能让它一直生成这样不确定的名字,所以开始找找办法让它只导出我指定的名字。

然后发现这是我用了c++的原因,要解决dll导出的入口名和代码里写的不一致的问题,只要在 `__declspec(dllexport)` 前面加上 `extern “C” ` 即可,完整的是

extern "C" __declspec(dllexport)

这样改完再编译,使用dumpbin查看导出的函数名就已经正常了。

让docker构建nodejs应用时使用npm缓存加速安装

我的node应用在原本的部署脚本下,每次部署都要十几分钟,而我的项目又不适合多阶段构建,于是想了各种办法让它使用镜像layer缓存一部分安装过程,但是多多少少都有点问题。

看来想要不出问题的话还是要在部署的时候让安装过程完整跑一次,这样要缩短部署时间就只能尽量利用npm缓存。

第一步:挂个外部缓存

我本来以为dockerfile构建过程中是没法像容器那样绑定一个volume来让过程文件持久化的,但是昨天我才发现其实是有的,就是要更新一下docker,这是Buildkit特性的一部分,这个特性在18.09版本之后的docker才有,总之尽量把docker升级到最新版就可以用了。

使用方法很简单,如下Dockerfile:

FROM node:18.18.1-buster-slim
RUN apt update &&\
	apt install -y git openssh-client python3 curl
COPY ./deploy /deploy
COPY ./app/ /app
RUN --mount=type=cache,target=/root/.npm \   #在RUN命令的开头这样写来挂一个缓存目录,这个mount参数需要在每个要使用此缓存的命令里都写一遍
	sh /deploy/install.sh   #然后执行你的安装脚本
WORKDIR "/deploy"
ENTRYPOINT ["/bin/sh"]
CMD [ "./start.sh" ]
EXPOSE 80

这样在这个dockerfile构建过程中就会把构建容器的`/root/.npm`映射到通用的docker缓存里,而且我测试下来如果在其它镜像里也挂载同样的缓存,那么其它镜像构建的时候也可以使用该缓存,但我其它镜像的FROM镜像都是相同的,不知道如果来源镜像变了是否会影响缓存挂载。

注意:~/.npm 是linux下npm默认的缓存目录,但默认缓存目录是可以更改的,如果你的项目里修改了npm的默认缓存目录地址,那么这里也要一起改。或者如果你的平台比较特殊,npm的默认目录本来就不在这里,那么也要进行对应的修改。

除了挂载缓存(type=cache)以外,还可以绑定外部文件或目录(type=bind),相关资料在这里https://docs.docker.com/build/guide/mounts/,不过这个文档有点迷惑,没写source和target哪个是里面哪个是外面的,我在source里面写外部路径它给我报文件不存在,然后我就直接用cache了,没再继续尝试。

如果你觉得构建过程缓存的文件有问题,或者单纯想清除这些缓存,可以根据这里的方法,执行以下命令:

docker builder prune --filter type=exec.cachemount

如果没有效果,可以尝试去掉–filter及其参数。

第二步:让npm优先使用缓存(可选)

npm在安装依赖时,即使本地有缓存,也会向服务器发起请求检查每个本地的缓存有没有过期,这个过程也很漫长。其实一般即使缓存过期了也问题不大,因为正常来说同一个版本号的包其内容是不会变的,所以可以让npm优先使用本地缓存,跳过检查其在线状态,这样可以大幅减少安装时间。

方法很简单,只要给安装命令加个`–prefer-offline`参数:

npm i --prefer-offline
#也可以再加个 --verbose 参数确认是否真的使用了缓存
npm i --prefer-offline --verbose

这样折腾完了之后,应用的后续部署时间在依赖没有改变的情况下从原来的十几分钟缩短到了一分多钟,堪称火箭级加速,总算解决了一个困扰我一年多的问题。

[docker]GDBus.Error:org.freedesktop.DBus.Error.ServiceUnknown: The name org.freedesktop.secrets was not provided by any .service files

这问题很奇怪,我在这部署了几个镜像都好好的,到其中一个的时候突然就报出了这样的错误:

failed to solve: node:18.18.1-buster-slim: error getting credentials - err: exit status 1, out: `GDBus.Error:org.freedesktop.DBus.Error.ServiceUnknown: The name org.freedesktop.secrets was not provided by any .service files`

然后查了下说跑这个命令安装依赖`apt install gnome-keyring`就好了,我试了一下确实解决了问题,但为什么好好的突然就不行了依然是个谜。

[docker]ERROR: Service ‘***’ failed to build: the –mount option requires BuildKit.

我在dockerfile中用了个–mount参数,结果一开始一直报`ERROR: Dockerfile parse error line 8: Unknown flag: mount`,然后我发现是我的docker版本太低了,于是升级了docker之后发现又变了个错误:

[docker]ERROR: Service '***' failed to build: the --mount option requires BuildKit. Refer to https://docs.docker.com/go/buildkit/ to learn how to build images with BuildKit enabled

我明明已经设置了两个环境变量

export DOCKER_BUILDKIT=1
export COMPOSE_DOCKER_CLI_BUILD=1

又研究了一会儿我发现原因出在我用的程序上,我执行的是docker-compose,这个版本还是1.17.1,但docker还内置了一个compose,它的版本是2.18.1,于是直接把命令换成docker compose就好了。

[nodejs]同时使用devDependencies和dependencies以处理本地依赖链接

我做了一个自用的工具包,但我想把其中一部分独立出来放到其它项目里用,所以我把它们放在一个命名空间里发布了出来。

于是就出现了一个问题,本来这些包是属于一整个项目,其中的模块存在一些相互依赖,既然要分开发布那么package.json里依赖模块的目标就不能再写原来的本地路径了,需要改成发布的版本号或者项目地址。

本地开发时依赖路径填写本地路径,执行npm i会帮你直接创建一个目录链接到目标目录上,这样你在目标依赖里的改动就不需要发布或者复制就可以直接在当前项目里测试,但如果需要把依赖目标改成模块的发布版本号的话,即使手动把node_module中安装的模块删除手动创建目录链接,执行npm命令在有些情况下也会把已经创建的链接删除并重新从npm下载发布版本,这样会导致开发时不知不觉使用错误的依赖。

刚刚我测试了一下,发现一个模块可以同时出现在package.jsondevDependenciesdependencies里,而且默认情况下npm会优先找devDependencies里模块的目标是否有效,有的话就会选用这个安装,因此要解决我上面遇到的问题,其实只要把需要本地开发的发布模块同时写在这两个字段里,在devDependencies里的目标写本地路径,在dependencies里的目标写发布版本即可,这样在本地存在目标路径时npm就会优先帮你创建路径,而不是从npm下载发布版。参考如下:

{
	"devDependencies": {
		"@jialibs/utils": "file:../Utils"
	},
	"dependencies": {
		"@jialibs/utils": "^1"
	}
}

就是有两点要注意,如果被依赖的模块版本变了,要注意同步修改这个里面依赖的版本,否则其它地方从npm下载就会安装老版本的依赖,或者另一个解决方案就是像我这样直接一个大版本号或者写到次版本,这样只要大版本或次版本没变,那么别处就始终会下载最新版(已经安装过的需要清除package-lock.json,否则npm还是会按照lock里的版本安装)。

另一点要注意的是如果在生产环境为npm i命令显式添加了--omit=dev这样的参数的话,会导致在devDependencies里出现过的包都不会被安装,这种情况可以尝试把本地路径的包放到`peerDependencies`中。

【佳佳拆解】雅马哈YAS-107音响

今天为了检查音响后面的低音炮接口是不是被我插坏了,顺便确认一下这几年有没有什么奇怪的小动物住在里面,所以拆开来检查一下。

所有螺丝都拧下来之后发现还是打不开,找了个视频看了一下原来是周围有一点点不知道是胶还是减震泡棉的东西,而且整个卡得很严实,不要指望用手掰开来。我用一个圆润的扁撬棍把周围一点点撬开后最后才打开了。

继续阅读【佳佳拆解】雅马哈YAS-107音响

QQNT会每月创建重复资源文件

QQNT是去年腾讯放出的新架构QQ客户端,我在去年12月更新到了这个新版,已经用了3个月,今天发现了这好像有个问题。
这是一个关于接收的图片和视频资源产生重复文件的问题。

原来的PC QQ是把接收到的所有图片放在一个目录中,所有视频放在一个目录中,分别按照QQ自己的hash规则命名,当客户端接收到消息,需要加载图片或视频时将会先按照资源的hash在存放资源文件的目录中查找,如果没有就会从服务器下载一份。这是很河里的做法。

新版的QQNT在这一套接收资源文件的流程上基本上差不多,但有一个地方不同:它在每个类型的资源目录中又以“年-月”的格式加了一层目录,这个“年月”目前看下来指的是附件资源所在消息的发送年月(我这甚至出现了2019-06的资源目录)。这将导致每个月的消息附件资源(图片,表情,视频)不共享,上个月消息中接收过的表情图片在这个月对于QQ来说就不存在了,要重新下载一份。对于缩略图来说也一样,因为缩略图目录也在每个月的目录中单独有一个。

QQNT存放这些资源的路径是”C:\Users\用户名\Documents\Tencent Files\QQ号\nt_qq\nt_data”,其中”Emoji”里面是表情图,”Pic”里面是表情图以外的图片,”Video”是接收到的任何视频,可以发现它们里面全都以年月的子目录对资源进行分隔,我用Everything直接对Emoji目录查找,按文件大小排序,就已经发现了大量完全相同的表情文件出现在不同月份的目录里。

以下是在Everything中搜索到分别存在于1月和2月目录的相同表情文件




这样重复的表情文件和图片文件还有很多,随着时间推移,这种每个月不共用附件资源的特性根据接收消息数量的不同可能会导致空间占用快速增长,每个月都产生大量的重复文件(已确认每个月出现的相同文件都是单独的文件,并不是硬链接)。

目前不理解为什么要这么做,如果是为了避免在一个目录中存在大量文件导致文件系统操作效率降低的话,按照其”avatar”目录中的做法就很好,直接按文件hash的开头来划分子目录即可。
如果QQNT之后也坚持以这种方式存放文件,那用户就要注意定期清理本地重复文件。至于重复下载对服务器资源造成的浪费,那反正也不关用户的事🤔。

继续阅读QQNT会每月创建重复资源文件

TypeError: Descriptors cannot not be created directly. Downgrade the protobuf package to 3.20.x or lower

今天启动sd-webui的时候报了这个错误,由于启动之前更新过所有扩展,所以可能是哪个扩展的依赖版本冲突了,这时候按照它的提示将此模块降级即可。

首先进cmd并激活项目的venv,不激活会安装到全局去,然后执行

pip install protobuf==3.20.2

执行完后可能会有提示依然和某个模块不兼容,但是我试了一下可以正常启动webui了

升级到windows11之后游戏帧率暴跌

从win10升级到win11之后一开始我发现vr帧数超低,然后我发现不只是vr,战舰世界的帧率也超低,但任务管理器里看GPU占用竟然几乎到了90%,然后我就网上找解决方案,有什么显卡设置里关GPU硬件加速的,有关闭窗口化游戏优化的,有关闭Game Bar的,我全试了一遍都没用。

直到我偶然点开Afterburner,发现显卡跑在一个很低的频率上,然后我直接把它的频率配置重置了一下,瞬间就恢复正常性能了。

怀疑是win11什么节能功能修改了显卡相关设置。

[TrueNAS]解决使用USB硬盘柜导致多块硬盘被识别为一块

这篇文章不是用来帮你在TrueNAS GUI里找到不显示的硬盘的,而是使用命令创建Pool。

由于大多数USB硬盘柜或者硬盘盒会硬编码一个序列号,而且接入的所有硬盘都会提供这同一个序列号给系统(不知道这是什么脑梗逻辑),又因为TrueNAS平台本身就是靠硬盘序列号来区分硬盘的,所以就会导致它的硬盘列表里只显示你插入的其中一块硬盘。

虽然TrueNAS不显示同序号的其余硬盘,但它们在系统里却是存在盘号的,所以你其实可以直接用命令创建池。

以下操作需要执行shell命令,请打开ssh服务后通过ssh连接操作,不要使用gui的终端,因为gui的会话时间太短了。

首先要找到列表里看不到的硬盘,执行以下命令,你就会看到一堆linux给硬盘分配的盘号,比如sd[abcdefg…]这样按字母顺序排下去的

lsblk

如果你插了很多硬盘,搞不清到底是少了哪块,可以去GUI的硬盘列表里扫一遍盘号,比如我的列表里就是少了sdc,再在lsblk命令的结果里确认一下sdc设备的空间大小,确认和你加的盘相符那就是那块了。

知道盘符之后就好办了,直接找个zfs的使用说明参考一下,手动创建池即可,比如这个:https://docs.oracle.com/cd/E19253-01/819-7065/gaynr/index.html

参考:我这里做了个raid1,执行以下命令创建池,创建一个raid1池,其中使用sdc和sdd盘做镜像

zpool create 池名 mirror sdc sdd

现在你的池创建好了,但你会发现在GUI的存储标签页里看不到它,在数据集里面可以看到它,但创建数据集之后也无法共享。这是因为直接使用命令创建的池缺少一些步骤,导致这个池不仅挂载点不对,而且系统池记录中没有这个池,所以大部分操作都是不允许的。

要解决这个问题很简单,我们只要先把这个池导出(export):

zpool export 池名

然后再用GUI的导入池功能把它导入进来,池的所有功能就正常了。

最后注意,由于TrueNAS是用序列号来区分硬盘的,所以使用此方法创建的pool不要在gui中执行硬盘替换等操作,可能会出问题!相关操作请使用zfs、zpool命令操作。

 

其它歪门邪道:

如果你和我一样是让TrueNAS跑在Windows宿主的虚拟机里的,那么可以让新加入的硬盘先在宿主里格式化成NTFS后生成vhd放在里面,接着让虚拟机把vhd挂载成虚拟机的硬盘,这样就有不一样的序列号了,但这么做就多了一层处理开销,也增加了意外情况下出错的风险,个人建议尽量不要这么做,除非使用vhd对你会有其它什么好处。这么一说其实其它平台的宿主也可以用其它虚拟磁盘来搞出不一样的序列号。

[TrueNAS]替换系统盘阵列中的坏盘

TrueNAS中的系统盘池不能在GUI中直接操作,所以需要敲点命令来替换坏盘,这里做个记录

首先查看zfs状态

# zpool status
 pool: boot-pool
 state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
        Sufficient replicas exist for the pool to continue functioning in a
        degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
        repaired.
  scan: scrub repaired 0B in 00:00:39 with 0 errors on Sat Nov  4 03:45:40 2023
config:

        NAME        STATE     READ WRITE CKSUM
        boot-pool   DEGRADED     0     0     0
          mirror-0  DEGRADED     0     0     0
            sdc3    FAULTED      2    17     0  too many errors
            sdd3    ONLINE       0     0     0

可以看到是sdc这块盘不行了,所以我们要替换它。

首先把它offline:

zpool offline boot-pool sdc3

然后把这块盘拔了,插进新盘,去web gui的磁盘页面看看新盘获得的盘号叫什么,我这里分配到了sde,所以接下来使用sde替换sdc3

zpool replace -f boot-pool sdc3 sde

由于boot-pool的内容其实很少,所以稍微等一会儿就同步好了,期间可以继续用`zpool status`查看同步状态。

大龄单身狗的日常