INSERT ON DUPLICATE KEY UPDATE导致自增字段不连续

今天做一个自用小图库的时候发现保存的tag_id没一会就已经上万了,但是实际的tag数量才只有600个左右,找了一会儿发现是`ON DUPLICATE KEY UPDATE` 导致的。

简单来说就是由于mysql在执行语句之前不知道它会进入insert还是update模式,为了一致性只能先取一个自增id,不然如果进了insert模式就没有id用了,就是这样导致即使该语句实际上进入的是update模式也会导致自增id+1。

网上有找到修改`innodb_autoinc_lock_mode`来解决的方法,但是我改成0了之后依然会导致进入update模式后自增+1,不知道为什么。

还有的说在程序里先select,再决定是insert还是update,但这样并发会导致问题,如果select和后续步骤之间有别的请求插入了满足条件的条目,就会导致错误。

方案1

我暂时用了这样一个笨办法,关掉自增,然后手动设置id为最大值+1,其中`tag_id` 和`name` 都是`unique` 字段

INSERT INTO `tags` ( `tag_id`, `name`, `type` ) 
VALUES (( SELECT id FROM ( SELECT max( tag_id )+ 1 AS id FROM tags ) AS tmp), 'valueA', 'valueB') 
ON DUPLICATE KEY UPDATE `type`=VALUES(`type`)

 

由于insert里不能直接select被insert的表,所以需要在select外面再套一个select,变成两层子查询。

但这样做也有一个很明显的缺陷,因为用的不是数据库自带的自增,于是自然也就没有`LAST_INSERT_ID` ,所以如果需要获取刚刚插入数据的id的话,就得再进行一次查询。

好在可以根据affectedRows判断此语句发生了更新还是插入,如果影响的行数是2的话那就是更新,如果是1就是插入了一条新数据。

注意,这个方法只适用于单个事务依次执行,如果是并发会造成死锁!

方案2

这个问题只在InnoDB会出现,所以如果对并发要求不高的话可以直接改成MyISAM引擎解决问题。

 

如果有什么别的好办法希望可以给我留言,谢谢。

第一次做破解软件

今天是国庆假期最后一天,我本来打算今天装个win11然后补完赛马娘第一季的,结果还没睡醒就被公司的人打电话来叫醒说一个软件显示注册过期了,这软件还特别重要,必须要可用。

关键是前任网管并没有给我交接这个软件安装人员的相关信息,软件里关于界面也没留联系方式,软件说明书文档里写着注册码要问物业或机器销售方要,我就是物业,机器不知道是谁装的,于是我只能远程把软件拉回自己电脑上开始尝试破解。

一个上午没有任何进展,一直被ida稀烂的文字编码拖着后退,字符串列表完全找不到关键词。你说它同样是UTF-16的字符,有的就能显示有的就是乱码,再加上这软件有的中文是GB系编码,有的是UTF-16LE编码,光是找注册相关代码的地址就找了一下午,IDA都换了4个版本。

最后编码问题还是靠vscode解决的,在vscode里直接用UTF-16LE编码打开程序文件,找到里面需要的中文字符串,再新建一个文档保存成UTF-16LE,再用hexeditor插件打开来,再用字节码搜索字符串在程序里的地址,再找引用这个地址的代码段,再改汇编测试。

IDA这东西往程序里patch还不能连续patch,连着改会把程序改坏,坏了好几次我才发现不是我改的汇编有问题,于是又写了个bat每次patch前一键把程序复原,再patch测试。

一直折腾到现在现学现做用了15个小时终于破解好了,写这篇日志的时候已经是第二天1:30了,有计划的一天完全浪费了,头发也没来得及理,番也没看,win11也没装,自己的事啥也没做,淦。

程序无法监听端口,但端口未被占用

之前写过一个情况,是由于程序权限不足而导致无法监听小端口号,但是今天我又遇到一个奇怪的情况。

调试node.js后端的时候需要监听3000端口,前几天都是好的,但是刚才启动的时候报了`bind EACCES` 错误,查看端口并没有被使用,程序在别的电脑上就正常。整来整去还是不行,于是开始在网上找有没有类似的情况,竟然让我找到了。

在一个搜索结果里出现列Hyper-V字样立刻吸引了我的注意,因为我昨天由于一些软件无法启动,排查问题的时候打开了Windows Sandbox,这是微软基于Hyper-V做的windows沙盒。

看了看内容应该大差不差找到原因了,启用Hyper-V会导致系统保留一些端口,这些端口不能被别的程序使用,而我用的3000正好在里面,于是就出现了今天这种端口明明没有被别的程序使用,但就是不能监听的情况。

解决方法原文在这里

简单描述一下就是在启用Hyper-V之前要用netsh设置一下你需要的端口列表,确保启用Hyper-V之后这些端口不会被保留。

netsh int ipv4 add excludedportrange protocol=tcp startport=3000 numberofports=1

然后再启用Hyper-V就可以了。

要注意的是在Hyper-V或者Sandbox启用的情况下进行设置不会直接生效,必须先禁用再启用才行。

相关资料:

2022/3/1 更新

今天发现一个更方便的方法,不需要先关闭hyper-v服务再开,方案在这里

首先重新分配一个端口段,只要我们需要监听的端口不在里面即可

“`shell

netsh int ipv4 set dynamicport tcp start=49152 num=16384

“`

然后编辑注册表禁用端口排除(但是使用`netsh int ipv4 show excludedportrange protocol=tcp` 可以看到还是有排除的端口,只不过变成了前一条命令设置的范围)

“`shell

reg add HKLM\SYSTEM\CurrentControlSet\Services\hns\State /v EnableExcludedPortRange /d 0 /f

“`

然后重启

重要提示:设置排除端口时你必须设置足够多的端口(几千到几万个)才能保证需要对外发起连接的程序能正常工作,因为发起连接需要占用一个端口,如果你设置的排除端口不够多,那么端口资源很快就会被耗尽,之后发起的连接就会出现addr in use之类的报错。