并行处理

写批量脚本的时候，你有没有遇到过这种两难：并行数设低了效率上不去，设高了服务器又扛不住。用 bash 的 FIFO 加 wait -n 搭一个令牌桶，就能把这事解决得很漂亮。 什么是令牌桶？为什么它适合做并发控制 令牌桶的核心逻辑很简单：桶里有固定数量的"令牌"，每个任务启动前必须从桶里取走一个令牌，任务结束后把令牌还回去。这样同时运行的任务数量永远不会超过桶的容量。换成 bash 的说法就是：创建 N 个 FIFO，启动任务前从某个 FIFO 读一把，任务结束时往另一个...

批量任务跑得慢，第一反应是加并发；结果一梭子把几百个后台进程全放出去，机器直接卡死、连接被对端限流、日志乱成一锅粥。真正需要的不是"无限并发"，而是并发数可控的任务池——池子里始终跑 N 个，结束一个补一个。bash 从 4.3 起提供的 wait -n 就是干这个的，配合几行循环就能搭出一个够用的调度器，不用装 GNU Parallel，也不用被 xargs 的参数拼接折腾。 下面把我实际在巡检脚本里跑过的几种写法、踩过的坑和兜底方案一次讲清楚。 一、为什么"全放后台再...

写并行 Shell 脚本时，最常见的痛点是：起了一堆后台任务，想在「任何一个」任务结束时立刻拿到它的退出码，而不是傻等全部跑完。bash wait -n 就是干这个的。但这个选项有明显的版本门槛，macOS 自带的老 bash 直接不认识它。这篇把 wait -n 的用法、退出码规则和版本兼容一次讲清，全部内容都在真机上验证过。 一、wait -n 是干什么的 普通的 wait 不带参数时，会阻塞到所有后台任务结束，且返回值恒为 0——这意味着你根本不知道哪个任务失败了。而...

Shell脚本里用「&」把任务扔到后台跑，速度是快了，但退出码经常收不回来——脚本最后一行 wait 一执行，$? 永远是 0，哪个任务失败了根本不知道。这篇把 wait 后台任务退出码精确捕获的几种方法一次讲透，全是能直接抄的代码。 为什么直接 wait 拿不到退出码 先说清楚问题根源。不带参数的 wait 会等所有后台任务结束，但它的返回值和子任务的成败没有关系——在 bash 里，裸 wait 的退出码通常就是 0（除非 wait 本身被信号打断）。所以下面这...

xargs 是 Linux 批量处理离不开的工具，但任务一多，子进程各自返回什么状态、哪个环节出了问题，往往只能靠手动翻日志排查。有没有办法让退出码汇总自动化？本文提供 5 种实战方案，从最基础的逐行记录到专业的 CSV 报表，总有一款适合你。退出码基础：xargs 会返回什么？ 在动手写脚本之前，先搞清楚 xargs 的退出码规则： 0：所有子进程都成功执行 123：部分或全部子进程退出码非0 124：发生了超时（用了 timeout 或外部 timeout 命令） 125...

用 xargs 跑批量任务时，最让人头疼的问题之一就是退出码。脚本明明跑完了，但最后脚本的退出状态返回的到底是 xargs 自己的状态，还是某个子命令的状态？同样是退出码 123，为什么有时候表示"子命令失败了"，有时候又表示"xargs 自己出问题了"？这篇文章从三层架构的角度，把 xargs 的退出码归属关系讲清楚。 三层退出码架构：一张图说清楚归属关系 先说结论：xargs 的退出码体系其实分为三层，每一层对应不同的退出来源，搞清楚这个，调试效率至少翻倍。 第一...

做批量任务的时候，最怕的不是任务跑得慢，而是跑完了不知道发生了什么。超时了多少个？哪些是因为网络慢，哪些是因为程序本身卡住了？退出码是124还是143？如果用xargs配合timeout跑并行任务，这些信息默认只会打印到终端，关掉终端就没了。 本文给出3套实战脚本，把xargs并行任务的超时结果完整导出成CSV文件，配合awk、grep三秒定位问题任务，实现批量异常追踪自动化。 一、为什么并行任务超时必须有CSV日志 xargs配合timeout做并行处理时，默认行为是...

为什么xargs重试离不开trap 用xargs配合timeout跑批量任务的时候，迟早会遇到这样一种情况：跑了半小时的脚本，被人按了Ctrl+C，或者服务器发来了重启信号，这时候到底哪些任务成功了、哪些失败、哪些正在重试，完全是一笔糊涂账。 单纯靠xargs本身，它只能把子进程杀掉就完事，不会给你留下任何线索。但配合Shell的trap命令，就能做到：捕获中断信号 → 记录当前状态 → 优雅退出。下次脚本重新跑的时候，直接从断点继续，不用从头开始。 本文重点不是讲tr...

做批量任务的时候，遇到任务失败需要重试，很多人第一反应是写一个while循环。但其实xargs配合timeout也能实现同样的功能，而且两者在并发能力、执行效率、错误处理上差别很大。选错了方案，轻则脚本跑得慢，重则把服务器资源耗光。 这篇文章从5个核心维度把两种方案掰开了讲，结合真实使用场景，帮你在实际项目中做出正确选择。 一、两种方案的本质区别在哪里 在动手写脚本之前，先搞清楚xargs和while循环各自的运行模型。 xargs本质上是一个任务分发器。它从标准输入...

做批量任务的时候，你有没有遇到过这种情况：任务跑完了，不知道哪些成功了、哪些失败了、失败的原因是什么？特别是用xargs配合timeout的时候，退出码的收集就成了个头疼的问题。今天这篇文章，就教你写一个实用的xargs并行任务timeout退出码收集脚本，让异常追踪变得清清楚楚。为什么需要收集退出码？xargs配合timeout使用的时候，退出码可不是简单的0和1。它能告诉你很多信息：退出码0：任务正常完成退出码123：xargs自己出了问题退出码124：timeout超时...