最近在做大规模公开资讯数据的采集项目，目标是日均千万级页面的采集量。初期用Colly搭了个原型，默认配置跑下来，单机每分钟才不到两千页，离预期差了十倍还多。最开始以为是Go的性能到顶了，想直接上分布式集群，后来静下心来用pprof逐段排查瓶颈，从内核参数、TCP连接池、DNS解析到Go运行时一路调下来，最终在千兆单机环境下稳定跑到每分钟2.8万页，基本榨干了单机带宽。很多人做Go采集，一上来就把并发数拉满，结果越跑越慢、错误率飙升，最后把锅甩给框架不行。其实高并发采集是典型的IO密集型场景，瓶颈从来不在CPU，而在网络栈开销、系统限制和程序自身的锁竞争。调优也不是盲目加goroutine，而是找到每一个卡点逐个突破。这篇文章就把完整的调优过程、核心代码和踩过的坑全部整理出来，从系统层到应用层逐层拆解，看完你也能把单机采集效率拉到物理极限。一、先盘清楚：高并发采集的瓶颈到底在哪初期压测的时候我就踩了最典型的坑：把Colly的Concurrency从100拉到1000，QPS没涨多少，错误率反而翻了三倍，大量请求超时。用pprof抓了运行时数据才发现，CPU只用了10%出头，大部分goroutine都卡在等待TCP连接和DNS解析上，计算资源根本没发挥出来。对于IO密集型的采集任务，性能瓶颈通常按优先级分布在这几层：系统层：文件描述符限制、TCP端口范围、连接队列大小，这是最基础的门槛，不放开的话上层再怎么优化都没用网络层：TCP连接复用率、DNS解析耗时、TLS握手开销，这是绝大多数采集程序的最大性能杀手
