很多人刚开始接触Python多任务的时候都会有很强的落差感明明开了好几个线程怎么运行速度不仅没翻倍反而还变慢了和想象里“多任务同时运行、效率成倍提升”完全不一样。这不是代码写错了是Python的底层设计决定的很多人对多任务的认知从一开始就有偏差。多数人理解的多任务并行是多个任务同时在CPU核心上运行任务越多速度越快。但在Python的多线程里做不到真正的并行根源就是全局解释器锁也就是常说的GIL。简单来说GIL是Python解释器里的一把锁会保证同一时间只有一个线程能执行Python字节码哪怕电脑是多核CPU多线程也只是在不同线程之间来回切换并不是真的同时运行。对于需要大量计算的CPU密集型任务多线程不仅不会提速反而会因为线程切换带来额外的开销导致运行速度比单线程还慢。这也是很多人觉得Python多任务“没用”的原因但其实它只是不适合CPU密集型场景在IO密集型任务里多线程的优势非常明显。IO密集型任务比如网络请求、文件读写、数据库查询这类任务大部分时间都在等待结果不需要占用CPU。比如爬虫请求网页发完请求之后就要等服务器响应这个等待的时间CPU是空闲的。多线程就可以在一个任务等待的时候立刻切换到另一个任务执行把等待的时间利用起来整体效率会提升很多。比如爬取一百个网页单线程要等每个请求返回再发下一个多线程可以同时发很多请求等待的时间重叠起来总耗时会少很多。如果想要在CPU密集型任务里实现真正的并行Python也有解决方案就是用多进程。每个进程有自己独立的解释器和独立的GIL可以运行在不同的CPU核心上真正实现并行计算。但多进程的开销比多线程大很多进程之间数据共享也更麻烦开发和调试的难度更高需要根据场景选择。很多人之所以觉得和想象中不一样就是默认“多线程等于并行”忽略了GIL的存在也没有区分任务类型。不管什么场景都用多线程自然达不到预期的效果。Python的多任务从来不是万能的不同的场景要用不同的方案。爬虫、文件处理这类IO密集型任务用多线程或者协程就足够高效数值计算、数据处理这类CPU密集型任务要用多进程才能真正发挥多核优势。选对了方案才能真正体会到多任务的效率提升。
