💎一站式轻松地调用各大LLM模型接口,支持GPT4、智谱、星火、月之暗面及文生图 广告
[TOC] ### 背景介绍 #### 并发和并行 程序同一进程中线程在一颗CPU上`交替执行`,这样可以实现`并发`。 程序的不同进程分别在多核CPU上`同时执行`,这样可以实现`并行`。 ### 什么是进程? 计算机程序只不过是磁盘中可执行的,二进制(或其它类型)的数据。它们只有在被读取到内存中,被操作系统调用的时候才开始它们的生命期。进程(有时被称为`重量级进程`)是程序的一次执行。每个进程都有自己的`地址空间`,`内存`,`数据栈`以及其它记录其运行轨迹的`辅助数据`。操作系统管理在其上运行的所有进程,并为这些进程`公平`地分配时间。 进程也可以通过fork或者spawn派生新的进程来执行任务,每个进程都有自己的内存空间和数据栈,所以只能采取`进程间通信`(IPC)共享信息。 >* 进程间公平的分配时间片 >* 进程间不能共享内存 ### 什么是线程? 线程(有时被称为`轻量级进程`)跟进程有些相似,不同的是,所有的线程运行在同一个进程中,共享相同的运行环境。我们可以想像成是在主进程或“主线程”中并行运行的“迷你进程”。 >* 线程间不公平的分配时间片 >* 线程间能共享内存,交换数据 >* 线程是CPU执行的最小单元 ### 为什么要使用线程? 大多数的应用程序如果在开发时考虑采用两个以上线程,那么一般情况下是为每个线程分配了独立的功能,且这些功能能够`“并发地"`执行。 点对点的聊天工具,需要在我们编写信息的同时能够接受并打印出来对方说的话。如果将信息的发送和接受放在一个线程里,线程的单一顺序控制流程特性就使得发送和接受两者不能兼顾。其实说到“并发地”,实际上,这两个线程并不是同时在执行,而是`相斥`地,但是由于计算机的数据处理能力很强大,能够把系统资源快速地在这两者之间进行调配(切换),以至于我们人感觉不到这个切换的过程,好像它是在并发地执行,也就是说计算机通过多线程提供的所谓“并发性”满足了程序使用者对于并发性的要求。 ### 什么时候使用多线程,什么时候使用多进程? 在python的原始解释器CPython中存在着GIL(`Global Interpreter Lock`,全局解释器锁),因此在解释执行python代码时,会产生互斥锁来限制线程对共享资源的访问,直到解释器遇到`I/O操作`或者`操作次数`达到一定数目时才会释放GIL。所以,虽然CPython的线程库直接封装了系统的原生线程,但CPython整体作为一个进程,同一时间只会有一个获得GIL的线程在跑,其他线程则处于等待状态。这就造成了即使在多核CPU中,多线程也只是做着分时切换而已。 因为Python的多线程不能调用多个核心,只能利用一个核心. 如果是IO密集带阻塞的任务,Python的多线程还是很不错的. 如果是CPU密集, 试试多进程好了。 #### GIL的作用 在执行一些sleep/read/write/recv/send这些会导致阻塞的函数时,当前线程会主动放弃GIL,然后调用相应的系统API,完成后再重新申请GIL。因此,GIL也并不是导致Python的多线程完全没用,在一些IO等待的场合,Python多线程还是发挥了作用,当然如果多线程都是用于CPU密集的代码,那多线程的执行效率就明显会比单线程的低。 ### 锁 线程的通关文牒 当线程遇到需要获取锁的时候,能获取则通过,获取不到则阻塞在那里,直到获取锁或者一直获取不到;如果在西游中,锁就像是通关文牒,能拿到则通过,拿不到则通不过。 ### 阻塞 阻塞是卡在无法继续运行后续的代码。被阻塞的线程是没有顺序的,并不是先到先到先执行,胜出的线程是不确定的。