💎一站式轻松地调用各大LLM模型接口,支持GPT4、智谱、星火、月之暗面及文生图 广告
linux**不支持**原生线程,windows,solaris支持线程 ## 同步通信 异步通信 同步通信:通信双方需要同步时钟信号,建立连接,发送数据后等待对方接收完成。 异步通信:通信双方不需要同步时钟信号,发送数据后不考虑对方是否接收 ## 同步(synchronous)和异步(asynchronous) >[info]同步和异步关注被调用者通知调用者的消息通知机制 * 同步IO:调用发出不会立即返回,但一旦返回就可以返回最终结果; * 异步IO:调用发出之后,被调用方立即返回消息,但返回的非最终结果;被调用者通过状态、通知机制来通知调者,或通过回调函数来处理结果; ## 阻塞(block)和非阻塞(non-block) >[info]关注的是调用者等调用结果(消息、返回值)时的状态 * 阻塞:调用结果返回之前,调用者(调用线程)会被挂起;调用者只有在得到结果之后才会返回; * 非阻塞:调用结果返回之前,调用不会阻塞当前线程; ## 多进程 * 每个请求启动一个进程 * 进程量大,进程切换次数很多 * 每隔进程的地址空间是独立的,很多空间是重复的数据,因此内存利用率很低 ## 多线程 * 每个线程响应一个请求: * 线程切换较进程为轻量级切换 * 进程内的许多资源可以在线程间共享 >[info]多进程多线程:需要结合进程和CPU的绑定可以发挥更好的效果 ## 忙等 闲等 忙等:自旋锁,spin lock,不退出CPU,等待IO等资源到位 闲等:退出CPU,等待IO等资源到位 ## I/O动作如何执行? 进程无法直接操作I/O设备,其必须通过系统调用请求kernel来协助完成I/O动作 内核会为每个I/O设备维护一个buffer ![](http://om4h63cja.bkt.clouddn.com/17-7-21/98285961.jpg) 对于输入而言,等待(wait)数据输入至buffer需要时间,而从buffer复制(copy)数据至进程也需要时间 根据等待模式不同,I/O动作可分为五种模式: * 阻塞I/O:blocking I/O, blocked all the way * 非阻塞I/O:nonblocking I/O,if no data in buffer, immediate returns EWOULDBLOCK * I/O复用:I/O multiplexing (select and poll), blocked separately in wait and copy * 信号驱动I/O:signal driven I/O (SIGIO), nonblocked in wait but blocked in copy (signaled when I/O can be initiated) * 异步I/O:asynchronous I/O (aio_),nonblocked all the way (signaled when I/O is complete) ### 阻塞I/O 在一个进程发出IO请求后,进入阻塞状态,直到内核返回数据,才重新运行,如图: ![](http://om4h63cja.bkt.clouddn.com/17-7-21/80519944.jpg) ![](http://om4h63cja.bkt.clouddn.com/17-7-21/22299496.jpg) ### 非阻塞I/O 在一个进程发出IO请求后,不阻塞,如果数据没有准备好,就直接返回错误码,如图: ![](http://om4h63cja.bkt.clouddn.com/17-7-21/25168489.jpg) ![](http://om4h63cja.bkt.clouddn.com/17-7-21/97133573.jpg) ### I/O复用 IO复用阻塞在select、poll或epoll这样的系统调用上,通过这种方式,在不使用多线程的前提下,单个进程可以同时处理多个网络连接的IO。如图: ![](http://om4h63cja.bkt.clouddn.com/17-7-21/87977021.jpg) ![](http://om4h63cja.bkt.clouddn.com/17-7-21/72240569.jpg) ### 事件驱动I/O #### 通知机制 * 通知水平触发:多次通知,直到process从kernel buffer中将数据复制完成 * 通知边缘触发:通知一次后即使process未从kernel buffer中将数据取走,也不再通知 使用信号驱动I/O时,当网络套接字可读后,内核通过发送SIGIO信号通知应用进程,于是应用可以开始读取数据。如图: ![](http://om4h63cja.bkt.clouddn.com/17-7-21/28121111.jpg) ![](http://om4h63cja.bkt.clouddn.com/17-7-21/49984786.jpg) >[info]内存映射:mmqp,kernel buffer直接将I/O设备中的数据映射给process,并非复制 ### 异步I/O 在一个进程发出IO请求后直接返回,内核在整个操作(包括将数据复制到进程缓冲区)完成后通知进程,如图: ![](http://om4h63cja.bkt.clouddn.com/17-7-21/28588738.jpg) ![](http://om4h63cja.bkt.clouddn.com/17-7-21/8252501.jpg)