# 连接池
作为一个专业的服务端开发工程师,我们必须要对连接池、线程池、内存池等有较深理解,并且有自己熟悉的库函数可以让我们轻松驾驭这些不同的`池子`。既然他们都叫某某池,那么他们从基础概念上讲,原理和目的几乎是一样的,那就是`复用`。
以连接池做引子,我们说说服务端工程师基础必修课。
从我们应用最多的HTTP连接、数据库连接、消息推送、日志存储等,所有点到点之间,都需要花样繁多的各色连接。为了传输数据,我们需要完成创建连接、收发数据、拆除连接。对并发量不高的场景,我们为每个请求都完整走这三步(短连接),开发工作基本只考虑业务即可,基本上也不会有什么问题。一旦挪到高并发应用场景,那么可能我们就要郁闷了。
你将会碰到下面几个常见问题:
- 性能普遍上不去
- CPU大量资源被系统消耗
- 网络一旦抖动,会有大量TIME_WAIT产生,不得不定期重启服务或定期重启机器
- 服务器工作不稳定,QPS忽高忽低
这时候我们可以优化的第一件事情就是把短链接改成长连接。也就是改成创建连接、收发数据、收发数据...拆除连接,这样我们就可以减少大量创建连接、拆除连接的时间。从性能上来说肯定要比短链接好很多。但这里还是有比较大的浪费。
举例:请求进入时,直接分配数据库长连接资源,假设有80%时间在与关系型数据库通讯,20%时间是在与Nosql数据库通讯。当有50K个并行请求时,后端要分配50K*2=100K的长连接支撑请求。无疑这时候系统压力是非常大的。数据库在牛逼也抵不住滥用不是?
连接池终于要出厂了,它的解决思路是先把所有长连接存起来,谁需要使用,从这里取走,干完活立马放回来。那么按照这个思路,刚刚的50K的并发请求,最多占用后端50K的长连接就够了。省了一半啊有木有?
在OpenResty中,所有具备set_keepalive的类、库函数,说明他都是支持连接池的。
来点代码,给大家提提神,看看连接池使用时的一些注意点,麻雀虽小,五脏俱全。
~~~
server {
location /test {
content_by_lua '
local redis = require "resty.redis"
local red = redis:new()
local ok, err = red:connect("127.0.0.1", 6379)
if not ok then
ngx.say("failed to connect: ", err)
return
end
-- red:set_keepalive(10000, 100) -- 坑①
ok, err = red:set("dog", "an animal")
if not ok then
-- red:set_keepalive(10000, 100) -- 坑②
return
end
-- 坑③
red:set_keepalive(10000, 100)
';
}
}
~~~
- 坑①:只有数据传输完毕了,才能放到池子里,系统无法帮你自动做这个事情
- 坑②:不能把状态位置的连接放回池子里,你不知道这个连接后面会触发什么错误
- 坑③:逗你玩,这个不是坑,是正确的
尤其是掉进了第二个坑,你一定会莫名抓狂。不信的话,你就自己模拟试试,老带劲了。
理解了连接池,那么线程池、内存池,就应该都明白了,只是存放的东西不一样,思想没有任何区别。
- 序
- Lua简介
- Lua环境搭建
- 基础数据类型
- 表达式
- 控制结构
- if/else
- while
- repeat
- 控制结构for的使用
- break,return
- Lua函数
- 函数的定义
- 函数的参数
- 函数的返回值
- 函数回调
- 模块
- String库
- Table库
- 日期时间函数
- 数学库函数
- 文件操作
- 元表
- 面向对象编程
- FFI
- LuaRestyRedisLibrary
- select+set_keepalive组合操作引起的数据读写错误
- redis接口的二次封装(简化建连、拆连等细节)
- redis接口的二次封装(发布订阅)
- pipeline压缩请求数量
- script压缩复杂请求
- LuaCjsonLibrary
- json解析的异常捕获
- 稀疏数组
- 空table编码为array还是object
- 跨平台的库选择
- PostgresNginxModule
- 调用方式简介
- 不支持事务
- 超时
- 健康监测
- SQL注入
- LuaNginxModule
- 执行阶段概念
- 正确的记录日志
- 热装载代码
- 阻塞操作
- 缓存
- sleep
- 定时任务
- 禁止某些终端访问
- 请求返回后继续执行
- 调试
- 调用其他C函数动态库
- 我的lua代码需要调优么
- 变量的共享范围
- 动态限速
- shared.dict 非队列性质
- 如何添加自己的lua api
- 正确使用长链接
- 如何引用第三方resty库
- 使用动态DNS来完成HTTP请求
- 缓存失效风暴
- Lua
- 下标从1开始
- 局部变量
- 判断数组大小
- 非空判断
- 正则表达式
- 不用标准库
- 虚变量
- 函数在调用代码前定义
- 抵制使用module()函数来定义Lua模块
- 点号与冒号操作符的区别
- 测试
- 单元测试
- API测试
- 性能测试
- 持续集成
- 灰度发布
- web服务
- API的设计
- 数据合法性检测
- 协议无痛升级
- 代码规范
- 连接池
- c10k编程
- TIME_WAIT问题
- 与Docker使用的网络瓶颈
- 火焰图
- 什么时候使用
- 显示的是什么
- 如何安装火焰图生成工具
- 如何定位问题