> 关于gsql在模糊查询中执行过程中不走索引的问题,可以通过 pg_trgm+gin索引来实现。
> pg_trgm扩展是用于字符串的相似度匹配的,在一些情况下也可以拿来代替全文检索做字符匹配,因此需要配合gin索引类型(倒排索引)一起使用。
关于pgsql在模糊查询中执行过程中不走索引的问题,一开始以为命中数据量越大会导致不走索引,后来分析了这个扩展的原理之后发现,是否走索引是根据提供的搜索字符串个数有关。<br>
**前置条件:**
1. 安装pg_trgm扩展
2. 对需要模糊搜索的字段创建倒排索引
```
// 查看已安装的扩展
postgres=# select * from pg_extension;
oid | extname | extowner | extnamespace | extrelocatable | extversion | extconfig | extcondition
-------+----------------+----------+--------------+----------------+------------+-----------+--------------
13566 | plpgsql | 10 | 11 | f | 1.0 | |
16439 | first_last_agg | 10 | 2200 | t | 0.1.4 | |
16446 | pg_trgm | 10 | 2200 | t | 1.5 | |
(3 rows)
// 对event_desc 字段创建gin类型索引
postgres=# CREATE INDEX index_attack_alarm_event_desc ON "public"."alerts" USING gin (event_desc gin_trgm_ops);
CREATE INDEX
postgres=# select * from pg_indexes where tablename='alerts' and indexname='index_attack_alarm_event_desc';
schemaname | tablename | indexname | tablespace | indexdef
------------+-----------+-------------------------------+------------+-------------------------------------------------------------------------------------------------
public | alerts | index_attack_alarm_event_desc | | CREATE INDEX index_attack_alarm_event_desc ON public.alerts USING gin (event_desc gin_trgm_ops)
(1 row)
```
**pg_trgm扩展实现原理:**
1. 将字符串的前端添加2个空格,末尾添加1个空格
2. 每连续的3个字符标记为一个TOKEN
3. 对TOKEN建立GIN倒排索引
```
// 比如 字符串 'abc',会在前后添加前后两个空格之后,连续3个字符拆分标记为TOKEN,并建立倒排索引
postgres=# select show_trgm('abc');
show_trgm
-------------------------
{" a"," ab",abc,"bc "}
(1 row)
```
**根据实现原理分析pg\_trgm扩展的使用场景:**
1. 有前缀的模糊查询,例如a%,**至少需要提供1个字符**。(搜索的是token \='a')
2. 有后缀的模糊查询,例如%ab,**至少需要提供2个字符**。(搜索的是token ='ab')
3. 前后模糊查询,例如%abcd%,**至少需要提供3个字符**。(这个使用数组搜索,搜索的是token包含了{“a”,“ab”,abc,bcd,“cd”})
也就是说,前缀模糊,至少需要输入一个字符才能走索引;后缀模糊至少需要两个字符才能走索引,而全模糊查询,至少需要三个字符才能走索引。<br>
**验证分析:**
**场景1:** 前缀模糊查询,匹配一个字符,命中30w+数据,结果会经过索引
![](https://img.kancloud.cn/a5/1f/a51f6113ae0c899c532a43ac8b006d0c_1002x462.png)
**场景2:** 后缀模糊,仅匹配一个字符不会走索引,跟命中数据量无关,需要两个字符串以上才会
![](https://img.kancloud.cn/61/8e/618eded149d0f9a047cfd694bdc6588b_963x382.png)
**场景3:** 全模糊,匹配两个字符不会走索引,跟命中数据量无关,需要三个字符串以上才会
![](https://img.kancloud.cn/a4/1d/a41dff157c5f3d6055c80ebf930499df_988x360.png)<br>
**在全模糊情况下,bree索引和gin索引的语句耗时对比如下:**
1、 event\_desc字段创建btree索引,全模糊搜索三个字符没有走索引,语句耗时2.6s,命中40w+
![](https://img.kancloud.cn/e7/0b/e70b9ec7adf646efbbeb9b29ddc0df3a_1334x769.png)
2、使用pg_trgm和gin索引,全模糊搜索三个字符会走索引,语句耗时2.4s,命中40w+
![](https://img.kancloud.cn/2b/07/2b07da1fee30ce1e104d6e946a1f99ce_1323x771.png)<br>
**pg_trgm扩展测试结论:**
1. 对应的字段需要使用gin索引类型(倒排索引),创建此耗时比btree索引长约10倍(980w数据重建索引,数据越大耗时越长),对数据实时插入表的性能影响未知
2. 此扩展的使用场景,后缀模糊需要输入两个字符串以上,全模糊需要输入三个字符串以上,才会走索引。可能不满足真实业务场景(真实业务场景可能是:全模糊搜索两个字符就走索引)
3. 在聚合场景,命中40w+数据情况下,虽然有走索引,但是对比btree索引查询耗时未明显下降,效果不明显
- PHP
- PHP基础
- PHP介绍
- 如何理解PHP是弱类型语言
- 超全局变量
- $_SERVER详解
- 字符串处理函数
- 常用数组函数
- 文件处理函数
- 常用时间函数
- 日历函数
- 常用url处理函数
- 易混淆函数区别(面试题常见)
- 时间戳
- PHP进阶
- PSR规范
- RESTFUL规范
- 面向对象
- 三大基本特征和五大基本原则
- 访问权限
- static关键字
- static关键字
- 静态变量与普通变量
- 静态方法与普通方法
- const关键字
- final关键字
- abstract关键字
- self、$this、parent::关键字
- 接口(interface)
- trait关键字
- instanceof关键字
- 魔术方法
- 构造函数和析构函数
- 私有属性的设置获取
- __toString()方法
- __clone()方法
- __call()方法
- 类的自动加载
- 设计模式详解
- 关于设计模式的一些建议
- 工厂模式
- 简单工厂模式
- 工厂方法模式
- 抽象工厂模式
- 区别和适用范围
- 策略模式
- 单例模式
- HTTP
- 定义
- 特点
- 工作过程
- request
- response
- HTTP状态码
- URL
- GET和POST的区别
- HTTPS
- session与cookie
- 排序算法
- 冒泡排序算法
- 二分查找算法
- 直接插入排序算法
- 希尔排序算法
- 选择排序算法
- 快速排序算法
- 循环算法
- 递归与尾递归
- 迭代
- 日期相关的类
- DateTimeInterface接口
- DateTime类
- DateTimeImmutable类
- DateInterval类
- DateTimeZone类
- DatePeriod类
- format参数格式
- DateInterval的format格式化参数
- 预定义接口
- ArrayAccess(数组式访问)接口
- Serializable (序列化)接口
- Traversable(遍历)接口
- Closure类
- Iterator(迭代器)接口
- IteratorAggregate(聚合迭代器) 接口
- Generator (生成器)接口
- composer
- composer安装与使用
- python
- python3执行tarfile解压文件报错:tarfile.ReadError:file could not be opened successfully
- golang
- 单元测试
- 单元测试框架
- Golang内置testing包
- GoConvey库
- testify库
- 打桩与mock
- GoMock框架
- Gomonkey框架
- HTTP Mock
- httpMock
- mux库/httptest
- 数据库
- MYSQL
- SQL语言的分类
- 事务(重点)
- 索引
- 存储过程
- 触发器
- 视图
- 导入导出数据库
- 优化mysql数据库的方法
- MyISAM与InnoDB区别
- 外连接、内连接的区别
- 物理文件结构
- PostgreSQL
- 编译安装
- pgsql常用命令
- pgsql应用目录(bin目录)文件结构解析
- pg_ctl
- initdb
- psql
- clusterdb
- cluster命令
- createdb
- dropdb
- createuser
- dropuser
- pg_config
- pg_controldata
- pg_checksums
- pgbench
- pg_basebackup
- pg_dump
- pg_dumpall
- pg_isready
- pg_receivewal
- pg_recvlogical
- pg_resetwal
- pg_restore
- pg_rewind
- pg_test_fsync
- pg_test_timing
- pg_upgrade
- pg_verifybackup
- pg_archivecleanup
- pg_waldump
- postgres
- reindexdb
- vacuumdb
- ecpg
- pgsql数据目录文件结构解析
- pgsql数据目录文件结构解析
- postgresql.conf解析
- pgsql系统配置参数说明
- pgsql索引类型
- 四种索引类型解析
- 索引之ctid解析
- 索引相关操作
- pgsql函数解析
- pgsql系统函数解析
- pgsql窗口函数解析
- pgsql聚合函数解析
- pgsql系统表解析
- pg_stat_all_indexes
- pg_stat_all_tables
- pg_statio_all_indexes
- pg_statio_all_tables
- pg_stat_database
- pg_stat_statements
- pg_extension
- pg_available_extensions
- pg_available_extension_versions
- pgsql基本原理
- 进程和内存结构
- 存储结构
- 数据文件的内部结构
- 垃圾回收机制VACUUM
- 事务日志WAL
- 并发控制
- 介绍
- 事务ID-txid
- 元组结构-Tuple Structure
- 事务状态记录-Commit Log (clog)
- 事务快照-Transaction Snapshot
- 事务快照实例
- 事务隔离
- 事务隔离级别
- 读已提交-Read committed
- 可重复读-Repeatable read
- 可序列化-Serializable
- 读未提交-Read uncommitted
- 锁机制
- 扩展机制解析
- 扩展的定义
- 扩展的安装方式
- 自定义创建扩展
- 扩展的管理
- 扩展使用实例
- 在pgsql中使用last、first聚合函数
- pgsql模糊查询不走索引的解决方案
- pgsql的pg_trgm扩展解析与验证
- 高可用
- LNMP
- LNMP环境搭建
- 一键安装包
- 搭建方法
- 配置文件目录
- 服务器管理系统
- 宝塔(Linux)
- 安装与使用
- 开放API
- 自定义apache日志
- 一键安装包LNMP1.5
- LNMP1.5:添加、删除站点
- LNMP1.5:php多版本切换
- LNMP1.5 部署 thinkphp项目
- Operation not permitted解决方法
- Nginx
- Nginx的产生
- 正向代理和反向代理
- 负载均衡
- Linux常用命令
- 目录与文件相关命令
- 目录操作命令
- 文件编辑命令
- 文件查看命令
- 文件查找命令
- 文件权限命令
- 文件上传下载命令
- 用户和群组相关命令
- 用户与用户组的关系
- 用户相关的系统配置文件
- 用户相关命令
- 用户组相关命令
- 压缩与解压相关命令
- .zip格式
- .tar.gz格式
- .gz格式
- .bz2格式
- 查看系统版本
- cpuinfo详解
- meminfo详解
- getconf获取系统信息
- 磁盘空间相关命令
- 查看系统负载情况
- 系统环境变量
- 网络相关命令
- ip命令详解
- ip命令格式详解
- ip address命令详解
- ip link命令详解
- ip rule命令详解
- ip route命令详解
- nslookup命令详解
- traceroute命令详解
- netstat命令详解
- route命令详解
- tcpdump命令详解
- 系统进程相关命令
- ps命令详解
- pstree命令详解
- kill命令详解
- 守护进程-supervisord
- 性能监控相关命令
- top命令详解
- iostat命令详解
- pidstat命令详解
- iotop命令详解
- mpstat命令详解
- vmstat命令详解
- ifstat命令详解
- sar命令详解
- iftop命令详解
- 定时任务相关命令
- ssh登录远程主机
- ssh口令登录
- ssh公钥登录
- ssh带密码登录
- ssh端口映射
- ssh配置文件
- ssh安全设置
- 历史纪录
- history命令详解
- linux开启操作日志记录
- 拓展
- git
- git初始化本地仓库-https
- git初始化仓库-ssh
- git-查看和设置config配置
- docker
- 概念
- docker原理
- docker镜像原理
- docker Overlay2 文件系统原理
- docker日志原理
- docker日志驱动
- docker容器日志管理
- 原理论证
- 验证容器的启动是作为Docker Daemon的子进程
- 验证syslog类型日志驱动
- 验证journald类型日志驱动
- 验证local类型日志驱动
- 修改容器的hostname
- 修改容器的hosts
- 验证联合挂载技术
- 验证启动多个容器对于磁盘的占用情况
- 验证写时复制原理
- 验证docker内容寻址原理
- docker存储目录
- /var/lib/docker目录
- image目录
- overlay2目录
- 数据卷
- 具名挂载和匿名挂载
- 数据卷容器
- Dockerfile详解
- dockerfile指令详解
- 实例:构造centos
- 实例:CMD和ENTRYPOINT的区别
- docker网络详解
- docker-compose
- 缓存
- redis
- redis的数据类型和应用场景
- redis持久化
- RDB持久化
- AOF持久化
- redis缓存穿透、缓存击穿、缓存雪崩
- 常见网络攻击类型
- CSRF攻击
- XSS攻击
- SQL注入
- Cookie攻击
- 历史项目经验
- 图片上传项目实例
- 原生php上传方法实例
- base64图片流
- tp5的上传方法封装实例
- 多级关系的递归查询
- 数组转树结构
- thinkphp5.1+ajax实现导出Excel
- JS 删除数组的某一项
- 判断是否为索引数组
- ip操作