企业🤖AI智能体构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
## 分区表的原理 >[info] 对用户而言,分区表是一个独立的逻辑表,但是底层MySql将其分成了多个物理子表,这对用户来说是透明的,每一个分区表都会使用一个独立的表文件。 >[info] 创建表时使用 `partition by` 子句定义每个分区存放的数据,执行查询时,优化器会根据分区定义过滤那些没有我们需要数据的分区,这样查询只需要查询所需数据在的分区即可。 >[info] 分区的主要目的是将数据按照一个较粗的粒度分在不同的表中,这样可以将相关的数据存放在一起,而且如果想一次性删除整个分区的数据也很方便。 **适用场景** * 表非常大,无法全部存在内存,或者只在表的最后有热点数据,其他都是历史数据。 * 分区表的数据更易维护,可以对独立的分区进行独立的操作。 * 分区表的数据可以分布在不同的机器上,从而高效使用资源 * 可以使用分区表来避免某些特殊的瓶颈 * 可以备份和恢复独立的分区 >[warning] > * 一个表最多只能有1024个分区 > * `5.1`版本中,分区表达式必须是整数,`5.5`可以使用列分区 > * 分区字段中如果有主键和唯一索引列,那么主键列和唯一列都必须包含进来 > * 分区表中无法使用外键索引(约束) > * 需要对现有表的结构进行修改 > * 所有分区都必须使用相同的存储引擎 > * 分区函数中可以使用的函数和表达式会有一些限制 > * 某些存储引擎不支持分区 > * 对于MyISAM的分区表,不能使用load index into cache > * 对于MyISAM表,使用分区表时需打开更多的文件描述符 ## 分库分表的原理 >[info]通过一些`hash`算法或者工具实现将一张数据表垂直或者水平进行物理切分 **适用场景** * 单表记录条数达到百万到千万级别时 * 解决表锁的问题 **分表方式** >* 水平分割:分割后可以降低在查询时需要读的数据和索引的页数,同时也降低了索引的层数,提高查询数独 > * 适用场景 > * 表的数据本身就有独立性,例如分别记录各个地区的数据,或不同时期的数据 > * 需要把数据存放在多个介质上 > * 缺点 > * 给应用增加复杂度,通常查询时需要多个表名,查询所有数据需`union`操作 > * 在许多数据库应用中,复杂会超过它带来的优点,查询时会增加一个索引层的磁盘次数 > **** > * 垂直分割:可以使数据行变小,一个数据页能存储更多数据,查询时减少I/O次数 > * 适用场景 > * 一个表某些列常用,而另外一些列不常用 > * 缺点 > * 管理冗余列,查询所有数据需要`join`操作 **分表缺点** ``` 有些分表的策略基于应用层的逻辑算法,一旦逻辑算法改变,整个分表逻辑都会改变,扩展性较差 对于应用层来说,逻辑算法无疑增加开发成本 ```