# 一、实时数仓分层: 计算框架:Flink;存储框架:消息队列(可以实时读取&可以实时写入)  ## 1. ODS（操作数据层）:Kafka 使用场景:每过来一条数据,读取到并加工处理 ## 2. DIM（维度数据）:HBase 使用场景:事实表会根据主键获取一行维表数据(1.永久存储、2.根据主键查询) | 中间件 | 可行性 | | --- | --- | | HBase:海量数据永久存储,根据主键快速查询 | √ | | Redis:用户表数据量大,内存数据库 | × | | ClickHouse:并发不行,列存 | × | | ES:默认给所有字段创建索引 | × | | Hive(HDFS):效率低下 | × | | Mysql本身:压力太大,实在要用就使用从库 | √ | ## 3. DWD（明细数据层）:Kafka 使用场景:每过来一条数据,读取到并分组累加处理 ## 4. DWS（数据汇总层）:ClickHouse 使用场景:每过来一条数据,读取到并重新分组、累加处理 ## 5.ADS（应用数据层）:不落盘,实质上是接口模块中查询ClickHouse的SQL语句 使用场景:读取最终结果数据展示