企业🤖AI智能体构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
[TOC] # 获取数据 hadoop的mapreduce中由TextInputFormat获取数据 storm中如何获取? spout去获取数据 spout去哪里拿数据? 数据在数据库中,在文件中,在redis中,在任何存储数据的地方 假设存储文件中,1G,spout一行一行的读取文件中的数据,是在实时读取数据. 注意:只有数据实时产生,并实时获取才能让storm实时计算框架产生最大的效益 # 如何计算数据 hadoop的mapreduce中由map/reduce计算数据 storm中如何计算数据? 在Bolt中进行相关业务逻辑的计算 storm中如果有多个阶段的业务逻辑需要计算? Bolt1(Map1)--->Bolt2(Reduce1)--->Bolt3(Map)--->Bolt4(Reduce) # storm编程模型 spout(获取数据)--->Bolt1(计算)--->Bolt2(计算)--->Bolt3(计算)