多应用+插件架构,代码干净,二开方便,首家独创一键云编译技术,文档视频完善,免费商用码云13.8K 广告
[TOC] # 获取数据 hadoop的mapreduce中由TextInputFormat获取数据 storm中如何获取? spout去获取数据 spout去哪里拿数据? 数据在数据库中,在文件中,在redis中,在任何存储数据的地方 假设存储文件中,1G,spout一行一行的读取文件中的数据,是在实时读取数据. 注意:只有数据实时产生,并实时获取才能让storm实时计算框架产生最大的效益 # 如何计算数据 hadoop的mapreduce中由map/reduce计算数据 storm中如何计算数据? 在Bolt中进行相关业务逻辑的计算 storm中如果有多个阶段的业务逻辑需要计算? Bolt,可以多个 Bolt1(Map1)--->Bolt2(Reduce1)--->Bolt3(Map)--->Bolt4(Reduce) # storm编程模型 spout(获取数据)--->Bolt1(计算)--->Bolt2(计算)--->Bolt3(计算)