💎一站式轻松地调用各大LLM模型接口,支持GPT4、智谱、星火、月之暗面及文生图 广告
以WordCount的案例为例,如下为WordCount的代码: ```scala sc.textFile("hdfs://hadoop101:9000/spark/data.txt") .flatMap(x=>x.split("\\s+")) .map(x=>(x,1)) .reduceByKey(_+_) .collect // 统计结果如下 res6: Array[(String, Int)] = Array((hello,4), (Spark,1), (World,1)) ``` :-: ![](https://img.kancloud.cn/c3/e4/c3e400f8871d156d72f86e560c61fe95_1080x523.png) WordCount转换流程 <br/> 除了根HadoopRDD,其他 RDD 都有父 RDD,表示了该 RDD 从哪里转换而来。这称为 RDD 间的依赖。