ThinkChat2.0新版上线,更智能更精彩,支持会话、画图、阅读、搜索等,送10W Token,即刻开启你的AI之旅 广告
* 分区大小限制为2GB * 分区太少 * 不利于并发。 * 更容易受数据倾斜影响。 * groupBy、reduceByKey、sortByKey等内存压力增大。 * 分区过多 * Shuffle开销越大。 * 创建任务开销越大。 * 经验 * 每个分区大约128MB。 * 如果分区小于但接近2000,则设置为大于2000。