💎一站式轻松地调用各大LLM模型接口,支持GPT4、智谱、星火、月之暗面及文生图 广告
**1. 开启动态分区参数设置** (1)开启动态分区功能(默认 true,开启) ```sql hive.exec.dynamic.partition=true ``` (2)设置为非严格模式(动态分区的模式,默认 strict,表示必须指定至少一个分区为静态分区,nonstrict 模式表示允许所有的分区字段都可以使用动态分区。 ```sql hive.exec.dynamic.partition.mode=nonstrict ``` (3)在所有执行 MR 的节点上,最大一共可以创建多少个动态分区。 ```sql hive.exec.max.dynamic.partitions=1000 ``` (4)在每个执行 MR 的节点上,最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。比如:源数据中包含了一年的数据,即 day 字段有365 个值,那么该参数就需要设置成大于 365,如果使用默认值 100,则会报错。 ```sql hive.exec.max.dynamic.partitions.pernode=100 ``` (5)整个 MR Job 中,最大可以创建多少个 HDFS 文件。 ```sql hive.exec.max.created.files=100000 ``` (6)当有空分区生成时,是否抛出异常。一般不需要设置。 ```sql hive.error.on.empty.partition=false ```