[TOC] # 常用命令列举 | 命令 | 类 | 说明 | |---|---|---| | import | ImportTool | 将数据导入到集群 | | export | ExportTool | 将集群数据导出 | | codegen | CodeGenTool | 获取数据库中某张表数据生成java并打包Jar | | create-hive-table | CreateHiveTableTool | 创建hive表 | | eval | EvalSqlTool | 查看sql执行结果 | | import-all-tables | ImportAllTablesTool | 导入某个数据库下所有表到hdfs中 | | job | JobTool | 用来生成一个sqoop的任务,生成后,该任务并不执行,除非使用命令执行该任务 | | list-databases | ListDatabasesTool | 列出所有数据库名 | | list-tables | ListTablesTool | 列出某个数据库下所有表 | | merge | MergeTool | 将HDFS中不同目录 下面的数据合在一起,并存放在指定的目录中 | | metastore | MetastoreTool | 记录sqoop job的元数据信息,如果不启动metastore实例,则默认的元数据存储目录为:~/.sqoop,如果要更改存储目录,可以在配置文件sqoop-site.xml中进行更改 | | help | HelpTool | 打印sqoop帮助信息 | | version | VersionTool | 打印sqoop版本信息 | # 命令参数详解 ## 公用参数:数据库连接 | 参数 | 说明 | |---|---| | --connect | 连接关系型数据库的URL | | --connection-manager | 指定要使用的连接管理类 | | --driver | JDBC的driver class | | --help | 打印帮助信息 | | --password | 连接数据库的密码 | | --username | 连接数据库的用户名 | | --verbose | 在控制台打印出详细信息 | ## 公用参数:import | 参数 | 说明 | |---|---| | --enclosed-by `<char>` | 给字段值前后加上指定的字符 | | --escaped-by `<char>` | 对字段中的双引号加转义符 | | --fields-terminated-by `<char>` | 设定每个字段是以什么符号作为结束,默认是逗号 | | --lines-terminated-by `<char>` | 设定每行记录之间的分割符,默认是\n | | --mysql-delimiters | mysql默认的分隔符设置,字段之间以逗号分割,行之间以\n分割,默认转义符是\,字段值以单引号包裹 | | --optionally-enclosed-by `<char>` | 给带有双引号或单引号的字段值前后加上指定字符 | ## 公用参数:export | 参数 | 说明 | |---|---| | --input-enclosed-by `<char>` | 对字段值前后加上指定字符 | | --input-escaped-by `<char>` | 对含有转移符的字段做转义处理 | | --input-fields-terminated-by `<char>` | 字段之间的分割符 | | --input-lines-terminated-by `<char>` | 行之间的分割符 | | --input-optionally-enclosed-by `<char>` | 给带有双引号或单引号的字段前后加上指定字符 | ## 公用参数:hive | 参数 | 说明 | |---|---| | --hive-delims-replacement `<arg>` | 用自定义的字符串替换掉数据中的\r\n和\013 \010等字符 | | --hive-drop-import-delims | 在导入数据到hive时,去掉数据中的\r\n \013\010这样的字符 | | --map-column-hive `<map>` | 生成hive表时,可以更改生成字段的数据类型 | | --hive-partition-key | 创建分区,后面直接跟分区名,分区字段的默认类型为string | | --hive-partition-value `<v>` | 导入数据时,指定某个分区的值 | | --hive-home `<dir>` | hive的安装目录,可以通过该参数覆盖之前默认配置的目录 | | --hive-import | 将数据从关系数据库中导入到hive表中 | | --hive-overwrite | 覆盖掉在hive表中已经存在的数据 | | --create-hive-table | 默认是false,如果目标表已经存在,那么创建任务失败 | | --hive-table | 后面接要创建的hive表,默认使用mysql表名 | | --table | 指定关系数据库的表名 | ## 命令&参数:import | 参数 | 说明 | |---|---| | --append | 将数据追加到HDFS中已经存在的DataSet中,如果使用该参数,sqoop会把数据先导入到临时文件目录,再合并 | | --as-avrodatafile | 将数据导入到一个Avro数据文件中 | | --as-sequencefile | 将数据导入到一个sequence文件中 | | --as-textfile | 将数据导入到一个普通文本中 | | --boundary-query `<statement>` | 边界查询,导入的数据为该参数的值(一条sql语句)所执行的结果区间内的数据 | | --columns `<col1,col2,col3>` | 指定要导入的字段 | | --direct | 直接导入模式,使用的是关系数据库自带的导入导出工具,以便加快导入导出过程 | | --direct-split-size | 在使用上面direct直接导入的基础上,对导入的流按字节分块,即达到该阈值就产生一个新的文件 | | --inline-lob-limit | 设定大对象数据类型的最大值 | | --m或-num-mappers | 启动N个map来并行导入数据,默认4个 | | --query或-e `<statement>` | 将查询结果的数据导入,使用时必须伴随参数`--target-dir`,`--hive-table`,如果查询中有where条件,则条件后必须加上`$CONDITIONS`关键字 | | --split-by `<column-name>` | 按照某一列来切分表的工作单元,不能与`--autoreset-to-one-mapper`连用 | | --table `<table-name>` | 关系数据库的表名 | | --target-dir `<dir>` | 指定HDFS路径 | | --warehouse-dir `<dir>` | 与--target-dir参数不能同时使用,导入数据到HDFS时指定的目录 | | --where | 从关系数据库导入数据时的查询条件 | | --z或--compress | 允许压缩 | | --compression-codec | 指定hadoop压缩编码类,默认为gzip | | --nul-string `<null-string>` | string类型的列.如果null,替换为指定字符串 | | --null-non-string `<null-string>` | 非string类型的列如果null,替换为指定字符串 | | --check-column `<col>` | 作为增量导入判断的列名 | | --incremental `<mode>` | mode:append或lastmodified | | --last-value `<value>` | 指定某一个值,用于标记增量导入的位置 | ## 命令&参数: export | 参数 | 说明 | |---|---| | --direct | 利用数据库自带的导入导出工具,以便于提高效率 | | --export-dir `<dir>` | 存放数据的HDFS的源目录 | | -m或--num-mappers `<n>` | 启动N个map来并行导入数据,默认4个 | | --table `<table-name>` | 指定导出到那个RDBMS中的表 | | --update-key `<col-name>` | 对某一列的字段进行更新操作 | | --update-mode `<mode>` | updateonly allowinsert(默认) | | --input-null-string `<null-string>` | 参考import该类似参数说明 | | --input-null-non-string `<null-string>` | 参考import该类似参数说明 | | --staging-table `<staging-table-name>` | 创建一张临时表,用于存放所有事务的结果,然后将所有事务结果一次性导入到目标表中,防止错误 | | --clear-staging-table | 如果`--staging-table`参数非空,则可以在导出操作执行前,清空临时事务结果表 | ## 命令&参数:codegen 将关系型数据库中的表映射为一个java类,在该类中有各列对应的各个字段 ~~~ sqoop codegen \ --connect jdbc:mysql://master:3306/company \ --username root \ --password root \ --table staff \ --bindir /home/root/Desktop/staff \ --class-name staff \ --fields-terminated-by "\t" ~~~ | 参数 | 说明 | |---|---| | --bindir `<dir>` | 指定生成的java文件,编译成的class文件及将生成文件打包为jar的文件输出路径 | | --class-name `<name>` | 设定生成的java文件指定的名称 | | --outdir `<dir>` | 生成java文件存放的路径 | | --package-name `<name>` | 包名,如com.z,就会生成com和z两级目录 | | --input-null-non-string | 在生成的java文件中,可以将null字符串或者不存在的字符串设置为想要设定的值(例如空字符串) | | | | | | | ## 命令&参数:list-databases ~~~ sqoop list-databases \ --connect jdbc:mysql://master:3306/ \ --username root \ --password root ~~~ 参数:与公用参数一样 ## 命令&参数:list-tables ~~~ sqoop list-tables \ --connect jdbc:mysql://master:3306/company \ --username root \ --password root ~~~ 参数:与公用参数一样 ## 命令&参数:merge 将hdfs中不同目录下面的数据合并在一起并放入指定目录中 ~~~ ~~~