怎样将Mysql数据导入Hbase

发布网友 发布时间：2022-04-24 13:02

我来回答

共2个回答

懂视网 时间：2022-05-03 08:06

sqoop import -D sqoop.hbase.add.row.key=true                        //是否将rowkey相关字段列入列族中，默认为false ；该参数必须在import之后 --connect jdbc:mysql://120.27.208.185/bigdatatest        //连接mysql数据库 --username och_test                                    //mysql用户名 --password 1111111                                    //mysql密码 --table t_teacher                                        //mysql表名 --columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark        //mysql列名 --hbase-table t_teacher                                //hbase中接受数据的表名 --hbase-create-table                                    //如果接收数据的表名不存在则创建新表 --column-family MM                                        //列族名称，所有源表的字段都进入该列族 --hbase-row-key id                                        //如果不指定该参数，则采用源表的key作为rowkey；可以指定一个字段作为rowkey，或者指定多个字段组合成rowkey(需要用双引号包含多个字段，字段之间以逗号分隔) -m 1                                                    //并发度：1     eg： #使用sqoop 将mysql数据库的t_teacher表的前500w行数据导入hbase sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://120.27.208.185/bigdatatest --username och_test --password 1111111 --query ‘select * from t_teacher WHERE $CONDITIONS limit 5000000;‘ --columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark --hbase-table t_teacher --hbase-create-table --column-family MM --hbase-row-key id -m 1                                                      eg2： #导入整张表的数据 sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://120.27.208.185/bigdatatest --username och_test --password 1111111 --table t_teacher  --columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark --hbase-table t_teacher --hbase-create-table --column-family MM --hbase-row-key id -m 1  

小记--------sqoop的简单从mysql导入到hbase操作

标签：HERE   add   gis   esc   默认   col   tab   create   column   

热心网友 时间：2022-05-03 05:14

利用sqoop命令直接将mysql数据导入hbase
sqoop import --connect jdbc:mysql://127.0.0.1:3306/bss --table usu3 --hbase-table U --column-familyperson --hbase-row-key id --hbase-create-table --username 'root' -P

--connect jdbc:mysql://127.0.0.1:3306/bss 表示远程或者本地Mysql 服务的URI，3306是Mysql默认监听端口，bss是数据库，若是其他数据库，如Oracle,只需修改URI即可。
--table usu3 表示导出bss数据库的usu3 表。
--hbase-table U 表示在HBase中建立表U。
--column-family person 表示在表U中建立列族person。
--hbase-row-key id 表示表U的row-key是usu3表的id字段。
--hbase-create-table 表示在HBase中建立表。
--username 'root' 表示使用用户root连接Mysql。