您的当前位置:首页正文

hive 的独立模式安装及测试

来源:爱go旅游网


1. 安装mysql 服务器和客户端

2. .在hdfs上建目录:

如果本机已经调试过内嵌模式 这个文件夹都已经存在

$ hadoop fs -mkdir /tmp

$ hadoop fs -mkdir /user/hive/warehouse

3.添加权限:

$ hadoop fs -chmod g+w /tmp

$ hadoop fs -chmod g+w /user/hive/warehouse

4. 在mysql>下执行

(1)create user 'hive' identified by '123456';

(2)GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost' IDENTIFIED BY 'hive';

FLUSH PRIVILEGES;

(3)建立Hive专用的元数据库,记得创建时用刚才创建的“hive”账号登陆。

用新建立的用户hive登录Mysql,建立hive数据库用于存储元数据。命令如下:

create database hive;

3. 拷贝数据驱动jar包(如:本书实验用的是mysql-connector-java-5.1.10.jar)到指定目录下 /home/ hadoop/bigdata/hive /lib/下。

4. 配置环境变量 vim ~./bashrc

增加:

export HIVE_HOME= /home/ hadoop/bigdata/hive

export PATH=$HIVE_HOME/bin:$PATH

5. 修改/home/ hadoop/bigdata/hive /conf下 俩配置文件

Cp

(1) hive-site.xml:修改地方比较多

#

hive.metastore.warehouse.dir

/user/hive/warehouse

#

hive.exec.scratchdir

/tmp

hive.server2.logging.operation.log.location

/tmp/hive/operation_logs

Top level directory where operation logs are stored if logging functionality is enabled

hive.exec.local.scratchdir

/tmp/hive

Local scratch space for Hive jobs

hive.metastore.local

true

javax.jdo.option.ConnectionURL

jdbc:MySQL://localhost:3306/metastore_db?createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

hadoopuser

javax.jdo.option.ConnectionPassword

hadoopuser的密码

(2) hive-env.sh

复制一份hive-env.sh.template,到hive-env.sh

cp hive-env.sh.template hive-env.sh

更改hive-env.sh的内容:

HADOOP_HOME=/home/hadoop/bigdata/hadoop

(3) hive-log4j.properties

#log4j.appender.EventCounter=org.apache.hadoop.hive.shims.HiveEventCounter

log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter

5.修改/home/lHadoop/hive/bin/hive-config.sh,添加环境变量:

export HADOOP_HOME=/home/ hadoop/bigdata/hadoop

export HIVE_HOME=/home/ hadoop/bigdata/hive

6. 任意处执行hive 测试

7. 成功后创建一个数据库student,create database student,位置在HDFS的

/user/hive/warehouse

8. 创建一张表

9. 提前在/home/hadoop/hive路径下放一个文本文件

内容:

1 李小三

2 王艳丽

3 张晓军

4 郑爽

9. hive> load data local inpath '/home/hadoop/bigdata/ hive/userinfo.txt'

> overwrite into table userinfo;

将显示:Loading data to table default.userinfo

Table default.userinfo stats: [numFiles=1, numRows=0, totalSize=50, rawDataSize=0]

OK

Time taken: 3.139 secondshi

10 查看hive 表userinfo 的信息

Select * from userinfo

v

因篇幅问题不能全部显示,请点此查看更多更全内容