分布式数据仓库Hive 2.3.7详细安装步骤和配置参数
qiyuwang 2024-10-09 17:42 23 浏览 0 评论
本文安装和配置的Hive版本为 2.3.7,和Hadoop 3.x有比较好的兼容。
在正式开始安装Hive之前,先简要说明一下已经预装好的相关系统的版本号:
(1)JDK版本:JDK 1.8.0
(2)Hadoop版本:Hadoop 3.1.2
(3)Hive版本:Hive 2.3.7
(4)MySQL版本:MySql 5.7.27
(5)Linux 版本:CentOS 7.4
默认环境中JDK 1.8已经正常安装,Hadoop 3.1.2 集群正常启动。如果对Hadoop 3.1.2 详细安装过程有兴趣,可以访问《Hadoop v3.1大数据技术快速入门》技术专栏。
Hive 2.x的安装略显复杂,安装下面的详细步骤一步步操作,就可以安装成功了。
一、查看Hadoop版本
安装Hive的前提条件是Hadoop 已经安装好了。另外,Hive的版本和Hadoop的版本必须匹配。
[root@centos-103 local]# hadoop version
Hadoop 3.1.2
Source code repository https://github.com/apache/hadoop.git -r 1019dde65bcf12e05ef48ac71e84550d589e5d9a
Compiled by sunilg on 2019-01-29T01:39Z
Compiled with protoc 2.5.0
From source with checksum 64b8bdd4ca6e77cce75a93eb09ab2a9
This command was run using /usr/local/hadoop/hadoop-3.1.2/share/hadoop/common/hadoop-common-3.1.2.jar
二、下载并解压Hive安装包
访问Apache国内镜像站点,获取Hive安装包。
https://mirror.bit.edu.cn/apache/hive/hive-2.3.7/
通过wget命令,获取hive压缩包。
wget https://mirror.bit.edu.cn/apache/hive/hive-2.3.7/apache-hive-2.3.7-bin.tar.gz
解压到指定的目录/usr/local。
tar -zxvf apache-hive-2.3.7-bin.tar.gz -C /usr/local
如图所示,解压后的目录为apache-hive-2.3.7-bin。
使用mv命令重命名解压后的文件夹apache-hive-2.3.7-bin为 hive-2.3.7,如下所示。
mv apache-hive-2.3.7-bin/ hive-2.3.7
然后将Hive的安装目录 /usr/local/hive-2.3.7 配置到 /etc/profile 的PATH环境变量中,如下所示。
# hive setting 2.3.7
export HIVE_HOME=/usr/local/hive-2.3.7
export PATH=$HIVE_HOME/bin:$PATH
执行 source /etc/profile 命令使上述配置生效。
执行 hive --version,查看hive版本号。下面有hive的版本显示,安装成功!
三、配置Hive
(1)hive-default.xml 配置文件
重命名hive/conf下的hive-default.xml 配置文件
下面命令是将hive-default.xml.template重命名为hive-default.xml。
mv conf/hive-default.xml.template conf/hive-default.xml
(2)hive-site.xml 配置文件
使用vim编辑器新建一个配置文件hive-site.xml,命令如下:
cd $HIVE_HOME/conf
vim hive-site.xml
在配置文件中添加如下配置,包括连接MySQL的字符串、驱动、用户名和密码等等。
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.56.103:3306/hive_2_3?useSSL=false&createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
<description>password to use against metastore database</description>
</property>
</configuration>
(3)hive-env.sh 配置文件
修改hive-env.sh 文件,使用cp命令复制文件:
cp hive-env.sh.template hive-env.sh
然后,编辑该文件,设置一些配置项,如图所示。
vim hive-env.sh
四、安装和配置MySQL
这里MySQL环境已经安装完成了,具体安装步骤可以参考《Hadoop v3.1大数据技术快速入门》技术专栏。
(1)Hive连接MySQL的驱动文件
MySQL JDBC包,可以自行下载。下载完成之后,解压,然后将mysql-connector-java-5.1.49-bin.jar拷贝到/usr/local/hive-2.3.7/lib目录下。
cp mysql-connector-java-5.1.49.jar /usr/local/hive-2.3.7/lib
(2)创建和配置Hive元数据库
可以在MySQL的client端工具,如Navicat,执行如下SQL命令。
// 创建Hive元数据库,需要和前面hive-site.xml 配置文件中的连接保持一致
create database hive_2_3;
// 设置MySQL密码验证策略,简单一点
set global validate_password_policy=0;
set global validate_password_length=1;
// 将hive_2_3 数据库的所有表的所有权限赋给hive用户
grant all on hive_2_3.* to hive@'%' identified by 'hive';
上述命令简要说明:grant 权限类型 on 数据库名.表名 to '用户名'@'ip地址' identified by '用户密码',给用户hive分配权限。
// 刷新MySQL系统权限关系表
FLUSH PRIVILEGES;
五、初始化Hive数据库
Hive现在包含一个用于 Hive Metastore schema操作的工具,名为 schematool。此工具可用于初始化当前 Hive 版本的 Metastore schema。此外,其还可处理从较旧版本到新版本的架构升级。
重新初始化schema:
schematool -dbType mysql -initSchema
如图所示,显示metastore元数据初始化完成。
如果在初始化过程中出现类似如下的异常信息:
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Access denied for user 'hive'@'localhost
那是因为用户hive没有权限访问 hive_2_3 数据库。仔细检查前面的前面的SQL 脚本有没有正确执行。
可以通过Navicat工具,连接MySQL 服务器,查看初始化完成之后的元数据hive_2_3,如图所示。
六、启动Hive
(1)启动Hadoop
在启动Hive之前,先启动Hadoop,使用jps命令验证Hadoop的5个进程都已经成功启动。
start-all.sh 启动Hadoop进程;
jps -l 查看已经启动的Hadoop进程;
(2)启动Hive
现在可以hive了,如图所示。
最后一段输出信息:
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. tez, spark) or using Hive 1.X releases.
大致意思:在Hive 2.0后在Mapreduce的框架上将不再支持,希望考虑使用其它的执行引擎(如tez, spark等)。
在hive交互式命令行,执行命令:
hive> set hive.execution.engine;
hive.execution.engine=mr
可以看到当前正在使用的计算引擎为MapReduce。
在hive交互式命令行中,输入show databases; 命令,查看hive中的数据库。
如果要退出Hive交互式执行环境,可以输入如下命令:【quit; 或者exit;】。
相关推荐
- 你真的会用Word画线吗?(word画线技巧)
-
【你真的会用Word画线吗?】①输入三个“=”回车,是一条双直线;②输入三个“”,回车,就是一条波浪线;③输入三个“”回车,就是一条虚线;④输入三个“-”,回车,就是一条细直线.....新技能get√...
- 「干货」Word技巧知识——进阶篇(2)
-
Hello,大家好,我是无拘无束的分享知识,每天跟大家分享点有用的知识,话不多说。感兴趣的朋友可以点赞、关注、收藏哦。1.将word文档中的硬回车全部消除从事来稿阅读、编辑的工作者,最头痛的事就是打...
- 办公室人员必备! Word快捷键大全(办公中常用的快捷键)
-
【Word里超简单的画线方法!】简历、总结里文字太多怎么办?用线条分隔!Word画线秘籍:①输三个"="回车,是一条双直线②输三个"~"回车,是一条波浪线③输三个"-"回车,就是一条细直线。(来源...
- Word笔记大全(详细步骤)(word怎么写笔记)
-
字处理一、文档的基本操作1.打开/新建2.快速新建ctrl+n3.利用模板创建文件--新建--选择模板officeplus4.保存5.保护文件--信息--保护文档--限制编辑--对话框:勾选每一项...
- 如何删除word文档空白页?(怎么删除word里的空白页?)
-
在日常办公或学习中,我们经常会遇到Word文档中出现空白页的情况,这不仅影响文档的美观,还可能造成打印浪费。下面,我将为大家详细介绍如何在Office和WPS中的Word里轻松删除这些恼人的空白页。...
- Win11学院:如何在Windows 11装机时禁用BitLocker磁盘加密
-
IT之家5月7日消息,微软计划在Windows1124H2装机过程默认启用BitLocker加密,对于用户来说有两方面的影响:其一是影响硬盘的性能,其二是用户如果没有解密密钥,可能...
- 办公小技巧:Word“安全模式”用通透
-
大家都知道Windows的安全模式。其实,Word也有安全模式。那么,Word的安全模式又是什么?何时使用这种模式?使用这种模式有何限制?当Word运行中遇到问题需要启用安全模式运行时,如何按照软件给...
- 段落结束敲回车,下一段格式变样了怎么处理#每天学习一点点
-
段落换行后的格式发生变化。段落结束敲回车键,下一段格式变样了怎么处理?大家有时候遇到文章敲回车键,在下一段打字之后会发现这一段的样子就会和之前的段落不一样,当然可以调整一下或者用格式刷刷一下,但是稍微...
- 硬回车、软回车等介绍(硬回车键和软回车键)
-
1.硬回车:硬回车占两个字节,在word中敲击Enter键即可输入硬回车,硬回车是真正的段落标记,在两个硬回车之间的文字自成一个段落。代码是^p(小写)。2.软回车:用Shift+Enter产...
- Word里超简单的画线方法!(word中如何画线条)
-
小厅分享【Word里超简单的画线方法!】简历、总结里文字太多怎么办?用线条分隔!Word画线秘籍:①输三个"="回车,是一条双直线②输三个"~"回车,是一条波浪线③输三个"-"回车,就是一条细直线...
- Word 如何更改图片、删除与删除背景,勾选图片等问题
-
如果插入到Word文档中的图片想另外换一张,更换方法有两种,一种是把原图删除另外插入一张,另一种是直接更换图片。Word2016提供了更改图片的功能,用此功能更换图片会自动把原图删除,就像...
- Word中批量删除空行(多种方案)(批量删除word中的空行)
-
如下图,在Word文档中存在大量空行(回车),为了文档整洁,需要批量取消这些回车;方法一Ctrl+h,在查找内容中输入”^p^p”,在替换为输入”^p”,单击全部替换即可(^符号在英文输入法下按Shi...
- Word文档如何取消自动编号?(word文档如何取消自动编号功能)
-
在word文档中,当我们编辑有序号的文本内容时,word会自动识别给文本编号,如果直接删除序号再按回车键,序号又会自动填充。但有时候我们并不需要它自动编号或不喜欢它的编号格式,如何才能取消word自动...
- 最全的Word知识点,抓紧时间收藏起来
-
Word知识点1.1word工作界面Word2010的窗口组成∶窗口分标题栏、菜单栏、常用工具栏、格式工具栏、标尺、编辑区滚动条、状态栏、任务窗格。1.标题栏∶显示所编辑的文档名和程序名称。单击标题...
- Word中的页眉横线就是删不掉?其实按下这个键,1秒就能去除
-
不知道大家在用Word的同时,有没有遇到过难删除的页眉横线呢?以前小编就是遇到这条横线,不得已将里面的文字复制到一个新的文档中,如今终于知道该怎样删除这条横线了,下面我们就来看看删除方法。一、删除页眉...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- navicat无法连接mysql服务器 (65)
- 下横线怎么打 (71)
- flash插件怎么安装 (60)
- lol体验服怎么进 (66)
- ae插件怎么安装 (62)
- yum卸载 (75)
- .key文件 (63)
- cad一打开就致命错误是怎么回事 (61)
- rpm文件怎么安装 (66)
- linux取消挂载 (81)
- ie代理配置错误 (61)
- ajax error (67)
- centos7 重启网络 (67)
- centos6下载 (58)
- mysql 外网访问权限 (69)
- centos查看内核版本 (61)
- ps错误16 (66)
- nodejs读取json文件 (64)
- centos7 1810 (59)
- 加载com加载项时运行错误 (67)
- php打乱数组顺序 (68)
- cad安装失败怎么解决 (58)
- 因文件头错误而不能打开怎么解决 (68)
- js判断字符串为空 (62)
- centos查看端口 (64)