bwin娱乐:绿色免费软件下载站! 软件分类|软件专题|安卓下载|资讯教程

您当前所在位置:首页 > 软件分类 > 编程开发 > 编程工具 > Apache hive 源码编译程序 v2.1.0 官方版

Apache hive 源码编译程序v2.1.0 官方版

apache hive 源码下载

  • 软件大小:160MB
  • 软件语言:英文
  • 软件类型:国外软件
  • 软件授权:免费版
  • 更新时间:2016-08-14
  • 软件类别:编程工具
  • 软件官网:
  • 应用平台:WinXP/win7/win8/
软件星级

软件介绍其它版本相关专题相关文章网友评论下载地址

Apache Hive是一款可以用来进行数据提取转化加载(ETL)的工具,它是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制,此次推荐的是官方版本的下载,有需要的用户不妨下载体验!

Apache Hive

Apache Hive软件特色

1、设计特征:

支持索引,加快数据查询。

不同的存储类型,例如,纯文本文件、HBase 中的文件。

将元数据保存在关系数据库中,大大减少了在查询过程中执行语义检查的时间。

可以直接使用存储在Hadoop 文件系统中的数据。

内置大量用户函数UDF 来操作时间、字符串和其他的数据挖掘工具,支持用户扩展UDF 函数来完成内置函数无法实现的操作。

类SQL 的查询方式,将SQL 查询转换为MapReduce 的job 在Hadoop集群上执行。

2、体系结构:

主要分为以下几个部分:

用户接口

用户接口主要有三个:CLI,Client 和 WUI。其中最常用的是 CLI,Cli 启动的时候,会同时启动一个 Hive 副本。Client 是 Hive 的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出 Hive Server 所在节点,并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。

元数据存储

Hive 将元数据存储在数据库中,如 mysql、derby。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。

解释器、编译器、优化器、执行器

解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中,并在随后由 MapReduce 调用执行。

Hadoop

Hive 的数据存储在 HDFS 中,大部分的查询由 MapReduce 完成(包含 * 的查询,比如 select * from tbl 不会生成 MapReduce 任务)。

安装前

在安装Hive之前,请保证已经安装了Hadoop。

Apache Hive安装及配置

安装Mysql

本文选用mysql作为Hive的metastore。

帮助 1sudo yum install mysql-server

创建数据库

帮助 1

2mysql> create database hive;

Query OK, 1 row affected (0.00 sec)

修改数据库操作权限

帮助 1

2

3

4

5mysql> grant all on hive.* to hive@'%' identified by 'hive';

Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

Hive安装

帮助 1tar zcvf hive-0.12.0.tar.gz hive-0.12.0

Hive配置

帮助 1

2

3

4

5cd conf

cp hive-default.xml.template hive-site.xml

cp hive-env.sh.template hive-env.sh

cp hive-log4j.properties.template hive-log4j.properties

cp hive-exec-log4j.properties.template hive-exec-log4j.properties

hive-site.xml

帮助 1

2

3

4

5

javax.jdo.option.ConnectionURL

jdbc:mysql://localhost:3306/hive

JDBC connect string for a JDBC metastore

 

帮助 1

2

3

4

5

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

Driver class name for a JDBC metastore

 

帮助 1

2

3

4

5

javax.jdo.option.ConnectionUserName

root

username to use against metastore database

 

帮助 1

2

3

4

5

javax.jdo.option.ConnectionPassword

welcome123

password to use against metastore database

 

帮助 1

2

3

4

5

6

7

8

9

10

11

hive.metastore.schema.verification

false

Enforce metastore schema version consistency.

True: Verify that version information stored in metastore matches with one from Hive jars. Also disable automatic

schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures

proper metastore schema migration. (Default)

False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.

 

 

hive-env.sh

帮助 1

2

3

4

5# Set HADOOP_HOME to point to a specific hadoop install directory

HADOOP_HOME=/home/hadoop/hadoop-2.2.0

# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=/home/hadoop/hive-0.12.0/conf

安装Mysql JDBC Connector

下载页面:http://www.mysql.com/downloads/connector/j/5.1.html

帮助 1cp mysql-connector-java-5.1.26-bin.jar to hive/lib

测试

帮助 1

2

3hive> create table test (key string);

OK

Time taken: 1.09 seconds

帮助 1

2

3

4

5hive> create table test (key string);

hive> show tables;

OK

test

Time taken: 0.084 seconds, Fetched: 1 row(s)

常见错误

错误:ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (2)

解决方法:sudo service mysqld start

错误:ERROR 1044 (42000): Access denied for user ”@’localhost’ to database ‘hive’

解决方法:

[hadoop@zhenlong-master ~]$ mysql -h localhost -u root -p

Enter password:

错误:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

这个错误的原因很多,因此需要进行调试。 启动hive带上调试参数,./hive -hiveconf hive.root.logger=DEBUG,console,从调试信息中可以获得错误详细信息。

如果错误信息为:

Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the “BoneCP” plugin to create a ConnectionPool gave an error : The specified datastore driver (“com.mysql.jdbc.Driver”) was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.

解决方法:将mysql的jdbc driver拷贝到hive/lib即可。

如果错误信息为:

Caused by: MetaException(message:Version information not found in metastore. )

解决方法:set hive.metastore.schema.verification = false

帮助 1

2

3

4

5

6

7

8

9

10

11

hive.metastore.schema.verification

false

Enforce metastore schema version consistency.

True: Verify that version information stored in metastore matches with one from Hive jars. Also disable automatic

schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures

proper metastore schema migration. (Default)

False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.

其他版本下载

下载地址

  • Apache hive 源码编译程序v2.1.0 官方版

网友评论