萬盛學電腦網

 萬盛學電腦網 >> 數據庫 >> mysql教程 >> Hive數據倉庫工作處理大數據安裝配置實踐

Hive數據倉庫工作處理大數據安裝配置實踐

hive是基於Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射為一張數據庫表,並提供簡單的sql查詢功能,可以將sql語句轉換為MapReduce任務進行運行。

Hive是建立在Hadoop上的數據倉庫基礎構架。它提供了一系列的工具,可以用來進行數據提取轉化加載(ETL),這是一種可以存儲、查詢和分析存儲在Hadoop中的大規模數據的機制。Hive定義了簡單的類SQL查詢語言,稱為HQL,可通過它來檢索Hadoop存儲數據,而且所有的查詢操作是基於MapReduce來完成的。
本文主要介紹了如何快速安裝Hive組件的一種可行的方法。Hive的安裝配置比較簡單,只要確保HDFS和MapReduce已經正確運行即可開始我們的安裝之旅了。那麼今天我們就具體來看一看如何快速簡便的安裝Hive組件!
1.下載Hive
下載地址:http://www.apache.org/dyn/closer.cgi/hive 選擇要下載的版本
2.把Hive移動到/usr/hadoop目錄下並解壓
mv hive-1.1.0.tar.gz /usr/;cd /usr
tar -zxvf hive-1.1.0.tar.gz
3.用root用戶給hive-1.1.0授權
chown -R hadoop:hadoop hive
4.添加hive-1.1.0環境變量
vi .bash_profile
export JAVA_HOME=/usr/java/jdk1.6
export JRE_HOME=/usr/java/jdk1.6/jre
export HADOOP_HOME=/usr/hadoop
export HIVE_HOME=/usr/hive
export HBASE_HOME=/usr/hbase
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin
5. 配置 Hive 配置文件
(1)配置 hive-conf.sh 在/usr/hive/bin目錄下
HADOOP_HOME=/usr/hadoop
export HIVE_CONF_DIR=/usr/hive/conf
(2)配置 hive-default.xml 和 hive-site.xml
cd /usr/hive/conf
cp hive-default.xml.template hive-default.xml
cp hive-site.xml.template hive-site.xml
cp hive-exec-log4j.properties.template hive-exec-log4j.properties
cp hive-log4j.properties.template hive-log4j.properties
chown -R hadoop:hadoop hive-default.xml
chown -R hadoop:hadoop hive-site.xml
chown -R hadoop:hadoop hive-exec-log4j.properties
chown -R hadoop:hadoop hive-log4j.properties      
6.啟動Hive
#su - hadoop
#hive
7.測試
hive>create table test(key string);
hive>show tables;
若以上命令可以顯示我們剛剛創建的test表,則證明我們已經正確的完成了Hive的搭建工作!

copyright © 萬盛學電腦網 all rights reserved