萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 電腦基礎知識 >  >> 電腦基本常識

Hive 資料匯入四大方法:外部表、本地載入、HDFS 載入、表間轉存完整指令範例

Hive 資料導入四種常用方式,含完整指令範例:

1. 外部表導入 (避免資料搬移)

建立 EXTERNAL TABLE 指定 HDFS 路徑,資料放入該路徑即自動可查:

CREATE EXTERNAL TABLE MYTEST(num INT, name STRING)
COMMENT 'this is a test'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
LOCATION '/data/test';

hadoop fs -put test.txt /data/test 後,SELECT * FROM mytest; 即可查詢。適合歷史資料直接分析。

2. 本地檔案載入 (LOCAL INPATH)

CREATE TABLE MYTEST2(num INT, name STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE;

LOAD DATA LOCAL INPATH '/home/work/test.txt' INTO TABLE MYTEST2;

支援單一檔案/資料夾/萬用字元 (資料夾不可含子目錄)。

3. HDFS 路徑載入 (INPATH)

CREATE TABLE MYTEST3(...) STORED AS TEXTFILE;
LOAD DATA INPATH '/data/test/test.txt' INTO TABLE MYTEST3;

將 HDFS 上現有檔案移入 Hive 倉庫管理。

4. 從其他表導入 (INSERT OVERWRITE)

CREATE EXTERNAL TABLE MYTEST4(num INT);
FROM MYTEST3 test3
INSERT OVERWRITE TABLE MYTEST4
SELECT test3.num WHERE name='world';

執行 MapReduce 完成資料轉存。適合 ETL 轉換、篩選後存入新表。

copyright © 萬盛學電腦網 all rights reserved