Hive 資料導入四種常用方式,含完整指令範例:
建立 EXTERNAL TABLE 指定 HDFS 路徑,資料放入該路徑即自動可查:
CREATE EXTERNAL TABLE MYTEST(num INT, name STRING) COMMENT 'this is a test' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE LOCATION '/data/test';
hadoop fs -put test.txt /data/test 後,SELECT * FROM mytest; 即可查詢。適合歷史資料直接分析。
CREATE TABLE MYTEST2(num INT, name STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE; LOAD DATA LOCAL INPATH '/home/work/test.txt' INTO TABLE MYTEST2;
支援單一檔案/資料夾/萬用字元 (資料夾不可含子目錄)。
CREATE TABLE MYTEST3(...) STORED AS TEXTFILE; LOAD DATA INPATH '/data/test/test.txt' INTO TABLE MYTEST3;
將 HDFS 上現有檔案移入 Hive 倉庫管理。
CREATE EXTERNAL TABLE MYTEST4(num INT); FROM MYTEST3 test3 INSERT OVERWRITE TABLE MYTEST4 SELECT test3.num WHERE name='world';
執行 MapReduce 完成資料轉存。適合 ETL 轉換、篩選後存入新表。