記錄 Sqoop 1.4.4 從 Hive 0.11.0 導出數據到 MySQL 過程中遇到的六大典型問題及解決方案,幫助開發者快速排查故障。
MySQL 目標表:
CREATE TABLE cps_activation (
id INT(11) NOT NULL AUTO_INCREMENT PRIMARY KEY,
day DATE NOT NULL,
pkgname VARCHAR(50),
cid VARCHAR(50),
pid VARCHAR(50),
activation INT(11)
);
Hive 源表:
active (id INT, day STRING, pkgname STRING, cid STRING, pid STRING, activation INT)
java.net.ConnectException: Connection refused
原因: MySQL 未開啟遠程訪問權限或防火牆阻攔。
解決:
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'password';
FLUSH PRIVILEGES;
-- 開放防火牆 3306 端口
java.util.NoSuchElementException
原因: Sqoop 導出要求目標表預先存在,且字段映射需匹配。
解決: 先在 MySQL 建表,並指定正確分隔符:
sqoop export \
--connect jdbc:mysql://host/db \
--table test \
--export-dir /user/hive/warehouse/actmp \
--input-fields-terminated-by '\001'
java.lang.NumberFormatException: For input string: "665A5FFA-32C9-9463-1943-840A5FEAE193"
解決: 顯式指定 NULL 字符串表示:
--input-null-string '\\N' --input-null-non-string '\\N'
sqoop export \
--connect jdbc:mysql://10.10.20.11/test \
--username root --password admin \
--table test \
--export-dir /user/hive/warehouse/actmp \
--input-fields-terminated-by '\001' \
--input-null-string '\\N' \
--input-null-non-string '\\N'
com.mysql.jdbc.MysqlDataTruncation: Data too long for column 'pid'
解決: 擴大 MySQL 目標表對應字段長度:
ALTER TABLE test MODIFY pid VARCHAR(100);
java.lang.IllegalArgumentException: Date.valueOf - yyyymmdd 格式無效
原因: MySQL DATE 類型要求 YYYY-MM-DD 格式,Hive 中存儲為 yyyymmdd。
解決: Hive 查詢階段轉換格式,或 Sqoop 導出前預處理:
-- Hive 中轉換
SELECT id,
CONCAT(SUBSTR(day,1,4),'-',SUBSTR(day,5,2),'-',SUBSTR(day,7,2)) AS day,
pkgname, cid, pid, activation
FROM active;
| 參數 | 說明 | 典型值 |
|---|---|---|
| --input-fields-terminated-by | 字段分隔符 | Hive 默認 '\001' (Ctrl+A) |
| --input-null-string | 字符串類型 NULL 表示 | '\\N' |
| --input-null-non-string | 非字符串類型 NULL 表示 | '\\N' |
| --fields-terminated-by | 導入時字段分隔符 | ',' (CSV) |
sqoop list-tables 驗證連接與表存在性--staging-table 臨時表模式,保證原子性Task Id: attempt_* FAILED 錯誤詳情