萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> MySQL 教學

Sqoop 從 Hive 導入 MySQL 常見問題與解決方案總結

Sqoop Hive 到 MySQL 數據導出實戰避坑指南

記錄 Sqoop 1.4.4 從 Hive 0.11.0 導出數據到 MySQL 過程中遇到的六大典型問題及解決方案,幫助開發者快速排查故障。

環境與表結構

MySQL 目標表:

CREATE TABLE cps_activation (
  id INT(11) NOT NULL AUTO_INCREMENT PRIMARY KEY,
  day DATE NOT NULL,
  pkgname VARCHAR(50),
  cid VARCHAR(50),
  pid VARCHAR(50),
  activation INT(11)
);

Hive 源表:

active (id INT, day STRING, pkgname STRING, cid STRING, pid STRING, activation INT)

六大常見問題與解決

1. 連接被拒絕

java.net.ConnectException: Connection refused

原因: MySQL 未開啟遠程訪問權限或防火牆阻攔。

解決:

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'password';
FLUSH PRIVILEGES;
-- 開放防火牆 3306 端口

2. 目標表不存在

java.util.NoSuchElementException

原因: Sqoop 導出要求目標表預先存在,且字段映射需匹配。

解決: 先在 MySQL 建表,並指定正確分隔符:

sqoop export \
  --connect jdbc:mysql://host/db \
  --table test \
  --export-dir /user/hive/warehouse/actmp \
  --input-fields-terminated-by '\001'

3. NULL 值字段分隔符未指定導致錯位

java.lang.NumberFormatException: For input string: "665A5FFA-32C9-9463-1943-840A5FEAE193"

解決: 顯式指定 NULL 字符串表示:

--input-null-string '\\N' --input-null-non-string '\\N'

4. 成功案例完整命令

sqoop export \
  --connect jdbc:mysql://10.10.20.11/test \
  --username root --password admin \
  --table test \
  --export-dir /user/hive/warehouse/actmp \
  --input-fields-terminated-by '\001' \
  --input-null-string '\\N' \
  --input-null-non-string '\\N'

5. 字段長度不足截斷錯誤

com.mysql.jdbc.MysqlDataTruncation: Data too long for column 'pid'

解決: 擴大 MySQL 目標表對應字段長度:

ALTER TABLE test MODIFY pid VARCHAR(100);

6. 日期格式不匹配

java.lang.IllegalArgumentException: Date.valueOf - yyyymmdd 格式無效

原因: MySQL DATE 類型要求 YYYY-MM-DD 格式,Hive 中存儲為 yyyymmdd。

解決: Hive 查詢階段轉換格式,或 Sqoop 導出前預處理:

-- Hive 中轉換
SELECT id, 
       CONCAT(SUBSTR(day,1,4),'-',SUBSTR(day,5,2),'-',SUBSTR(day,7,2)) AS day,
       pkgname, cid, pid, activation
FROM active;

核心參數速查表

參數說明典型值
--input-fields-terminated-by字段分隔符Hive 默認 '\001' (Ctrl+A)
--input-null-string字符串類型 NULL 表示'\\N'
--input-null-non-string非字符串類型 NULL 表示'\\N'
--fields-terminated-by導入時字段分隔符',' (CSV)

最佳實踐建議

  • 導出前用 sqoop list-tables 驗證連接與表存在性
  • 小數據量先測試,確認字段映射正確後再全量導出
  • 生產環境建議使用 --staging-table 臨時表模式,保證原子性
  • 監控 MapReduce 任務日誌,關注 Task Id: attempt_* FAILED 錯誤詳情
copyright © 萬盛學電腦網 all rights reserved