什麼是批次處理系統?
批次處理系統 的核心思想:將相似作業分組 (Batch),一次提交,由電腦自動依序執行,輸出結果。目的是減少作業建立/結束的人工干預時間,提高 CPU 利用率。
發展三階段
1. 單道批次處理系統 (First Generation)
- 記憶體同一時間只駐留一個作業
- 作業執行順序:先進先出 (FIFO)
- 缺點:I/O 操作時 CPU 空閒等待,利用率極低
2. 多道批次處理系統 (Second Generation) —— 關鍵突破
引入 多道程式設計 技術:
- 記憶體同時駐留多個作業
- 作業 A 進行 I/O 等待時,調度器切換至作業 B 使用 CPU
- 作業執行順序不再固定,由 作業調度演算法 決定
- CPU 利用率顯著提升,系統吞吐量大增
3. 現代批次處理系統
- 主要運行於大型主機、科學計算叢集
- 作業透過排程器 (如 Slurm, PBS, LSF) 提交、排隊、調度
- 支援作業依賴、資源配額、優先權、回填調度等進階功能
核心特徵對比
| 特徵 | 單道批次 | 多道批次 | 分時系統 |
| 記憶體作業數 | 1 | 多 | 多 |
| CPU 分配方式 | 獨佔跑完 | 調度演算法 | 時間片輪轉 |
| 使用者互動 | 無 | 無 | 即時互動 |
| 周轉時間 | 長 | 中等 | 短 (響應時間) |
| 適用場景 | 早期科學計算 | 大量資料處理、帳單列印 | 一般用途、開發環境 |
優缺點總結
優點
- 資源利用率極高 (CPU、I/O、記憶體並行)
- 吞吐量大,適合大規模同質作業
- 無需人工值守,降低操作成本
缺點
- 零互動性:使用者提交後失去控制,無法即時除錯
- 周轉時間長:作業需排隊等待,不適合即時性需求
- 除錯困難:錯誤只能事後透過列印輸出分析
現代雲端環境的「批次處理」新面貌
- Serverless 批次:AWS Batch、Azure Batch、GCP Cloud Run Jobs —— 按需彈性擴縮,按秒計費
- 資料管線排程:Airflow、Prefect、Dagster 管理複雜 DAG 依賴
- AI 訓練作業:Kubeflow、Volcano 進行 GPU 叢集批次調度
批次處理系統從「減少人工換帶」起步,經歷「多道程式」飛躍,如今在雲原生時代以「彈性、聲明式、可觀測」的新形態持續服務於大規模離線計算核心場景。