萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

CodeIgniter 批量插入資料優化實戰:事務分批與效能監控

優化背景

大量資料寫入時,單筆插入效能低落。本文展示 CodeIgniter 框架下,結合事務控制、分批提交與日誌記錄的優化方案,顯著提升批量匯入效率。

核心程式碼實作

$sub_form = array();
$loop = 0;
$ins_loop = 0;
$sum = count($form_datas);
$this->logger->info('insert data total:'.$sum);

// 開啟事務
$callStartTime = microtime(true);
$this->db->trans_start();

foreach ( $form_datas as $item ) {
    $loop++;
    $sub_form[] = $item;

    // 每 200 筆或最後一筆執行批次插入
    if (($loop % 200) == 0 || $loop == $sum) {
        $this->logger->info('insert data num:'.$loop);
        $res = $this->kb_object_instance_mdl->insert_batch($sub_form, $obj_id);
        $ins_loop++;
        unset($sub_form);

        // 每 5 批次提交一次事務,避免長事務鎖定資源
        if (($ins_loop % 5) == 0) {
            $this->logger->info('insert data trans_complete ins_loop:'.$ins_loop);
            $this->db->trans_complete();
            if ($loop != $sum) {
                $this->db->trans_start(); // 重新開啟事務
            }
        }
    }
}

$callEndTime = microtime(true);
$callTime = $callEndTime - $callStartTime;
$this->logger->info('insert data use time:'.sprintf('%.4f',$callTime));

if ($this->db->trans_status() === TRUE) {
    $this->_show_msg('1', array('data'=>'import ok'));
} else {
    $this->_show_error('saveOrUpdate error');
}

關鍵優化點解析

  1. 分批插入:每 200 筆呼叫 insert_batch(),減少單次 SQL 語句長度與記憶體壓力。
  2. 事務分段提交:每 5 批次呼叫 trans_complete(),釋放鎖定資源,再以 trans_start() 開啟新事務,平衡一致性與並發效能。
  3. 效能監控:使用 microtime() 記錄總耗時,配合日誌追蹤各階段筆數,便於事後分析調優。
  4. 錯誤處理:最終透過 trans_status() 判斷整體成敗,統一回應前端。

適用場景與擴充建議

  • 大量訂單、日誌、會員資料匯入
  • 可根據資料庫負載動態調整批次大小(如 100~500 筆)
  • 搭配 INSERT IGNORE 或 ON DUPLICATE KEY UPDATE 處理重複鍵衝突

此模式在 CodeIgniter 3.x/4.x 均適用,為高吞吐寫入提供可靠範本。

copyright © 萬盛學電腦網 all rights reserved