萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP + MySQL 實現大量數據隨機重排(分批處理 + 進度自動跳轉)

需將 8.5 萬筆資料打亂重排,單次查詢會超時/記憶體溢出。本文採用分批游標 + 元刷新跳轉策略,逐批讀取、寫入新表、標記已處理,並自動跳轉下一批,適合無 CLI 權限的虛擬主機環境。

核心邏輯

<?php
// rand.php
$s = (int)($_GET['s'] ?? 0);      // 起始偏移
$e = (int)($_GET['e'] ?? 50);     // 每批筆數
$total = 85000;                   // 總筆數(實際應 SELECT COUNT(*))

if ($s < $total) {
    // 1. 讀取未處理批次
    $sql = "SELECT * FROM `prefix_info` WHERE `isget` = 0 ORDER BY `id` DESC LIMIT $s, $e";
    $res = mysqli_query($link, $sql);

    while ($row = mysqli_fetch_assoc($res)) {
        // 2. 寫入新表(打亂順序:這裡單純複製,實際可 ORDER BY RAND() 或應用層 shuffle)
        $ins = "INSERT INTO `prefix_info_bak` (`id`, `content`, `typeid`, `isget`)
                VALUES ({$row['id']}, '{$row['content']}', {$row['typeid']}, {$row['isget']})";
        mysqli_query($link, $ins);

        // 3. 標記原表已處理
        mysqli_query($link, "UPDATE `prefix_info` SET `isget` = 1 WHERE `id` = {$row['id']}");
    }

    // 4. 自動跳轉下一批(Meta Refresh)
    $next = $s + $e;
    echo "<meta http-equiv='refresh' content='0;url=rand.php?s=$next&e=$e'>";
    echo "處理中... 當前 $s 條";
} else {
    echo "完成!<a href='rand.php'>再隨機一次</a>";
}
?>

關鍵優化點

  • 索引支援:`isget` + `id` 建立複合索引,`WHERE isget=0 ORDER BY id DESC LIMIT ...` 走索引不回表。
  • 批次大小:50~200 視網絡延遲調整,過大導致請求超時,過小增加跳轉開銷。
  • 事務包裹:若需原子性,將 INSERT+UPDATE 包在 `BEGIN; ... COMMIT;`。
  • 真隨機:`ORDER BY RAND()` 極慢。建議:
    ① 先 `SELECT id FROM ... WHERE isget=0` 取所有 ID 陣列(8.5萬 int 約 0.7MB,記憶體可接受)。
    ② PHP `shuffle($ids)` 打亂。
    ③ 分批 `INSERT ... SELECT ... WHERE id IN (...)` 寫入新表。
    ④ 單次 `UPDATE ... SET isget=1 WHERE id IN (...)` 標記。
  • 防重複執行:加鎖(`flock`、Redis 分佈式鎖、資料庫 `GET_LOCK`),避免並發跑批。

進階:單腳本 CLI 版(推薦)

<?php
// cli_rand.php
$pdo = new PDO($dsn, $user, $pass, [PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION]);
$ids = $pdo->query("SELECT id FROM prefix_info WHERE isget=0")->fetchAll(PDO::FETCH_COLUMN);
shuffle($ids);

$chunk = 500;
foreach (array_chunk($ids, $chunk) as $batch) {
    $pdo->beginTransaction();
    $placeholders = implode(',', array_fill(0, count($batch), '(?,?,?,?)'));
    $sql = "INSERT INTO prefix_info_bak (id,content,typeid,isget) VALUES $placeholders";
    $stmt = $pdo->prepare($sql);
    $params = [];
    foreach ($batch as $id) {
        $row = $pdo->query("SELECT content,typeid,isget FROM prefix_info WHERE id=$id")->fetch();
        $params[] = [$id, $row['content'], $row['typeid'], $row['isget']];
    }
    $stmt->execute(array_merge(...$params));
    $pdo->exec("UPDATE prefix_info SET isget=1 WHERE id IN (" . implode(',', $batch) . ")");
    $pdo->commit();
    echo "Processed " . count($batch) . " rows\n";
}
echo "Done\n";
?>

CLI 版無超時限制、可見進度條、支援事務、效能更高。有 Shell 存取權優先用 CLI。

copyright © 萬盛學電腦網 all rights reserved