萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP Memcache 隊列類實現與應用詳解

前言

在高併發的 Web 應用中,隊列是解耦、削峰填谷的關鍵組件。本文分享一個基於 Memcache 實現的 PHP 隊列類 memcacheQueue,支援先進先出(FIFO)與反向讀取,並內建鎖機制保證併發安全,適合用於任務調度、日誌緩衝、異步處理等場景。

核心設計思路

  • 類陣列結構:放棄傳統 AB 面輪替,改用頭尾指標(currentHead、currentTail)模擬陣列操作,簡化邏輯。
  • 分佈式鎖:利用 Memcache 的 add 原子性實現鎖(_getLock/_unLock),防止併發寫入衝突。
  • 過期自動清理:所有鍵值統一設置 TTL(預設 1 小時),避免殘留數據佔用記憶體。
  • 雙向讀取:read() 支援正向(隊首→隊尾)與反向(隊尾→隊首),靈活適應不同業務需求。

類結構速覽

class memcacheQueue {
    const MAXNUM = 20000;           // 隊列容量上限
    const HEAD_KEY = '_lkkQueueHead_';
    const TAIL_KEY = '_lkkQueueTail_';
    const VALU_KEY = '_lkkQueueValu_';
    const LOCK_KEY = '_lkkQueueLock_';

    public static $client;          // Memcache 連接實例
    public $access;                 // 鎖狀態
    private $expire;                // 過期時間(秒)
    private $sleepTime;             // 等待鎖間隔(微秒)
    private $queueName;             // 隊列唯一標識
    private $retryNum;              // 重試次數
    public $currentHead, $currentTail; // 頭尾指標
    // ... 方法詳見下文
}

關鍵方法解析

構造函數 __construct($queueName, $expire=0, $config='')

支援三種連接配置方式:

  • 無配置 → 預設連接 127.0.0.1:11211
  • 陣列配置 → ['host'=>'...', 'port'=>...]
  • 字串配置 → "host:port"

初始化時會設置 ignore_user_abort(true) 與 set_time_limit(0),確保長時間任務不被中斷。

入隊 add($data)

  1. 獲取鎖(_getLock),失敗返回 false
  2. 檢查是否已滿(_isFull),滿則解鎖返回 false
  3. 生成值鍵 {queueName}_lkkQueueValu_{tail+1},寫入數據(啟用壓縮)
  4. 成功則遞增尾指標(_changeTail)
  5. 釋放鎖並返回結果

出隊/讀取 read($length=0)

  • $length > 0:正向讀取,從 currentHead 開始取 $length 條
  • $length < 0:反向讀取,從 currentTail 向前取 abs($length) 條
  • $length = 0:讀取全部(受限於 MAXNUM)
  • 返回鍵名陣列,需再調用 memcache_get 獲取實際值

輔助方法

方法說明
getQueueLength()返回理論長度(tail - head),實際長度可能因過期而更小
_isEmpty()頭尾指標相等即為空
_isFull()長度達到 MAXNUM
_changeHead($step)/_changeTail($step, $reverse)原子更新頭尾指標並持久化到 Memcache

使用範例

<?php
$queue = new memcacheQueue('task_queue', 3600); // 1小時過期

// 生產者
$queue->add(['action' => 'send_email', 'to' => 'user@example.com']);
$queue->add(['action' => 'push_notification', 'uid' => 12345]);

echo "隊列長度: " . $queue->getQueueLength(); // 2

// 消費者:批量讀取 10 條
$keys = $queue->read(10);
if ($keys) {
    foreach ($keys as $key) {
        $task = memcache_get(memcacheQueue::$client, $key);
        // 處理任務...
        echo "處理: " . json_encode($task) . PHP_EOL;
    }
    // 處理完畢後手動移動頭指標(或封裝 pop 方法)
    $queue->_changeHead(count($keys));
}

// 反向讀取最後 5 條(調試/重試場景)
$lastKeys = $queue->read(-5);

注意事項與最佳實踐

  1. 數據一致性:讀取後需手動調用 _changeHead 移動頭指標,否則下次仍會讀到相同數據(類似消費者需手動 ack)。
  2. 容量規劃:MAXNUM=20000 為建議上限,實際視記憶體與業務調整;超過將拒絕寫入。
  3. 鎖競爭:retryNum=1000、sleepTime=1000μs,極高併發下可適當調大。
  4. 序列化:memcache_set 自動處理序列化,存取陣列/物件無需手動 serialize。
  5. 版本兼容:代碼使用舊版 memcache 擴展函數(非 memcached),PHP 7+ 需安裝對應擴展或改用 memcached 客戶端重寫。
  6. 擴展建議

    • 新增 pop() 方法封裝「讀取+移動頭指標」原子操作
    • 支援優先級隊列(多隊列+權重輪詢)
    • 增加監控指標:入隊/出隊速率、積壓量、錯誤率
    • 遷移至 Redis List(LPUSH/RPOP)或專業消息隊列(RabbitMQ、Kafka)以獲得更強持久化與可觀測性

    原作者:LKK/lianq.net | 版本 0.3 | 感謝 FoxHunter 建議貢獻

copyright © 萬盛學電腦網 all rights reserved