Poppen.de 是德國大型社交網站:200 萬註冊用戶、2 萬並發、日均 20 萬私訊、25 萬登入。團隊 11 開發 + 2 設計 + 2 運維。免費增值商業模式。其架構融合 Nginx、PHP-FPM、MySQL、CouchDB、Erlang、Memcached、RabbitMQ、Graphite、Red5、Tsung,極具參考價值。
前端負載:Nginx 叢集
- 2 台 4 年舊機器 (1 CPU, 3GB RAM) 跑 Nginx,高峰 15 萬 RPM。
- 3 台獨立圖片伺服器 (Nginx) 服務
*.bilder.poppen.de,8 萬 RPM,本地快取 + 回源中央檔案服務器,分散式圖片負載均衡。
- 關鍵優化:用戶資料頁 (高頻) 直接從 Memcached 由 Nginx 讀取返回,**繞過 PHP-FPM**,Memcached 單分鐘處理 8000 請求。
應用層:PHP-FPM + Symfony 1.2
- 28 台雙 CPU、6GB RAM 伺服器,每台跑 100 PHP-FPM worker。
- PHP 5.3 + APC,CPU/記憶體佔用降 30%+。
- 選 Symfony 1.2:成熟生態、外部資源豐富、新人上手快,業務邏輯開發效率高。
- 性能分析用 Facebook 開源 XHProf,快取高成本計算結果。
資料層:MySQL 分庫分表 + 讀寫分離
- 用戶核心庫:1 台 4CPU/32GB 主庫 (用戶基本資料、照片描述),按
user_id 分區 (用戶為中心)。規劃遷移至共享叢集。
- 論壇:3 台主從從,1 從庫存自定義訊息 (2.5 億條)。
- 高寫入統計:4 台 NDB Cluster 專職寫密集型統計 (訪問日誌等)。
- 盡量避免 JOIN,大量快取,犧牲範式換性能。考慮遷移 XtraDB (Percona) 解決 MyISAM 表鎖問題。
快取與佇列:Memcached + RabbitMQ
- Memcached:45GB+、51 節點,快取 Session、View、函數結果。自動同步更新機制,未來評估 Redis Hash / MongoDB。
- RabbitMQ (2009 年引入):LVS 後 2 節點。日誌、郵件、通知、圖片處理、登入統計更新全推入佇列。
- 異步關鍵:PHP
fastcgi_finish_request() 先回應用戶,再發佇列,用戶無感等待。高峰 1000 登入/分 透過佇列削峰填谷,擴容消費者即可線性擴展吞吐。
日誌與監控:CouchDB + Graphite
- CouchDB:單機聚合所有 PHP 機器日誌,按模組/行為/錯誤類型查詢分組,解決逐台 SSH 看日誌痛點。
- Graphite:即時採集:請求量、Memcached 命中率、RabbitMQ 狀態、系統負載。每分鐘 4800 更新。灰度發布神器:同時監控新舊版本 (Symfony 升級時) Unix Load 差異,配合 XHProf 定位回歸。
即時影音:Red5
- 用戶上傳影片 + 視訊聊天,2009 年中月流量 17TB。
壓測驗證:Tsung (Erlang)
- 錄製生產 MySQL 流量 → 轉 Tsung 場景 → 回放模擬千萬並發 → 驗證新存儲引擎 (XtraDB) 性能。真實流量回放,極高置信度。
架構啟示
- 分層解耦:Nginx 靜態/快取/路由,PHP 業務,佇列異步,多種存儲各司其職。
- 快取前置:Nginx 直接讀 Memcached,繞過 PHP,極致響應。
- 異步削峰:寫入、通知、重任務全進 RabbitMQ,配合
fastcgi_finish_request。
- 可觀測性優先:Graphite + CouchDB 讓問題「可見、可查、可比」。
- 技術務實:舊硬體榨乾性能,成熟框架換開發效率,關鍵路徑自研優化。
這不是堆疊技術,而是針對業務痛點的精準組合拳。