在近期的專案中,為了方便分析,我們將專案日誌統一轉為 JSON 格式存儲。起初日誌直接寫入檔案,但隨著 MongoDB 的出現,將日誌存入資料庫成為自然的選擇。單純儲存日誌毫無意義,關鍵在於從中發掘業務趨勢、發現系統效能瓶頸。早期有一個基於 Java、運行在 Tomcat 下的分析模組,不僅架構笨重,新增指標流程繁瑣,還因 NFS 問題導致分析失敗。一直想重寫,最初考慮 Ruby on Rails,但遲遲未動工。直到 2011 年杭州 QCon 大會聽了淘寶蘇千關於 Node.js 的演講,才決定用 Node.js 重構——前端 JS、後端 JS、資料庫 Shell 也是 JS,統一語言極大降低心智負擔,且代碼量顯著減少。
為了開發效率與代碼風格,選用輕量框架 fu.js(Node.js 官網聊天室範例衍生),它封裝了 URL 路由與 JSON 回應。核心 server.js 僅十幾行:
HOST = null; // localhost
PORT = 8001;
var fu = require("./fu"),
sys = require("util"),
url = require("url"),
mongo = require("./request_handler");
fu.listen(Number(process.env.PORT || PORT), HOST);
fu.get("/", fu.staticHandler("index.html"));
一個靜態檔案服務器即刻啟動。請求處理邏輯集中在 request_handler.js,以「TOP 10 用戶操作」為例:
var mongodb = require("mongodb");
var fu = require("./fu");
// TOP 10 user Action
fu.get("/userActionTop10", function(req, res){
mongodb.connect('mongodb://localhost:27017/log', function(err, conn){
conn.collection('action_count', function(err, coll){
coll.find({"value.action":{$in:user_action}})
.sort({"value.count":-1})
.limit(10)
.toArray(function(err, docs){
if(!err){
var action = [], count = [];
for(var i = 0; i < docs.length; i ++){
action.push(docs[i].value.action);
count.push(docs[i].value.count);
}
res.simpleJSON(200, {action:action, count:count});
conn.close(); // 必須關閉連線
}
});
});
});
});
MongoDB 原生驅動配合鏈式 API,查詢、排序、限制一氣呵成,回傳 JSON 供前端繪圖。
前端採用 jQuery 繪圖插件 jqPlot。index.html 僅作為容器,載入必要的 JS/CSS:
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>Rendezvous Monitor System</title>
<!--[if lt IE 9]><script src="js/excanvas.js"><![endif]-->
<script src="js/jquery.min.js"></script>
<script src="js/jquery.jqplot.min.js"></script>
<script src="js/plugins/jqplot.barRenderer.min.js"></script>
<script src="js/plugins/jqplot.categoryAxisRenderer.min.js"></script>
<script src="js/plugins/jqplot.canvasTextRenderer.min.js"></script>
<script src="js/plugins/jqplot.canvasAxisTickRenderer.min.js"></script>
<script src="js/plugins/jqplot.canvasAxisLabelRenderer.min.js"></script>
<script src="js/plugins/jqplot.pointLabels.min.js"></script>
<script src="js/plugins/jqplot.dateAxisRenderer.min.js"></script>
<script src="js/plugins/jqplot.json2.min.js"></script>
<link rel="stylesheet" href="js/jquery.jqplot.min.css">
<link rel="stylesheet" href="style/base.css">
<script src="js/charts.js"></script>
</head>
<body></body>
</html>
charts.js 定義圖表繪製函數,採用陣列 draws 統一管理,支援動態啟用/停用:
var draws = [];
/****************************** TOP 10 User Action Start *********************************/
document.write('<div id="userActionTop10Chart"></div>');
var drawUserActionTop10Chart = function(){
if(!$("#userActionTop10Chart").attr('class')){
$("#userActionTop10Chart").attr('class', 'small_chart');
}
$.ajax({
async:false,
url: '/userActionTop10',
dataType:'json',
cache: false,
success:function(data){
try{
$('#userActionTop10Chart').html('');
$.jqplot('userActionTop10Chart', [data.count], {
title: "TOP 10 User Action",
seriesDefaults:{
renderer:$.jqplot.BarRenderer,
rendererOptions: {fillToZero: true},
pointLabels: {show:true, ypadding:1}
},
axesDefaults:{
tickRenderer:$.jqplot.CanvasAxisTickRenderer,
tickOptions: {angle: -30, fontSize: '12px'}
},
axes: {
xaxis: {renderer: $.jqplot.CategoryAxisRenderer, ticks: data.action},
yaxis: {pad: 1.05}
}
});
}catch(e){}
}
});
}
draws.push('drawUserActionTop10Chart');
/******************************* TOP 10 User Action End ************************************/
// 統一繪製入口,每 5 分鐘自動刷新
var drawAllCharts = function(){
for(var i = 0; i < draws.length; i ++){
eval(draws[i] + "()");
}
window.setTimeout(drawAllCharts, 5 * 60 * 1000);
}
$(function(){ drawAllCharts(); });
啟動服務與頁面後,即可看到長條圖即時呈現 TOP 10 操作分佈(見下圖)。

MongoDB 文檔提到 Incremental MapReduce,但並非自動流式處理,需手動配置增量執行。為了便於維護,將 Map/Reduce 邏輯寫入獨立 stats.js,再由 crontab 每 5 分鐘執行一次:
/************** The file is executed per 5 minutes by /etc/crontab.*****************/
var action_count_map = function(){
emit(this.action, {action:this.action, count:1});
}
var action_count_reduce = function(key, values){
var count = 0;
values.forEach(function(value){
count += value.count;
});
return {action:key, count : count};
}
// 後續需配合 output 參數 {reduce: "action_count"} 實現增量合併
透過 crontab -e 加入 */5 * * * * mongo localhost:27017/log stats.js 即可實現定時增量統計,避免全量掃描帶來的效能壓力。
這套系統展示了「全棧 JavaScript」的威力:Node.js 輕量服務 + MongoDB 原生聚合 + jqPlot 即時視覺化 + 系統級定時任務,以極少代碼解決了日誌分析的核心需求。後續可輕鬆擴展更多指標、圖表類型,並引入 WebSocket 推送實現真正的實時監控。