萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 腳本程式專題 >> JavaScript

使用 Node.js 與 MongoDB 建構輕量級日誌分析系統

前言:為什麼選擇 Node.js 與 MongoDB?

在近期的專案中,為了方便分析,我們將專案日誌統一轉為 JSON 格式存儲。起初日誌直接寫入檔案,但隨著 MongoDB 的出現,將日誌存入資料庫成為自然的選擇。單純儲存日誌毫無意義,關鍵在於從中發掘業務趨勢、發現系統效能瓶頸。早期有一個基於 Java、運行在 Tomcat 下的分析模組,不僅架構笨重,新增指標流程繁瑣,還因 NFS 問題導致分析失敗。一直想重寫,最初考慮 Ruby on Rails,但遲遲未動工。直到 2011 年杭州 QCon 大會聽了淘寶蘇千關於 Node.js 的演講,才決定用 Node.js 重構——前端 JS、後端 JS、資料庫 Shell 也是 JS,統一語言極大降低心智負擔,且代碼量顯著減少。

一、服務端實現:極簡的 HTTP 服務

為了開發效率與代碼風格,選用輕量框架 fu.js(Node.js 官網聊天室範例衍生),它封裝了 URL 路由與 JSON 回應。核心 server.js 僅十幾行:

HOST = null; // localhost
PORT = 8001;

var fu = require("./fu"),
    sys = require("util"),
    url = require("url"),
    mongo = require("./request_handler");

fu.listen(Number(process.env.PORT || PORT), HOST);
fu.get("/", fu.staticHandler("index.html"));

一個靜態檔案服務器即刻啟動。請求處理邏輯集中在 request_handler.js,以「TOP 10 用戶操作」為例:

var mongodb = require("mongodb");
var fu = require("./fu");

// TOP 10 user Action
fu.get("/userActionTop10", function(req, res){
    mongodb.connect('mongodb://localhost:27017/log', function(err, conn){
        conn.collection('action_count', function(err, coll){
            coll.find({"value.action":{$in:user_action}})
                .sort({"value.count":-1})
                .limit(10)
                .toArray(function(err, docs){
                    if(!err){
                        var action = [], count = [];
                        for(var i = 0; i < docs.length; i ++){
                            action.push(docs[i].value.action);
                            count.push(docs[i].value.count);
                        }
                        res.simpleJSON(200, {action:action, count:count});
                        conn.close(); // 必須關閉連線
                    }
                });
        });
    });
});

MongoDB 原生驅動配合鏈式 API,查詢、排序、限制一氣呵成,回傳 JSON 供前端繪圖。

二、客戶端視覺化:jqPlot 動態圖表

前端採用 jQuery 繪圖插件 jqPlot。index.html 僅作為容器,載入必要的 JS/CSS:

<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>Rendezvous Monitor System</title>
<!--[if lt IE 9]><script src="js/excanvas.js"><![endif]-->
<script src="js/jquery.min.js"></script>
<script src="js/jquery.jqplot.min.js"></script>
<script src="js/plugins/jqplot.barRenderer.min.js"></script>
<script src="js/plugins/jqplot.categoryAxisRenderer.min.js"></script>
<script src="js/plugins/jqplot.canvasTextRenderer.min.js"></script>
<script src="js/plugins/jqplot.canvasAxisTickRenderer.min.js"></script>
<script src="js/plugins/jqplot.canvasAxisLabelRenderer.min.js"></script>
<script src="js/plugins/jqplot.pointLabels.min.js"></script>
<script src="js/plugins/jqplot.dateAxisRenderer.min.js"></script>
<script src="js/plugins/jqplot.json2.min.js"></script>
<link rel="stylesheet" href="js/jquery.jqplot.min.css">
<link rel="stylesheet" href="style/base.css">
<script src="js/charts.js"></script>
</head>
<body></body>
</html>

charts.js 定義圖表繪製函數,採用陣列 draws 統一管理,支援動態啟用/停用:

var draws = [];

/****************************** TOP 10 User Action Start *********************************/
document.write('<div id="userActionTop10Chart"></div>');

var drawUserActionTop10Chart = function(){
    if(!$("#userActionTop10Chart").attr('class')){
        $("#userActionTop10Chart").attr('class', 'small_chart');
    }

    $.ajax({
        async:false,
        url: '/userActionTop10',
        dataType:'json',
        cache: false,
        success:function(data){
            try{
                $('#userActionTop10Chart').html('');
                $.jqplot('userActionTop10Chart', [data.count], {
                    title: "TOP 10 User Action",
                    seriesDefaults:{
                        renderer:$.jqplot.BarRenderer,
                        rendererOptions: {fillToZero: true},
                        pointLabels: {show:true, ypadding:1}
                    },
                    axesDefaults:{
                        tickRenderer:$.jqplot.CanvasAxisTickRenderer,
                        tickOptions: {angle: -30, fontSize: '12px'}
                    },
                    axes: {
                        xaxis: {renderer: $.jqplot.CategoryAxisRenderer, ticks: data.action},
                        yaxis: {pad: 1.05}
                    }
                });
            }catch(e){}
        }
    });
}
draws.push('drawUserActionTop10Chart');
/******************************* TOP 10 User Action End ************************************/

// 統一繪製入口,每 5 分鐘自動刷新
var drawAllCharts = function(){
    for(var i = 0; i < draws.length; i ++){
        eval(draws[i] + "()");
    }
    window.setTimeout(drawAllCharts, 5 * 60 * 1000);
}
$(function(){ drawAllCharts(); });

啟動服務與頁面後,即可看到長條圖即時呈現 TOP 10 操作分佈(見下圖)。

日誌分析儀表板截圖

三、日誌增量分析:MongoDB MapReduce 定時任務

MongoDB 文檔提到 Incremental MapReduce,但並非自動流式處理,需手動配置增量執行。為了便於維護,將 Map/Reduce 邏輯寫入獨立 stats.js,再由 crontab 每 5 分鐘執行一次:

/************** The file is executed per 5 minutes by /etc/crontab.*****************/
var action_count_map = function(){
    emit(this.action, {action:this.action, count:1});
}

var action_count_reduce = function(key, values){
    var count = 0;
    values.forEach(function(value){
        count += value.count;
    });
    return {action:key, count : count};
}
// 後續需配合 output 參數 {reduce: "action_count"} 實現增量合併

透過 crontab -e 加入 */5 * * * * mongo localhost:27017/log stats.js 即可實現定時增量統計,避免全量掃描帶來的效能壓力。

總結

這套系統展示了「全棧 JavaScript」的威力:Node.js 輕量服務 + MongoDB 原生聚合 + jqPlot 即時視覺化 + 系統級定時任務,以極少代碼解決了日誌分析的核心需求。後續可輕鬆擴展更多指標、圖表類型,並引入 WebSocket 推送實現真正的實時監控。

copyright © 萬盛學電腦網 all rights reserved