萬盛學電腦網

 萬盛學電腦網 >> 腳本專題 >> javascript >> 使用Node.js配合Nginx實現高負載網絡

使用Node.js配合Nginx實現高負載網絡

   這篇文章主要介紹了使用Node.js配合Nginx實現高負載網絡,Node的異步加上Nginx的反向代理在性能上實在是給力!需要的朋友可以參考下

  在搭建高吞吐量web應用這個議題上,NginX和Node.js可謂是天生一對。他們都是基於事件驅動模型而設計,可以輕易突破Apache等傳統web服務器的C10K瓶頸。預設的配置已經可以獲得很高的並發,不過,要是大家想在廉價硬件上做到每秒數千以上的請求,還是有一些工作要做的。

  這篇文章假定讀者們使用NginX的HttpProxyModule來為上游的node.js服務器充當反向代理。我們將介紹Ubuntu 10.04以上系統sysctl的調優,以及node.js應用與NginX的調優。當然,如果大家用的是Debian系統,也能達到同樣的目標,只不過調優的方法有所不同而已。

  網絡調優

  如果不先對Nginx和Node.js的底層傳輸機制有所了解,並進行針對性優化,可能對兩者再細致的調優也會徒勞無功。一般情況下,Nginx通過TCP socket來連接客戶端與上游應用。

  我們的系統對TCP有許多門限值與限制,通過內核參數來設定。這些參數的默認值往往是為一般的用途而定的,並不能滿足web服務器所需的高流量、短生命的要求。

  這裡列出了調優TCP可供候選的一些參數。為使它們生效,可以將它們放在/etc/sysctl.conf文件裡,或者放入一個新配置文件,比如/etc/sysctl.d/99-tuning.conf,然後運行sysctl -p,讓內核裝載它們。我們是用sysctl-cookbook來干這個體力活。

  需要注意的是,這裡列出來的值是可以安全使用的,但還是建議大家研究一下每個參數的含義,以便根據自己的負荷、硬件和使用情況選擇一個更加合適的值。

   代碼如下:

  net.ipv4.ip_local_port_range='1024 65000'

  net.ipv4.tcp_tw_reuse='1'

  net.ipv4.tcp_fin_timeout='15'

  net.core.netdev_max_backlog='4096'

  net.core.rmem_max='16777216'

  net.core.somaxconn='4096'

  net.core.wmem_max='16777216'

  net.ipv4.tcp_max_syn_backlog='20480'

  net.ipv4.tcp_max_tw_buckets='400000'

  net.ipv4.tcp_no_metrics_save='1'

  net.ipv4.tcp_rmem='4096 87380 16777216'

  net.ipv4.tcp_syn_retries='2'

  net.ipv4.tcp_synack_retries='2'

  net.ipv4.tcp_wmem='4096 65536 16777216'

  vm.min_free_kbytes='65536'

  重點說明其中幾個重要的。

   代碼如下:

  net.ipv4.ip_local_port_range

  為了替上游的應用服務下游的客戶端,NginX必須打開兩條TCP連接,一條連接客戶端,一條連接應用。在服務器收到很多連接時,系統的可用端口將很快被耗盡。通過修改net.ipv4.ip_local_port_range參數,可以將可用端口的范圍改大。如果在/var/log/syslog中發現有這樣的錯誤: “possible SYN flooding on port 80. Sending cookies”,即表明系統找不到可用端口。增大net.ipv4.ip_local_port_range參數可以減少這個錯誤。

  代碼如下:

  net.ipv4.tcp_tw_reuse

  當服務器需要在大量TCP連接之間切換時,會產生大量處於TIME_WAIT狀態的連接。TIME_WAIT意味著連接本身是關閉的,但資源還沒有釋放。將net_ipv4_tcp_tw_reuse設置為1是讓內核在安全時盡量回收連接,這比重新建立新連接要便宜得多。

   代碼如下:

  net.ipv4.tcp_fin_timeout

  這是處於TIME_WAIT狀態的連接在回收前必須等待的最小時間。改小它可以加快回收。

  如何檢查連接狀態

  使用netstat:

   代碼如下:

  netstat -tan | awk '{print $6}' | sort | uniq -c

  或使用ss:

   代碼如下:

  ss -s

  NginX

  隨著web服務器的負載逐漸升高,我們就會開始遭遇NginX的某些奇怪限制。連接被丟棄,內核不停報SYN flood。而這時,平均負荷和CPU使用率都很小,服務器明明是可以處理更多連接的狀態,真令人沮喪。

  經過調查,發現有非常多處於TIME_WAIT狀態的連接。這是其中一個服務器的輸出:

   代碼如下:

  ss -s

  Total: 388 (kernel 541)

  TCP: 47461 (estab 311, closed 47135, orphaned 4, synrecv 0, timewait 47135/0), ports 33938

  Transport Total IP IPv6

  * 541 - -

  RAW 0 0 0

  UDP 13 10 3

  TCP 326 325 1

  INET 339 335 4

  FRAG 0 0 0

  有47135個TIME_WAIT連接!而且,從ss可以看出,它們都是已經關閉的連接。這說明,服務器已經消耗了絕大部分可用端口,同時也暗示我們,服務器是為每個連接都分配了新端口。調優網絡對這個問題有一點幫助,但是端口仍然不夠用。

  經過繼續研究,我找到了一個關於上行連接keepalive指令的文檔,它寫道:

  設置通往上游服務器的最大空閒保活連接數,這些連接會被保留在工作進程的緩存中。

  有趣。理論上,這個設置是通過在緩存的連接上傳遞請求來盡可能減少連接的浪費。文檔中還提到,我們應該把proxy_http_version設為"1.1",並清除"Connection"頭部。經過進一步的研究,我發現這是一種很好的想法,因為HTTP/1.1相比HTTP1.0,大大優化了TCP連接的使用率,而Nginx默認用的是HTTP/1.0。

  按文檔的建議修改後,我們的上行配置文件變成這樣:

   代碼如下:

  upstream backend_nodejs {

  server nodejs-3:5016 max_fails=0 fail_timeout=10s;

  server nodejs-4:5016 max_fails=0 fail_timeout=10s;

  server nodejs-5:5016 max_fails=0 fail_timeout=10s;

  server nodejs-6:5016 max_fails=0 fail_timeout=10s;

  keepalive 512;

  }

  我還按它的建議修改了server一節的proxy設置。同時,加了一個 p roxy_next_upstream來跳過故障的服務器,調整了客戶端的 keepalive_timeout,並關閉訪問日志。配置變成這樣:

   代碼如下:

  server {

  listen 80;

  server_name fast.gosquared.com;

  client_max_body_size 16M;

  keepalive_timeout 10;

  location / {

  proxy_next_upstream error timeout http_500 http_502 http_503 http_504;

  proxy_set_header Connection "";

  proxy_http_version 1.1;

  proxy_pass http://backend_nodejs;

  }

  access_log off;

  error_log /dev/null crit;

  }

  采用新的配置後,我發現服務器們占用的socket 降低了90%。現在可以用少得多的連接來傳輸請求了。新的輸出如下:

   代碼如下:

  ss -s

  Total: 558 (kernel 604)

  TCP: 4675 (estab 485, closed 4183, orphaned 0, synrecv 0, timewait 4183/0), ports 2768

  Transport Total IP IPv6

  * 604 - -

  RAW 0 0 0

  UDP 13 10 3

  TCP 492 491 1

  INET 505 501 4

  Node.js

  得益於事件驅動式設計可以異步處理I/O,Node.js開箱即可處理大量的連接和請求。雖然有其它一些調優手段,但這篇文章將主要關注node.js的進程方面。

  Node是單線程的,不會自動使用多核。也就是說,應用不能自動獲得服務器的全部能力。

  實現Node進程的集群化

  我們可以修改應用,讓它fork多個線程,在同一個端口上接收數據,從而實現負載的跨越多核。Node有一個cluster模塊,提供了實現這個目標所必需的所有工具,但要將它們加入應用中還需要很多體力活。如果你用的是express,eBay有一個叫cluster2的模塊可以用。

  防止上下文切換

  當運行多個進程時,應該確保每個CPU核同一時間只忙於一個進程。一般來說,如果CPU有N個核,我們應該生成N-1個應用進程。這樣可以確保每個進程都能得到合理的時間片,而剩下的一個核留給內核調度程序運行其它任務。我們還要確保服務器上基本不執行除Node.js外的其它任務,防止出現CPU的爭用。

  我們曾經犯過一個錯誤,在服務器上部署了兩個node.js應用,然後每個應用都開了N-1個進程。結果,它們互相之間搶奪CPU,導致系統的負荷急升。雖然我們的服務器都是8核的機器,但仍然可以明顯地感覺到由上下文切換引起的性能開銷。上下文切換是指CPU為了執行其它任務而掛起當前任務的現象。在切換時,內核必須掛起當前進程的所有狀態,然後裝載和執行另一個進程。為了解決這個問題,我們減少了每個應用開啟的進程數,讓它們公平地分享CPU,結果系統負荷就降了下來:

2015628112206774.png (802×404)

  請注意上圖,看系統負荷(藍線)是如何降到CPU核數(紅線)以下的。在其它服務器上,我們也看到了同樣的情況。既然總的工作量保持不變,那麼上圖中的性能改善只能歸功於上下文切換的減少。

copyright © 萬盛學電腦網 all rights reserved