Linux如何提高大文件的拷貝效率

　　Linux系統操作中，當你在進行機器直接的拷貝時，遇到大文件的時候非常浪費時間，特別是將文件同時拷貝到多台機器上的時候，那麼有什麼好的方法能夠提高大文件的拷貝效率呢？一起來學習下吧。

　　你可以從源機器逐個拷貝到逐台目標機器，但是往往時間也是成倍的。或者你也可以同時從源機器同時拷貝到多個目標機器，但是受制於源機器的帶寬等因素，速度並不見得真的很快。

　　還好，借助一些UNIX工具可以做的更好。把tee和FIFO組合起來，可以形成一個文件快速分發鏈：處於分發鏈中的每台機器會保存文件，同時還分發給它的下一環。

　　首先，選定一台目標機器做為分發鏈的最後一環，在這台機器上只需要用nc監聽（假定端口是1234），再通過管道由pigz解壓縮，繼續通過管道把數據交由tar來分解。

　　nc -l 1234| pigz -d | tar xvf -

　　然後，再從分發鏈的末端往上走，設置其它目標機器，同樣要經過監聽、解壓、分解，不過在解壓之前我們通過tee命令將數據輸出到命名管道（FIFO），另外的一條shell管道會將這些未解壓的數據同時分發到分發鏈的下一環：

　　mkfifo myfifo

　　nc hostname_of_next_box 1234 nc -l 1234| tee myfifo | pigz -d | tar xvf -

　　最後，在源機器上啟動分發鏈，讓數據傳輸到分發鏈的第一環：

　　tar cv some_files | pigz | nc hostname_of_first_box 1234

　　在我的測試中，分發鏈中的每台機器大概損失了3%-10%的性能（相對於1對1的拷貝而言），但是相對逐個逐個的拷貝或者單台機器向多台機器同時分發，效率提升是很明顯的。

　　上面就是Linux提高大文件拷貝效率的方法介紹了，主要通過UNIX工具形成一個文件快速分發鏈來實現大文件的快速拷貝，效率提高了不少。