萬盛學電腦網

 萬盛學電腦網 >> Linux教程 >> Linux curl命令操作實例匯總

Linux curl命令操作實例匯總

  curl是開源文件傳輸工具,可應用於Linux系統中,想要用好這個工具,就要詳細了解curl命令參數,下面小編就給大家介紹下Linux curl命令的操作實例,感興趣的朋友可以來了解下。

 Linux curl命令操作實例匯總

  在Linux中curl支持文件的上傳和下載,是綜合傳輸工具,但按傳統,習慣稱url為下載工具。

  語法:# curl [option] [url]

  常見參數:

  -A/--user-agent 《string》 設置用戶代理發送給服務器

  -b/--cookie 《name=string/file》 cookie字符串或文件讀取位置

  -c/--cookie-jar 《file》 操作結束後把cookie寫入到這個文件中

  -C/--continue-at 《offset》 斷點續轉

  -D/--dump-header 《file》 把header信息寫入到該文件中

  -e/--referer 來源網址

  -f/--fail 連接失敗時不顯示http錯誤

  -o/--output 把輸出寫到該文件中

  -O/--remote-name 把輸出寫到該文件中,保留遠程文件的文件名

  -r/--range 《range》 檢索來自HTTP/1.1或FTP服務器字節范圍

  -s/--silent 靜音模式。不輸出任何東西

  -T/--upload-file 《file》 上傳文件

  -u/--user 《user[:password]》 設置服務器的用戶和密碼

  -w/--write-out [format] 什麼輸出完成後

  -x/--proxy 《host[:port]》 在給定的端口上使用HTTP代理

  -#/--progress-bar 進度條顯示當前的傳送狀態

  例子:

  1、基本用法

  # curl http://www.linuxidc.com

  執行後,www.linuxidc.com 的html就會顯示在屏幕上了

  Ps:由於安裝linux的時候很多時候是沒有安裝桌面的,也意味著沒有浏覽器,因此這個方法也經常用於測試一台服務器是否可以到達一個網站

  2、保存訪問的網頁

  2.1:使用linux的重定向功能保存

  # curl http://www.linuxidc.com 》》 linuxidc.html

  2.2:可以使用curl的內置option:-o(小寫)保存網頁

  $ curl -o linuxidc.html http://www.linuxidc.com

  執行完成後會顯示如下界面,顯示100%則表示保存成功

  % Total % Received % Xferd Average Speed Time Time Time Current

  Dload Upload Total Spent Left Speed

  100 79684 0 79684 0 0 3437k 0 --:--:-- --:--:-- --:--:-- 7781k

  2.3:可以使用curl的內置option:-O(大寫)保存網頁中的文件

  要注意這裡後面的url要具體到某個文件,不然抓不下來

  # curl -O http://www.linuxidc.com/hello.sh

  3、測試網頁返回值

  # curl -o /dev/null -s -w %{http_code} www.linuxidc.com

  Ps:在腳本中,這是很常見的測試網站是否正常的用法

  4、指定proxy服務器以及其端口

  很多時候上網需要用到代理服務器(比如是使用代理服務器上網或者因為使用curl別人網站而被別人屏蔽IP地址的時候),幸運的是curl通過使用內置option:-x來支持設置代理

  # curl -x 192.168.100.100:1080 http://www.linuxidc.com

  5、cookie

  有些網站是使用cookie來記錄session信息。對於chrome這樣的浏覽器,可以輕易處理cookie信息,但在curl中只要增加相關參數也是可以很容易的處理cookie

  5.1:保存http的response裡面的cookie信息。內置option:-c(小寫)

  # curl -c cookiec.txt http://www.linuxidc.com

  執行後cookie信息就被存到了cookiec.txt裡面了

  5.2:保存http的response裡面的header信息。內置option: -D

  # curl -D cookied.txt http://www.linuxidc.com

  執行後cookie信息就被存到了cookied.txt裡面了

  注意:-c(小寫)產生的cookie和-D裡面的cookie是不一樣的。

  5.3:使用cookie

  很多網站都是通過監視你的cookie信息來判斷你是否按規矩訪問他們的網站的,因此我們需要使用保存的cookie信息。內置option: -b

  # curl -b cookiec.txt http://www.linuxidc.com

  6、模仿浏覽器

  有些網站需要使用特定的浏覽器去訪問他們,有些還需要使用某些特定的版本。curl內置option:-A可以讓我們指定浏覽器去訪問網站

  # curl -A “Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)” http://www.linuxidc.com

  這樣服務器端就會認為是使用IE8.0去訪問的

  7、偽造referer(盜鏈)

  很多服務器會檢查http訪問的referer從而來控制訪問。比如:你是先訪問首頁,然後再訪問首頁中的郵箱頁面,這裡訪問郵箱的referer地址就是訪問首頁成功後的頁面地址,如果服務器發現對郵箱頁面訪問的referer地址不是首頁的地址,就斷定那是個盜連了

  curl中內置option:-e可以讓我們設定referer

  # curl -e “www.linuxidc.com” http://mail.linuxidc.com

  這樣就會讓服務器其以為你是從www.linuxidc.com點擊某個鏈接過來的

  8、下載文件

  8.1:利用curl下載文件。

  #使用內置option:-o(小寫)

  # curl -o dodo1.jpg http:www.linuxidc.com/dodo1.JPG

  #使用內置option:-O(大寫)

  # curl -O http://www.linuxidc.com/dodo1.JPG

  這樣就會以服務器上的名稱保存文件到本地

  8.2:循環下載

  有時候下載圖片可以能是前面的部分名稱是一樣的,就最後的尾椎名不一樣

  # curl -O http://www.linuxidc.com/dodo[1-5].JPG

  這樣就會把dodo1,dodo2,dodo3,dodo4,dodo5全部保存下來

  8.3:下載重命名

  # curl -O http://www.linuxidc.com/{hello,bb}/dodo[1-5].JPG

  由於下載的hello與bb中的文件名都是dodo1,dodo2,dodo3,dodo4,dodo5。因此第二次下載的會把第一次下載的覆蓋,這樣就需要對文件進行重命名。

  # curl -o #1_#2.JPG http://www.linuxidc.com/{hello,bb}/dodo[1-5].JPG

  這樣在hello/dodo1.JPG的文件下載下來就會變成hello_dodo1.JPG,其他文件依此類推,從而有效的避免了文件被覆蓋

上一頁12下一頁共2頁

  8.4:分塊下載

  有時候下載的東西會比較大,這個時候我們可以分段下載。使用內置option:-r

  # curl -r 0-100 -o dodo1_part1.JPG http://www.linuxidc.com/dodo1.JPG

  # curl -r 100-200 -o dodo1_part2.JPG http://www.linuxidc.com/dodo1.JPG

  # curl -r 200- -o dodo1_part3.JPG http://www.linuxidc.com/dodo1.JPG

  # cat dodo1_part* 》 dodo1.JPG

  這樣就可以查看dodo1.JPG的內容了

  8.5:通過ftp下載文件

  curl可以通過ftp下載文件,curl提供兩種從ftp中下載的語法

  # curl -O -u 用戶名:密碼 ftp://www.linuxidc.com/dodo1.JPG

  # curl -O ftp://用戶名:密碼@www.linuxidc.com/dodo1.JPG

  8.6:顯示下載進度條

  # curl -# -O http://www.linuxidc.com/dodo1.JPG

  8.7:不會顯示下載進度信息

  # curl -s -O http://www.linuxidc.com/dodo1.JPG

  9、斷點續傳

  在windows中,我們可以使用迅雷這樣的軟件進行斷點續傳。curl可以通過內置option:-C同樣可以達到相同的效果

  如果在下載dodo1.JPG的過程中突然掉線了,可以使用以下的方式續傳

  # curl -C -O http://www.linuxidc.com/dodo1.JPG

  10、上傳文件

  curl不僅僅可以下載文件,還可以上傳文件。通過內置option:-T來實現

  # curl -T dodo1.JPG -u 用戶名:密碼 ftp://www.linuxidc.com/img/

  這樣就向ftp服務器上傳了文件dodo1.JPG

  11、顯示抓取錯誤

  # curl -f http://www.linuxidc.com/error

  其他參數(此處翻譯為轉載):

  -a/--append 上傳文件時,附加到目標文件

  --anyauth 可以使用“任何”身份驗證方法

  --basic 使用HTTP基本驗證

  -B/--use-ascii 使用ASCII文本傳輸

  -d/--data 《data》 HTTP POST方式傳送數據

  --data-ascii 《data》 以ascii的方式post數據

 

copyright © 萬盛學電腦網 all rights reserved