curl 命令 和 wge t命令

curl：
curl 是強大的URL傳輸工具，這個命令最常用的功能就是通過命令行發(fā)送http請求以及下載文件，比如模擬refer（從那個頁面跳轉過來）、cookie、agent（使用什么瀏覽器）等，同時還能夠模擬表單數(shù)據(jù)。

curl命令選項：
-i: 顯示頭部信息
-I：只顯示頭部信息，不顯示正文
-X：指定請求方法，比如GET\POST等
--from：模擬表單，利用這個參數(shù)可以上傳文件、模擬點擊按鈕等
-A：指定用戶代理，比如Mozilla/4.0
-b：設置cookie
-c：指定cookie文件
-e：指定referer，有些網(wǎng)址必須從某個頁面跳轉過去
--header：設置請求頭部信息
--user：有些頁面需要http認證，傳遞name:passwd認證

curl -X POST -d "*****"

使用重定向“>” 符號將輸出重定向到本地文件中
curl http://www.jd.com >index.html
也可以通過curl自帶的-o/-O選項將內(nèi)容保存到文件中
-o（小寫的o）：結果被保存到命令行中提供的文件名
curl -o index.html http://www.jd.com
-O（大寫的O）：URL中的文件名會被用作保存文件到本地
curl https://cache.yisu.com/upload/information/20200309/28/2481 -O

續(xù)傳：當文件下載之前結束該進程，通過日俺家-C選項繼續(xù)對該文件進行下載，已下載的文件不會被重復下載。

--limit-rate： 對curl限速
curl --limit-rate 1024B http://www.jd.com

對文件的最后修改時間進行判斷，如果該文件在指定日期內(nèi)修改過，就進行下載，否則不下載，該功能通過-z實現(xiàn)：比如若a.html文件在2019/12/28之后有過更新才會進行下載。
curl -z 21-Dec-18 http://www.a.com/a.html

當通過瀏覽器打開鏈接是，會自動跳轉http://www.jd.com 此時我們想要curl做的像瀏覽器一樣跟隨鏈接的跳轉，獲取最終的網(wǎng)頁內(nèi)容?？梢栽诿钪刑砑?L選項來跟隨銜接重定向。
curl -L http://www.jd.com

wget命令
wget是一個文件下載工具，他用在命令行下，支持斷點下載功能，同時支持ftp和http下載方式。支持代理服務器和設置起來方便簡單。

wget -c：斷點續(xù)傳使用
wget -b：后臺下載
wget --spider URL ：測試下載鏈接是否有效
wget ftp-url ：使用wget完成ftp鏈接的下載，匿名ftp下載類似于http下載
wget --ftp-user=name --ftp-password=passwd url：使用wget用戶名和密碼認證的ftp下載
wget -Q：限制總下載文件大下
下載文件超過10MB而退出下載
wget -Q10m -i iso_limit.txt

下載單個文件：
wget http://www.jd.com/a.iso

當下載的文件名太長不方便運維人員操作，可以自定義文件名，可以使用”-O“來指定一個文件名：
wget -O Centos-7.iso http://www.jd.com/a.iso
把下載信息存入到日志：wget -o
wget -o a.log URL

使用--limit-rate限速下載：
wget -O Centos-7.iso --limit-rate=600k http://www.jd.com/a.iso

使用wget做網(wǎng)站鏡像：
wget --mirror -p --convert-links -p ./local url
--mirror :設置這個參數(shù)用來建設本地鏡像
-p：下載所有html文件適合顯示的元素
--convert-links：下載完成之后，將文檔鏈接都轉換成本地的
-P ./local ：保存所有的文件和目錄到指定文件夾下

下載站點時，不打算下載gif動畫圖片
wget --reject=gif url