溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
什么是爬蟲中的Robots協(xié)議？很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。
爬蟲的盜亦有道Robots協(xié)議
爬蟲的規(guī)定
Robots協(xié)議
網(wǎng)站開發(fā)者對于網(wǎng)絡爬蟲的規(guī)范的公告,你可以不遵守可能存在法律風險,但盡量去遵守。
Robots協(xié)議:在網(wǎng)頁的根目錄+robots.txt
Robots協(xié)議的基本語法:
#注釋,*代表所有,/代表根目錄 User-agent:* #user-agent代表來源 Allow:/ #代表運行爬取的內(nèi)容 Disallow:/ #代表不可爬取的目錄,如果是/后面沒有寫內(nèi)容,便是其對應的訪問者不可爬取所有內(nèi)容
并不是所有網(wǎng)站都有Robots協(xié)議。
如果一個網(wǎng)站不提供Robots協(xié)議,是說明這個網(wǎng)站對應所有爬蟲沒有限制。
類人行為可以不參考robots協(xié)議,比如我們寫的小程序訪問量很少,內(nèi)容也少但是內(nèi)容不能用于商業(yè)用途。
總的來說請準守Robots協(xié)議。
看完上述內(nèi)容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業(yè)資訊頻道，感謝您對億速云的支持。
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權內(nèi)容。
