web爬蟲違法嗎

本篇內容介紹了“web爬蟲違法嗎”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

1.技術無罪?

很多朋友給我留言：技術是無罪的，技術本身確實是沒有對錯的，但使用技術的人是有對錯的，公司或者程序員如果明知使用其技術是非法的，那么公司或者人就需要為之付出代價。

在今年國家頒布《中華人民共和國網絡安全法》之后，很多以前處于灰色地帶的業(yè)務都不能做了。

君不見之前曾經非?；鸬母鞣N社工庫網站，現(xiàn)在絕大部分都已經消失匿跡了嗎?因為新的安全法強調：販賣個人信息超過50條屬于“情節(jié)嚴重”，需要追求其法律責任。

很多草根站長都紛紛主動關閉了網站;還有很多涉及版權信息的網站，比如書籍、影視劇、課程等后期也會面臨越來越嚴格的審查，這就是目前大的形勢。

2014年12月20日，人人影視字幕站發(fā)布微博稱，人人影視正式關閉，并表示或將繼續(xù)為正版商提供翻譯服務，也可能轉變?yōu)橛懻撋鐓^(qū)的形式。

2019年6月，吾愛破解因版權問題關站整改........

隨著中國經濟的不斷往前走，知識產權問題會越來越重視，非法爬蟲是現(xiàn)在一個重要的打擊部分，如果有程序員走在灰色的邊緣盡早收手，不要因為一點小的收益導致觸犯法律，從而得不償失。

技術是無罪的，但是用到了錯的地方代價也是非常巨大的。

2.爬蟲崗位人人自危

我在拉鉤上搜索：  爬蟲工程師，顯示有 217 條相關招聘信息，薪資從10-60k 都有，說明市場上對爬蟲的需求是很大的。

前天文章發(fā)出去之后有很多程序員給我留言：

• 我們領導安排我爬取公司內部的信息，這算不算犯罪呢?

• 爬取網上公開的信息，這算不算犯罪呢?

• 寫了一段代碼上傳到 Github，被人用了犯法嗎?

簡單回答一下這些問題：

1. 爬取公司內部信息有公司授權當然不算犯罪的，但是公司內部不用接口而用爬蟲不知道是為什么?

2. 爬取網上公開信息不犯法，但如果大量開啟爬蟲導致對方服務器崩潰也是違法的，這屬于暴力攻擊的范疇了。

3. 寫了一段代碼上傳到 Github  上面，有人利用你的代碼做了其它非法的事情，絕大多數(shù)都沒有問題的，但如果你寫的軟件涉及到入侵、暴力破解、病毒等就不好說了。

還有朋友認為這事責任在企業(yè)不在程序員，日常工作中項目初期設計和最后上線需要通過公司的法務批準，所有代碼必須有其他程序員同事評審通過才能提交。

這位朋友說的挺對的，按道理每個公司都應該有法務和風控在前面，后面才是產品設計和程序員開發(fā)的事情，但如果一家公司為了利益，老板可以直接讓這兩個部門閉嘴，后面程序員可以不干嗎?

更甚至很多公司其實就沒有這兩個部門或者說形同虛設。那么做為程序員自己也需要操一份心，凡是涉及到入侵類的程序都不能干，因為有一個東西叫做：單位犯罪。

單位犯罪，是指公司、企業(yè)、事業(yè)單位、機關、團體為單位謀取利益，經單位決策機構或者負責人決定實施的，法律規(guī)定應當負刑事責任的危害社會的行為。

我國刑法對單位犯罪原則上采取雙罰制度，即單位犯罪的，對單位判處罰金，并對其直接負責的主管人員和其他直接責任人員判處刑罰。

3.什么樣的爬蟲是非法的?

爬蟲不能涉及個人隱私!

如果爬蟲程序采集到公民的姓名、身份證件號碼、通信通訊聯(lián)系方式、住址、賬號密碼、財產狀況、行蹤軌跡等個人信息，并將之用于非法途徑的，則肯定構成非法獲取公民個人信息的違法行為。

也就是說你爬蟲爬取信息沒有問題，但不能涉及到個人的隱私問題，如果涉及了并且通過非法途徑收益了，那肯定是違法行為。

另外，還有下列三種情況，爬蟲有可能違法，嚴重的甚至構成犯罪

1. 爬蟲程序規(guī)避網站經營者設置的反爬蟲措施或者破解服務器防抓取措施，非法獲取相關信息，情節(jié)嚴重的，有可能構成“非法獲取計算機信息系統(tǒng)數(shù)據(jù)罪”。

2. 爬蟲程序干擾被訪問的網站或系統(tǒng)正常運營，后果嚴重的，觸犯刑法，構成“破壞計算機信息系統(tǒng)罪”

3. 爬蟲采集的信息屬于公民個人信息的，有可能構成非法獲取公民個人信息的違法行為，情節(jié)嚴重的，有可能構成“侵犯公民個人信息罪”。

現(xiàn)在網上有很多付費的課程，比如極客時間、Gitchat、慕課網、知識星球等等，這些付費內部信息如果被非法爬取手法出售獲利，一種違法行為。

之前我就遇到一個網友，把各個知識星球的內容都抓下來，合到一起自己去賣，自作聰明覺得發(fā)現(xiàn)了一個大的商機，其實自己不知道這個行為其實很危險，風險和收益明顯不對等。

我這兩天看的時候，他的一個公眾號都被封了，后來又轉移了一個小號繼續(xù)搞，遲早又是被封的命運，真的很不值當。最可憐是那些買他服務的用戶，因為他宣傳時承諾永久，肯定永久不了。

4.什么樣的爬蟲是合法的?

（1） 遵守 Robots協(xié)議

Robots 協(xié)議也叫 robots.txt(統(tǒng)一小寫)是一種存放于網站根目錄下的 ASCII  編碼的文本文件，它通常告訴網絡搜索引擎的漫游器(又稱網絡蜘蛛)，此網站中的哪些內容是不應被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。

Robots  協(xié)議就是告訴爬蟲，哪些信息是可以爬取，哪些信息不能被爬取，嚴格按照 Robots 協(xié)議  爬取網站相關信息一般不會出現(xiàn)太大問題。

（2）不能造成對方服務器癱瘓

但不是說只要遵守 Robots  協(xié)議的爬蟲就沒有問題，還涉及到兩個因素，第一不能大規(guī)模爬蟲導致對方服務器癱瘓，這等于網絡攻擊。

2019年05月28日國家網信辦發(fā)布的《數(shù)據(jù)安全管理辦法(征求意見稿)》中，擬通過行政法規(guī)的形式，對爬蟲的使用進行限制：

網絡運營者采取自動化手段訪問收集網站數(shù)據(jù)，不得妨礙網站正常運行;此類行為嚴重影響網站運行，如自動化訪問收集流量超過網站日均流量三分之一，網站要求停止自動化訪問收集時，應當停止。

（3）不能非法獲利

惡意利用爬蟲技術抓取數(shù)據(jù)，攫取不正當競爭的優(yōu)勢，甚至是牟取不法利益的，則可能觸犯法律。實踐中，非法使用爬蟲技術抓取數(shù)據(jù)而產生的糾紛其實數(shù)量并不少，大多是以不正當競爭為由提請訴訟。

舉個例子，如果你把大眾點評上的所有公開信息都抓取了下來，自己復制了一個一模一樣的網站，并且還通過這個網站獲取了大量的利潤，這樣也是有問題的。

一般情況下，爬蟲都是為了企業(yè)獲利的，因此需要爬蟲開發(fā)者的道德自持和企業(yè)經營者的良知才是避免觸碰法律底線的根本所在。

“web爬蟲違法嗎”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！