投訴
討論 請教一個問題機器人爬蟲能對需要登陸權限的內抓取不
13 0
請教一個問題，機器人爬蟲能對需要登陸權限的內抓取不？
肯定抓不了的
回復@張大山
謝謝
用python都可以爬，爬完了把數(shù)據(jù)返回給php，然后php進行處理入庫，這樣就可以，要登錄的都可以
回復@琉惗
如果要登陸才能瀏覽的內容也可以？我的意思是如果我要綁定硬件才能登陸，爬取者是不能登陸的，這樣也可以？
這樣的就要先獲取到硬件設備信息才行，具體的得問python大神，不過應該是沒問題的
回復@黃老邪
回復@琉惗
我是要防止爬取，不是我要爬別人，
好吧。我以為你要爬別人呢，那我估計沒啥號辦法，淘寶都躲不過被人爬，何況是你的站呢，大神還是很多的
回復@黃老邪
回復@琉惗
淘寶被爬的應當是游客能瀏覽的內容吧？
有些是需要登錄的
回復@琉惗
那應該是他在登陸后才能爬，沒登陸應當不能吧
可以的，能繞過去，我之前找了個，他就能繞過去
回復@黃老邪
比如，你出價一萬，要爬的網(wǎng)站會員是一千，那我買個會員，登錄了采集給你，我賺9000，也不是不可能的
但是說，繞過權限采集，我覺得吧，可能性不大，或者說，需要很厲害的技術，還要通過類似上面說的操作
否則，銀行網(wǎng)站怎么辦？
比如要加密狗訪問的，如果說要獲取硬件信息，那他得去弄到這個加密狗先啊
有驗證的吧，python弄個cookie的驗證