蜘蛛監(jiān)控中很多這樣的頁面。
/index.php?s=news&c=comment&m=index&id=1807&&type=0&page=1&0.9999794062690222&callback=jQuery110009550518769024592_1646960477020&_=1646960477021
/index.php?s=news&c=comment&m=index&id=2978&&type=0&page=1&0.226611196182682&callback=jQuery110008022063669223576_1646960418323&_=1646960418324
請教下,怎么樣屏蔽蜘蛛爬取這個,或者關閉這個頁面。
開源是一種精神,但不是義務,幫忙是情分,不幫也不要抱怨,建議大家多研究代碼、多閱讀代碼、多翻閱社區(qū)歷史問題!
https://robots.bmcx.com/
應該是老大把字母打錯了
http://www.robotstxt.org/robotstxt.html
這個就比較權威。
回復@周磊 感謝,只能這么辦了