经发现,虽然wget遵循 robots.txt 规则,但是那个还是可以绕过去,现在把我自己使用的屏蔽方法分享给大家:成都服务器托管

1. 屏蔽下载任何文件
.htaccess
1 2 3 4 5 6 | SetEnvIfNoCase User-Agent "^wget" bad_botOrder Allow,DenyAllow from allDeny from env=bad_bot |
2. 屏蔽下载部分文件
.htaccess
1 2 3 4 5 6 7 8 | SetEnvIfNoCase User-Agent "^Wget" bad_botSetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_botSetEnvIfNoCase User-Agent "^Wget/1.6" bad_botOrder Allow,DenyAllow from allDeny from env=bad_bot |
Copyright © 2009-2022 www.wtcwzsj.com 青羊区广皓图文设计工作室(个体工商户) 版权所有 蜀ICP备19037934号