手机看片精品高清国产日韩,色先锋资源综合网,国产哺乳奶水91在线播放,乱伦小说亚洲色图欧洲电影

幫助中心 >  技術知識庫 >  云服務器 >  服務器教程 >  apache使用.htaccess文件實現屏蔽wget下載網站內容

apache使用.htaccess文件實現屏蔽wget下載網站內容

2016-03-10 16:37:36 21067

wget是一個從網絡上自動下載文件的自由工具，支持通過HTTP、HTTPS、FTP三個最常見的TCP/IP協議下載，并可以使用HTTP代理。wget名稱的由來是“World Wide Web”與“get”的結合。

經發現，雖然wget遵循 robots.txt 規則，但是那個還是可以繞過去，現在把我自己使用的屏蔽方法分享給大家：

1. 屏蔽下載任何文件

.htaccess

1
2
3
4
5
6
SetEnvIfNoCase User-Agent "^wget" bad_bot
<Limit GET POST>
  Order Allow,Deny
  Allow from all
  Deny from env=bad_bot
</Limit>

2. 屏蔽下載部分文件

.htaccess

1
2
3
4
5
6
7
8
SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
<Files ~ ".(html|pdf|mp3|zip|rar|exe|gif|jpe?g|png|php|jsp) $">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</files>

提交成功！非常感謝您的反饋，我們會繼續努力做到更好！

這條文檔是否有幫助解決問題？

非常抱歉未能幫助到您。為了給您提供更好的服務，我們很需要您進一步的反饋信息：

在文檔使用中是否遇到以下問題：