Nginx 设置只允许蜘蛛访问其他访问为404或者301跳转-测试可行OK

nginx设置只允许蜘蛛访问其他访问为404或者301跳转ngxinx设置只允许百度360蜘蛛访问，其他任何IP或者蜘蛛访问为404状态

1. if ($http_user_agent !~* "Baidu|Baiduspider|Yisou|Sogou|Google|360|bing") 
2. { 
3. return 404; 
4. } 

实测浏览器打开为 404 状态，网站日志百度蜘蛛为 200 正常状态。 设置只允许百度 360 蜘蛛访问，访客浏览器跳转

1. if ($http_user_agent !~* "Baidu|Baiduspider|Yisou|Sogou|Google|360|bing") 
2. { 
3. return 301 http://www.hao123.com; 
4.   
5. } 

========== 【特定目录，方法测试可行】  ==============   Nginx只想/boke/ 这个目录下的网页  浏览器访问是跳转到403，蜘蛛抓取正常方法：

1. location /boke/   { 
2.     if ($http_user_agent !~* "Baidu|Baiduspider|360|Yisou|Sogou|Google|bing|") 
3.     { 
4.     return 403; 
5.     } 
6. }