如何禁止同IP站点查询和同IP站点查询的原理分析 Robots.txt屏蔽BINGBOT

2022-11-12 17:55:45 浏览：849 作者：ALLBET

很多站长工具中都有“同IP站点查询”、“IP反查域名”这种服务不少人都不知道是什么原理，其实这些服务几乎都是用BING（以前的LIVE）来实现的，BING有个特别功能 BING抓取...

很多站长工具中都有“同IP站点查询”、“IP反查域名”这种服务不少人都不知道是什么原理，其实这些服务几乎都是用BING（以前的LIVE）来实现的，BING有个特别功能 BING抓取页面时会把站点的IP也记录下来，用户可以搜索指定IP下的结果同IP站点查询就是利用这个实现的，如http://cn.bing.com/search?q=ip:220.181.29.42，这个功能很有用但很多站长工具都会把结果提交到搜索引擎比较讨厌，如果不希望自己的网站出现在结果中可以用ROBOTS.TXT拒绝BINGBOT抓取，但已抓取的结果仍然会显示出来，只能等半年后抓取结果过期删除，才能从BING的搜索结果中消失。

========================================

Robots.txt生成器

http://tool.chinaz.com/robots/

========================================

User-agent: MSNBotDisallow: /

User-agent: *Disallow:

Disallow: /bin/Sitemap: http://domain.com/sitemap.xml

上一篇：利用php调用so库文件中的代码

下一篇：情绪背后，是上一段婚姻的雷