公
告
〖公告〗  本站经过调整，最终决定使用目前界面，欢迎时常光临！     〖公告〗  本站主要原创或摘创站长认为有意义的内容。     〖公告〗  全国快递公司查询总汇-从此不需要一家家查询了！！     
+ 近期推荐阅读 +   
[网络&技术]PJBLOG使用技巧   
[数码&时尚] 无线AP、路由、网卡的天线和接口类型荟萃 
[网络&技术]全国快递公司查询总汇-从此不需要一家家查询了！！   
  • 1
预览模式: 普通 | 列表

如何写robots.txt？ 

作者:Amic  日期:2010-03-08

当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。

另外，robots

查看更多...

分类:网络&技术 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 196
  • 1