收藏本站
[公司资质]
[联系我们]
当前位置: 主页 > 政务 >

Robots

时间:2020-04-28 16:06来源:未知 作者:admin 点击:
1. robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓

  1. robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。

  2. 您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。

  3. Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。

(责任编辑:admin)
相关内容:
2020国考面试政治热点:政务服 海南400个政务便民服务站启动 政务新媒体:是“发布墙”更是 长沙首个24小时政务自助服务区 政府“云上发布”计划启动中「
关于我们 | 网站导航 | 广告服务 | 联系方式 | 投诉与建议 | 客户调查 | 会议接待 | 火车票查询 | 服务中心 | 推广中心
华正航空主营:机票,飞机票,特价机票,打折机票,深圳机票,深圳特价机票,机票预订,机票查询,酒店预订,特价酒店,出国签证,旅游线路查询。
华正航空旗下网站:华正商旅网 我行网 全程商务网 我要去哪旅行网 民航商务旅行网
24小时服务热线4006-888-999755-33333777服务监督电话:13808855476