谷歌抓取了我的robots文件,是怎么回事?

谷歌对于txt pdf doc等文件都是会抓取的,这是正常现象,而且Robots文件是任何用户都可以访问的,没有隐私问题。

谷歌搜索“robots filetype:txt”,你会发现有很多robots文件被抓取。

我的也被google抓取收录了,这个应该是正常现象吧。


此文由《路飞网》编辑:首页 > 站长知识 > 谷歌抓取了我的robots文件,是怎么回事?
本文关键词:抓取,文件,robots
站长工具里面的百度流量这个参考值是怎么评估出来的?
新建新浪博客 默认文章秒收问题
猜你喜欢
热门关注排名