温州网站建设公司须知Robots.txt文件是什么

robots.txt是搜索引擎看见的第一个文件，可以通过定义这个文件告诉搜索引擎哪些内容可以抓取、哪些内容不能抓取。

当一个搜索引擎访问网站的时候，首先查看网站根目录下有没有robots.txt这个文件，如果有，搜索引擎会按照robots.txt文件里面的指令抓取网站；如果没有，搜索引擎会沿着网站的链接进行抓取，这时抓取是没有规律的，不想让搜索引擎抓取的内容也有可能被抓取。