1、2网站robotstxt制作robotstxt是是搜索引擎爬取协议，也就是说你可以通过这个文件告诉搜索引擎，哪些目录不要爬去，一个网站的源码中包含了很多系统文件，而这些文件是不需要展示给用户看的，自然也不需要展示给搜索引擎看，如果你不进行引导，会让搜索引擎的蜘蛛把精力浪费在那些系统文件上，造成资源；同时也支持主...