robots怎么生成 网站里的“robots”文件是什么意思？

网站里的“robots”文件是什么意思？搜索引擎爬去我们页面的工具叫做什么搜索引擎机器人，也生动形象的叫暗“蜘蛛”蜘蛛在爬去网站页面之前，会先去ftp连接网站根目录下面...