攻防世界，Web：robots

1.解题过程：

进入场景没有任何东西，根据提示 robot 协议

查看在协议下防止被爬虫抓取的内容

 访问这个内容，得到 flag

2.知识点：

（1）网络爬虫：一个自动提取网页的程序 网络爬虫_百度百科

（2）robots.txt：一般放置于网站的根目录下，所以可以直接在URL后面添加访问

注：在前面的文章中我有总结过，可以参考一下

攻防世界，Web：Training-WWW-Robots_Part 02的博客-CSDN博客