🐍 robots.txt 与合规

46.7 robots.txt 与合规

网站根目录 /robots.txt 声明允许/禁止爬取的路径。

不爬登录后私人数据；不用于商业侵权；学习用公开测试站如 httpbin.org。