黑板报

看看robots.txt，这是一个管理网络爬虫行为的良好的基于意志的社会契约，专家呼吁使用更严格的工具来管理人工智能爬虫(David Pierce/The Verge)

几十年来,robots.txt一直控制着网络爬虫的行为。但随着肆无忌惮的AI企业寻找越来越多的数据。