Google开放源代码的robots.txt解析器并向IETF提交了一份提案,将Robots Exclusion Protocol作为官方标准(Paul Sawers/VentureBeat)

谷歌希望把几十年前的机器人排除协议变成一个官方的互联网标准–它正在做自己的机器人。txt解析器开源作为推送的一部分。(REP)。

查看原文