AI 机器人与网站访问

为什么屏蔽机器人可能把你从 AI 的回答中抹去 - 以及哪些机器人真正重要。

两类机器人

AI 机器人分为两类,把它们混为一谈会让你损失可见度:

  1. 1引用型机器人在用户提问时访问网站。屏蔽它们意味着你真的会被排除在回答之外。
  2. 2训练型机器人收集内容用于训练模型。屏蔽它们并不会夺走引用 - 那是另一个决定,主要取决于你的立场。

屏蔽是从哪里来的

最常见的来源是 robots.txt 文件,或者主机商的安全设置 - 往往没有人是有意开启的。面板会显示究竟是什么在阻挡访问,以及需要改什么。