AI 机器人与网站访问
为什么屏蔽机器人可能把你从 AI 的回答中抹去 - 以及哪些机器人真正重要。
两类机器人
AI 机器人分为两类,把它们混为一谈会让你损失可见度:
- 1引用型机器人在用户提问时访问网站。屏蔽它们意味着你真的会被排除在回答之外。
- 2训练型机器人收集内容用于训练模型。屏蔽它们并不会夺走引用 - 那是另一个决定,主要取决于你的立场。
屏蔽是从哪里来的
最常见的来源是 robots.txt 文件,或者主机商的安全设置 - 往往没有人是有意开启的。面板会显示究竟是什么在阻挡访问,以及需要改什么。