AIボットとサイトへのアクセス

2種類のボット

AIボットは2つのグループに分かれ、これを混同すると可視性を失います。

1. 1引用系のボット利用者が質問したときにサイトへ来ます。これをブロックすると、回答から実際に外れます。
2. 2学習系のボットモデルの訓練用にコンテンツを集めます。ブロックしても引用は失われません。主に考え方の問題としての別判断です。

ブロックはどこから来るのか

多くはrobots.txtか、誰も意識して有効にしていないホスティング側の防御機能です。管理画面は、何がアクセスを妨げていて何を変えるべきかを示します。