Troubleshoot
robots.txt が Googlebot をブロックしている
最終更新: 2026-04-25
症状
Search Console で「robots.txt によりブロック」と表示されている
- /robots.txt に Disallow: / が残っている
- 個別ページが一切クロールされない
想定される原因
- 1
ステージング用の robots が本番に混入
デプロイ時に上書き漏れ。
- 2
Basic 認証 / IP 制限
Googlebot も 401 / 403 を返される。
対処手順
- Disallow: / を削除、必要なら /admin/ など個別に
- Basic 認証は本番では外す(または Googlebot IP を例外)
- Search Console でクロール再要求