「robots.txt によりブロックされましたが、インデックスに登録しました」の内容と解決方法（Google Search Console（グーグルサーチコンソール））

2023.06.14 SEO相談室記事一覧

Search Consoleのページインデックス登録レポートで「robots.txt によりブロックされましたが、インデックスに登録しました」と表示され困っていませんか？エラーではありませんが警告として表示されていますので、SEOに悪い影響があるのではないか不安ですよね？ここでは、表示されてしまう原因と内容を解説し、対処方法を詳しく解説します。

1 ステータスタイプの内容について
2 どのような意味なのでしょうか？
- 2.1 現在のページの状態が矛盾している状態
3 検索結果の表示状態
4 考えられる原因について
5 解決方法
- 5.1 インデックスさせたくない場合
- 5.2 インデックスさせたい場合
6 「robots.txt によりブロックされましたが、インデックスに登録しました」についてのよくある質問
- 6.1 「robots.txt によりブロックされましたが、インデックスに登録しました」は修正する必要はありますか？
- 6.2 「robots.txt によりブロックされましたが、インデックスに登録しました」のエラーは、どういうことでしょうか？
7 まとめ

ステータスタイプの内容について

それでは「robots.txt によりブロックされましたが、インデックスに登録しました」の内容について、確認していきましょう。

Search Consoleでは、［インデックス作成］＞［ページ］から下記の画像のように表示されていると思います。

このステータスの内容について、GoogleのSearch Consoleヘルプには、下記のように記載されています。

robots.txt によりブロックされましたが、インデックスに登録しました
このページはウェブサイトの robots.txt ファイルによりブロックされましたが、インデックスに登録されています。Google は常に robots.txt の内容に従いますが、他のユーザーがページにリンクしている場合、必ずしもインデックス登録が回避されるわけではありません。Google がページをリクエストおよびクロールすることはありませんが、ブロックされているページにリンクしているページの情報を使用して、インデックスに登録する可能性があります。また、robots.txt ルールが原因で、Google 検索結果に表示されるこのページのスニペットの内容が非常に限られたものとなる可能性があります。

（引用）Search Console ヘルプ「ページのインデックス登録レポート」

どのような意味なのでしょうか？

robots.txtでブロック（Disallow）しているにもかかわらず「ブロックしているページに対して、他のページやサイトからのリンクが“nofollow設定無し”で張られているため、インデックス登録をしました。」という意味です。

現在のページの状態が矛盾している状態

クローラにクロールさせたくないページ（robots.txtでDisallowしている）にもかかわらず、どこかのページからそのページへのリンクがあります。

そのページへのリンクがnofollowなどの設定なしにあるので、クローラはrobots.txtでDisallowしている場合、クロールしないようにしますが、そのページへのリンクがあるのでURLを認識してインデックスに登録してしまいます。

検索結果の表示状態

「robots.txt によりブロックされましたが、インデックスに登録しました」となってしまったページは、インデックス登録されているので検索結果に出てきます。

robots.txt で許可されていないページを他のサイトからリンクした場合、そのページはインデックスに登録される可能性がある
Google では、robots.txt ファイルでブロックされているコンテンツをクロールしたりインデックスに登録したりすることはありませんが、ブロック対象の URL がウェブ上の他の場所からリンクされている場合、その URL を検出してインデックスに登録する可能性はあります。そのため、該当の URL アドレスや、場合によってはその他の公開情報（該当ページへのリンクのアンカーテキストなど）が、Google 検索の検索結果に表示されることもあります。Google 検索の検索結果に特定の URL が表示されるのを確実に防ぐには、サーバー上のファイルをパスワードで保護するか、noindex meta タグまたはレスポンスヘッダーを使用する、もしくは該当ページを完全に削除する必要があります。

（引用）Google 検索セントラル「robots.txt の概要とガイド」

このようなページは、検索結果にどのように表示されるのでしょうか？

インデックスはされていますが、クローラはページをクロールしていないため、下記のように「このページの情報はありません。」とスニペットに表示されます。また、タイトルもURLが表示されるだけとなります。

クローラは、robots.txtによってブロックされているというのを尊重していますので、ページの中身はクロールしていません。したがって、このURLがインデックスされているだけで、タイトルもスニペットも生成されません。

ただし、該当ページへのリンクのアンカーテキストなどが、検索結果に表示されることもあります。

考えられる原因について

では、なぜrobots.txtでブロックしているのにインデックスに登録されてしまったのでしょうか？

前述したとおり、他のページ（内部リンク）や他のサイト（外部からのリンク）からnofollowなどの設定なしにリンクが張られているためです。

その他の原因として、本来インデックスするべきページをrobots.txtでブロックしてしまっているということも考えられます。

解決方法

それでは、「robots.txt によりブロックされましたが、インデックスに登録しました」の状態を解決するにどのようにしたらいいのでしょうか？

インデックスさせたくない場合

ページ内で普通にnofollowなども付けないでリンクしているのなら、robots.txtでブロックする必要もないでしょう。

どうしてもクロールさせたくない、検索結果にはインデックスもさせたくない、というページの場合ですと、そのページ自体にnoindexメタタグを設定することも検討してみてください。

また、本当に不要なページの場合は、該当ページを完全に削除することも検討してみてください。noindexメタタグについては、下記のページに詳細にまとめていますのでご参考にしてください。

⇒「noindexとnofollowの違いとSEOで正しい使い方とは」

インデックスさせたい場合

本来インデックスさせたいのにrobots.txtでブロックしていた場合は、robots.txtのDisallowを解除するだけです。

具体的な説明をするとDisallowに設定されている該当ページ部分を削除します。robots.txtについては、下記のページに詳細にまとめていますのでご参考にしてください。

⇒「robots.txt（ロボッツテキスト）とは？正しい記述方法を徹底解説」

「robots.txt によりブロックされましたが、インデックスに登録しました」についてのよくある質問

「robots.txt によりブロックされましたが、インデックスに登録しました」は修正する必要はありますか？

ページによります。

クロールして正しくインデックスしてほしいページなら、修正の必要があります。インデックス不要なページなら、修正しなくても問題はありません。

「対象のURLがrobots.txtでブロックされていますが、インデックスに登録しました。確認してください。」というお知らせです。ただ、あまりにも大量に発生している場合などは、原因を調査して、修正を検討していただいたほうが良いかもしれません。

「robots.txt によりブロックされましたが、インデックスに登録しました」のエラーは、どういうことでしょうか？

この警告は、robots.txtでブロックされたページを、別のページからのnofollowの設定がないリンクで発見し、インデックスに登録したことを示しています。つまり、robots.txtでブロックしているページにもかかわらず、そのページへのリンクがあるため、Googleはインデックスに登録してしまったということです。

ただ、クローラは、robots.txtによってブロックされているというのを重視していますので、ページの中身はクロールしていない状態です。したがって、このURLがインデックスされている状態というのは、検索結果には、URLが表示されるだけで、タイトルもスニペットも生成されない状態です。