WEBマーケティングのトータルサポートならディーエムソリューションズ株式会社
0120-934-226受付時間 平日9:00~18:00

「robots.txt によりブロックされましたが、インデックスに登録しました」の内容と解決方法(Google Search Console(グーグルサーチコンソール))

2023.06.14 2023.04.06 SEO相談室記事一覧
SEO歴16年、継続率90%以上の良質なSEO会社をお探しの方へ

SEOのアウトソーシングがはじめての人でも大丈夫!当社のSEOコンサルティングは、お客様に合わせて施策をカスタマイズするこだわりのサービスです。

SEOコンサルティングサービスを見る
このエントリーをはてなブックマークに追加

Search Consoleのページインデックス登録レポートで「robots.txt によりブロックされましたが、インデックスに登録しました」と表示され困っていませんか? エラーではありませんが警告として表示されていますので、SEOに悪い影響があるのではないか不安ですよね? ここでは、表示されてしまう原因と内容を解説し、対処方法を詳しく解説します。

誰でも簡単にSEO対策ができるIntimateSEO

ステータスタイプの内容について

それでは「robots.txt によりブロックされましたが、インデックスに登録しました」の内容について、確認していきましょう。

Search Consoleでは、[インデックス作成] > [ページ]から下記の画像のように表示されていると思います。

このステータスの内容について、GoogleのSearch Consoleヘルプには、下記のように記載されています。

robots.txt によりブロックされましたが、インデックスに登録しました
このページはウェブサイトの robots.txt ファイルによりブロックされましたが、インデックスに登録されています。Google は常に robots.txt の内容に従いますが、他のユーザーがページにリンクしている場合、必ずしもインデックス登録が回避されるわけではありません。Google がページをリクエストおよびクロールすることはありませんが、ブロックされているページにリンクしているページの情報を使用して、インデックスに登録する可能性があります。また、robots.txt ルールが原因で、Google 検索結果に表示されるこのページのスニペットの内容が非常に限られたものとなる可能性があります。

(引用)Search Console ヘルプ「ページのインデックス登録レポート

どのような意味なのでしょうか?

robots.txtでブロック(Disallow)しているにもかかわらず「ブロックしているページに対して、他のページやサイトからのリンクが“nofollow設定無し”で張られているため、インデックス登録をしました。」という意味です。

 

現在のページの状態が矛盾している状態

クローラにクロールさせたくないページ(robots.txtでDisallowしている)にもかかわらず、どこかのページからそのページへのリンクがあります。

そのページへのリンクがnofollowなどの設定なしにあるので、クローラはrobots.txtでDisallowしている場合、クロールしないようにしますが、そのページへのリンクがあるのでURLを認識してインデックスに登録してしまいます。

 

検索結果の表示状態

「robots.txt によりブロックされましたが、インデックスに登録しました」となってしまったページは、インデックス登録されているので検索結果に出てきます。

robots.txt で許可されていないページを他のサイトからリンクした場合、そのページはインデックスに登録される可能性がある
Google では、robots.txt ファイルでブロックされているコンテンツをクロールしたりインデックスに登録したりすることはありませんが、ブロック対象の URL がウェブ上の他の場所からリンクされている場合、その URL を検出してインデックスに登録する可能性はあります。そのため、該当の URL アドレスや、場合によってはその他の公開情報(該当ページへのリンクのアンカー テキストなど)が、Google 検索の検索結果に表示されることもあります。Google 検索の検索結果に特定の URL が表示されるのを確実に防ぐには、サーバー上のファイルをパスワードで保護するか、noindex meta タグまたはレスポンス ヘッダーを使用する、もしくは該当ページを完全に削除する必要があります。

(引用)Google 検索セントラル「robots.txt の概要とガイド

このようなページは、検索結果にどのように表示されるのでしょうか?

インデックスはされていますが、クローラはページをクロールしていないため、下記のように「このページの情報はありません。」とスニペットに表示されます。また、タイトルもURLが表示されるだけとなります。

クローラは、robots.txtによってブロックされているというのを尊重していますので、ページの中身はクロールしていません。したがって、このURLがインデックスされているだけで、タイトルもスニペットも生成されません。

ただし、該当ページへのリンクのアンカーテキストなどが、検索結果に表示されることもあります。

考えられる原因について

では、なぜrobots.txtでブロックしているのにインデックスに登録されてしまったのでしょうか?

前述したとおり、他のページ(内部リンク)や他のサイト(外部からのリンク)からnofollowなどの設定なしにリンクが張られているためです。

その他の原因として、本来インデックスするべきページをrobots.txtでブロックしてしまっているということも考えられます。

 

解決方法

それでは、「robots.txt によりブロックされましたが、インデックスに登録しました」の状態を解決するにどのようにしたらいいのでしょうか?

 

インデックスさせたくない場合

ページ内で普通にnofollowなども付けないでリンクしているのなら、robots.txtでブロックする必要もないでしょう。

どうしてもクロールさせたくない、検索結果にはインデックスもさせたくない、というページの場合ですと、そのページ自体にnoindexメタタグを設定することも検討してみてください。

また、本当に不要なページの場合は、該当ページを完全に削除することも検討してみてください。noindexメタタグについては、下記のページに詳細にまとめていますのでご参考にしてください。

インデックスさせたい場合

本来インデックスさせたいのにrobots.txtでブロックしていた場合は、robots.txtのDisallowを解除するだけです。

具体的な説明をするとDisallowに設定されている該当ページ部分を削除します。robots.txtについては、下記のページに詳細にまとめていますのでご参考にしてください。

「robots.txt によりブロックされましたが、インデックスに登録しました」についてのよくある質問

「robots.txt によりブロックされましたが、インデックスに登録しました」は修正する必要はありますか?

ページによります。

クロールして正しくインデックスしてほしいページなら、修正の必要があります。インデックス不要なページなら、修正しなくても問題はありません。

「対象のURLがrobots.txtでブロックされていますが、インデックスに登録しました。確認してください。」というお知らせです。ただ、あまりにも大量に発生している場合などは、原因を調査して、修正を検討していただいたほうが良いかもしれません。

 

「robots.txt によりブロックされましたが、インデックスに登録しました」のエラーは、どういうことでしょうか?

この警告は、robots.txtでブロックされたページを、別のページからのnofollowの設定がないリンクで発見し、インデックスに登録したことを示しています。つまり、robots.txtでブロックしているページにもかかわらず、そのページへのリンクがあるため、Googleはインデックスに登録してしまったということです。

ただ、クローラは、robots.txtによってブロックされているというのを重視していますので、ページの中身はクロールしていない状態です。したがって、このURLがインデックスされている状態というのは、検索結果には、URLが表示されるだけで、タイトルもスニペットも生成されない状態です。

まとめ

Search Consoleのページインデックス登録レポートで「robots.txt によりブロックされましたが、インデックスに登録しました」と表示された場合のステータス内容・原因・解決方法を解説しました。

「robots.txt によりブロックされましたが、インデックスに登録しました」は、ページが矛盾している状態にあることがおわかりいただけたかと思います。Search Consoleに表示されたからといって、必ずしも対応する必要はありません。

Search Consoleで「robots.txt によりブロックされましたが、インデックスに登録しました」が出てもあわてずに対応しましょう。

対応が難しい、原因がわからないなどございましたら、当社のSEOコンサルティングサービスでお手伝いできたら幸いです。

ここまで読んでいただきありがとうございました。

このエントリーをはてなブックマークに追加
The following two tabs change content below.
Avatar photo

digital-marketing

デジタルマーケティング研究所では、デジタルマーケティングの施策・広告・技術を、分析・実装・検証して、WEB担当者・マーケティング担当者の方の役立つ情報を発信していきます。
お役立ち資料ダウンロード
SNSでフォロー
問い合わせ数5倍 1,000社以上の実績
ウルロジ EC事業特化型 物流アウトソーシング
セルマーケ
月額3万円で始められるSEO対策なら「IntimateSEO」

今話題のAIによるコンテンツ自動生成機能も!SEO対策に本当に必要な機能だけを搭載した使いやすさとコストパフォーマンスに優れたWeb集客支援ツールです。


Contactお問い合わせ

Webマーケティングに関わる施策全般をワンストップで
ご提供します。
お気軽にご相談ください。

関連資料ダウンロードはこちら
サービスのお問い合わせはこちら

Webマーケティング最新ニュースのレポートや無料セミナーの先行案内が届く、お得なメルマガ配信中!

Webマーケティング最新情報をお届けするDMSメールマガジン
東京営業所
東京都武蔵野市御殿山1-1-3 クリスタルパークビル2F
電話番号 0422-77-1087 FAX番号 0422-57-2761
大阪営業所
大阪府大阪市北区堂島1丁目5-30 堂島プラザビル10F
電話番号 06-7176-3367 FAX番号 06-7176-3368
Copyright © 2024 DM SOLUTIONS Co.,Ltd. All rights reserved.