WEBマーケティングのトータルサポートならディーエムソリューションズ株式会社
0120-934-226受付時間 平日9:00~18:00

「送信されたURLがrobots.txtによってブロックされました」のエラー内容と解決方法(Google Search Console(グーグルサーチコンソール))

2022.06.01 2022.06.01 SEO相談室記事一覧
このエントリーをはてなブックマークに追加

Search Consoleのインデックスカバレッジレポートで「送信されたURLがrobots.txtによってブロックされました」とエラーが出てしまい困っていませんか? ここでは、エラーの原因と内容を解説し、対処方法を詳しく解説します。

 

エラー内容について

それでは「送信されたURLがrobots.txtによってブロックされました」のエラー内容について、確認していきましょう。
Search Consoleでは、[インデックス] > [カバレッジ]から下記の画像のように表示されていると思います。

Googleサーチコンソール画面の「送信されたURLがrobots.txtによってブロックされました」のエラー表示

このエラー内容について、GoogleのSearch Consoleヘルプでは、下記のように記載されています。

送信された URL が robots.txt によってブロックされました: インデックスに登録するために送信したページが、robots.txt によってブロックされています。

(引用)Search Console ヘルプ. 「インデックス カバレッジ レポート

これだけでは分かりづらいので、以下でエラー内容を説明します。

どのような意味なのでしょうか?

このエラーを理解するには、言葉を分解して理解に努めるとよいでしょう。

まず「送信されたURL」とは、Search ConsoleでURLを直接送信、もしくはxmlサイトマップに記載されたURLを指します。これらは、URLの存在をGoogleに知らせることでクロールを促す意味合いがあります。そして「robots.txt によってブロック」は、クロールを許可もしくは不許可の制御が可能なrobots.txtファイルの中に、クロールを不許可する記述があることを示します。

分解した意味をつなげると「xmlサイトマップに記載されているURL一覧に、robots.txtファイルでクローラによるクロールが禁止されているディレクトリまたはページがあります」という意味になります。

つまり、Googleにインデックス登録を依頼したにもかかわらず、robots.txtでディレクトリまたはページをクロールしないように設定されていて、クローラがページの内容を読み取ることができないときに表示されるエラーです。

考えられる原因について

なぜ「送信されたURLがrobots.txtによってブロックされました」のエラーが出るのでしょうか?

様々な原因が考えられますが、代表的な原因は下記が挙げられます。

  • CMSでサイトを作成している場合、意図せずtxtにクロール禁止の設定がされてしまっている
  • robots.txtに本来クロールすべきディレクトリまたはページを誤って設定している
  • サイトマップにクロールをブロックしているディレクトリまたはページを記載している

原因を突き止める方法と解決方法を次に説明します。

解決方法

「送信されたURLがrobots.txtによってブロックされました」のエラーを解決する方法を説明していきます。このエラーの原因を突き止めるうえで理解が必要なrobots.txtは、詳細にまとめたページもご参考にしてください。

デジ研「robots.txt(ロボッツテキスト)とは? 正しい記述方法を徹底解説」

まずはエラーの問題が発生しているURLを確認しましょう。

問題が発生しているURLの確認

まずは、問題が発生しているURLを確認しましょう。

Search Consoleの[インデックス] > [カバレッジ]の順に表示すると下記のようにカバレッジの詳細が表示されます。

Googleサーチコンソール画面の「送信されたURLがrobots.txtによってブロックされました」のエラー表示

「送信されたURLがrobots.txtによってブロックされました」のエラー項目をクリックすると該当するURLが表示されます。

「送信されたURLがrobots.txtによってブロックされました」のエラー項目をクリックしたときの該当URL

こうして該当するエラーのURLを抽出した上で、対応方針を決めていきます。

修正の前に確認しておくこと

エラーとなったURLは、意図的にブロックしているのか、意図せずCMSなどの設定でブロックされてしまったのかによって必要な対応が異なります。

 

­ 意図的にブロックしている場合

テストページの作成などで、まだクロールされたくないディレクトリまたはページを意図的にブロックし、設定を消し忘れていた場合、robots.txtの設定でブロックしているディレクトリまたはページを削除してください。

引き続きクロールされたくないディレクトリまたはページであれば、サイトマップから該当のURLを削除し、robots.txtのブロックの設定は、そのままにしてください。

­ 意図せずブロックの設定されてしまった場合

意図せずCMSなどの設定で、クロールしてほしいディレクトリまたはページにブロックの設定がされてしまうこともあります。その場合、CMSの設定で該当URLをブロックしないよう設定してください。

該当URLの修正

それでは、問題の起きているURLを修正していきましょう。ここでは、CMS(Wordpress)の設定とrobots.txtの記載、xmlサイトマップの修正方法を紹介します。

­ CMS(WordPress)の検索エンジン向けの設定を修正する

CMSの設定でクローラによるクロールをブロックする設定になっている。気がつかないうちにこの設定を変更してしまっていないか確認しましょう。

WordPressの場合

[設定] > [表示設定] > [検索エンジンでの表示設定] から設定にチェックが入っていないことを確認しましょう。

ここにチェックを入れると、クロールをブロックする設定になります。

wordpressの検索エンジン向けの設定箇所
 

­ robots.txtの記載を修正する

まずは、robots.txtの中身を確認しましょう。
下記のようなURLをブラウザに直接打ち込んでみてください。

https://(サイトのURL)/robots.txt

robots.txtが設置されている場合、サイトによってさまざまですが、下記のような文字が表示されます。

robots.txtファイルのサンプル

ここで確認していただきたいのは、Disallow(禁止)の設定です。

ここにSearch Consoleで問題が発生しているURLが記載されていないか、確認してください。
記載されていて、そのURLをクローラにクロールしてほしい場合は、そのURLのDisallowの記述を削除してください。

引き続きクロールしてほしくない場合は、記述は削除しないでください。

­ xmlサイトマップの記載を削除する

サイトマップにSearch Consoleで問題が発生しているURLが記載されていないか、確認してください。
サイトマップには、robots.txtでクロールをブロックしているURLを記載してはいけません。
記載されている場合は、サイトマップから該当URLを削除してください。

「送信されたURLがrobots.txtによってブロックされました」のエラーは、ほとんどのケースでrobots.txtでブロックしているURLが、なんらかのきっかけでサイトマップに記載されてしまっていることが原因として考えられます。

修正後、robots.txtテスターで確認する

修正した後は、正しく反映されているかをrobots.txtテスターでチェックします。robots.txtテスターでは該当URLに対してクローラがブロックされているかどうかを確認できます。

ブロックされたURLをrobots.txtテスターで確認

エラーとして表示されているURLをクリックすると、ツールのサイドパネルが展開されます。

[ROBOTS.TXTによるブロックをテスト]をクリックすると、robots.txtテスターが実行され、そのURLがブロックされているか確認することができます。

robots.txtテスターの確認内容

クローラがクロールできない状態の場合、「テスト」ボタンが「ブロック済み」というメッセージになります。

ブロック済みとなったrobots.txtテスターのメッセージ

クローラがアクセスできる場合は、「許可済み」というメッセージが表示されます。

許可済みとなったrobots.txtテスターのメッセージ

ここでは、robots.txtテスターについての詳細な解説は、省略させていただきます。詳しい使い方などは、Search Console ヘルプをご覧ください。

⇒Search Console ヘルプ「robots.txt テスターで robots.txt をテストする

ウェブホスティングサービスを利用していて、robots.txtの編集権限がない場合、ご利用のサービスのヘルプセンターにrobots.txtを編集したい旨を問い合わせてみてください。

「送信されたURLがrobots.txtによってブロックされました」についてのよくある質問

意図的にrobots.txtでブロックしているURLが「送信されたURLがrobots.txtによってブロックされました」とエラーになっています。どのように対処したらよいでしょうか?

おそらくrobots.txtでブロックしているURLがサイトマップに記載されていないでしょうか? サイトマップには、robots.txtでブロックしているURLを記載しないようにしてください。

「送信されたURLがrobots.txtによってブロックされました」のエラーは、どういうことでしょうか?

サイトマップなどでGoogleにインデックス登録を依頼したにもかかわらず、そのURLがrobots.txtによってブロックされ、クローラがクロールできないときに表示されるエラーです。

まとめ

Search Consoleのカバレッジで「送信されたURLがrobots.txtによってブロックされました」とエラーが表示された場合のエラー内容・原因・解決方法を解説しました。

ほとんどのケースで、サイトマップのURL一覧に記載されているディレクトリまたはページがrobots.txtでブロックされていることが原因かと思われます。

原因は必ずどこかにあるので、Search Consoleでエラーが出てもあわてずにひとつずつ確認し修正しましょう。

 

ここまで読んでいただきありがとうございました。

 

このエントリーをはてなブックマークに追加
The following two tabs change content below.

digital-marketing

デジタルマーケティング研究所では、デジタルマーケティングの施策・広告・技術を、分析・実装・検証して、WEB担当者・マーケティング担当者の方の役立つ情報を発信していきます。
お役立ち資料ダウンロード
SNSでフォロー

問い合わせCTA

ウルロジ誘導CTA_900

セルマーケ

SEO歴16年、継続率90%以上の良質なSEO会社をお探しの方へ

SEOのアウトソーシングがはじめての人でも大丈夫!当社のSEOコンサルティングは、お客様に合わせて施策をカスタマイズするこだわりのサービスです。


Contactお問い合わせ

Webマーケティングに関わる施策全般をワンストップで
ご提供します。
お気軽にご相談ください。

関連資料ダウンロードはこちら
サービスのお問い合わせはこちら

Webマーケティング最新ニュースのレポートや無料セミナーの先行案内が届く、お得なメルマガ配信中!

Webマーケティング最新情報をお届けするDMSメールマガジン
東京営業所
東京都新宿区西新宿1丁目6-1 新宿エルタワー3階
電話番号 03-6374-1393 FAX番号 0422-57-2761
大阪営業所
大阪府大阪市北区堂島1丁目5-30 堂島プラザビル10F
電話番号 06-7176-3367 FAX番号 06-7176-3368
Copyright © 2022 DM SOLUTIONS Co.,Ltd. All rights reserved.