Googleサーチコンソールのクロールエラー対処法

2022.12.27 SEO相談室記事一覧

Googleサーチコンソールとは、Googleが無償で提供するWebツールで検索エンジン上（Google）の検索順位の監視・管理・改善を行う際に使用されるツールです。WebマーケティングにおけるSEO/SEM施策で必ずといっていいほど現場で目にするGoogleサーチコンソール。

そんなGoogleサーチコンソールが検索エンジン上のデータを収集する「クローリング（クロール）」でエラーが発生した場合、どのように対処すればいいのでしょうか。正しくWebサイトの効果測定・改善施策を行うためのGoogleサーチコンソールのクロールエラーへの対処法を解説します。

1 Googleサーチコンソールのクロールエラーは対処するべき？
2 クロールエラーの対処方法
3 注意点：エラーに対処してからエラー表示がなくなるには時間がかかる
4 クロールエラーに関するよくある質問
5 おわりに

Googleサーチコンソールのクロールエラーは対処するべき？

まず、そもそも論ではありますが、Googleサーチコンソールで発生するクロールエラーは対処したほうがいいのでしょうか。クロールエラーによって生じるWebサイトへの悪影響をみてみましょう。

クロールエラーを考える前に、クローリングとは何か？クローリングとは何の意味があるのか？について解説します。クローリングとは、サイト内のリンクを自動巡回プログラムが辿り、Webサイトの情報を収集することを指します。検索エンジンがGoogleの場合「Googlebot」、Bingの場合「bingbot」とクローラーには名前がついています。

クローリングという作業で自動的に収集したWebサイトのデータは、検索エンジン独自のデータベースに格納されます。この格納する作業のことを「インデックス」といいます。

そして、正しくインデックスされた膨大なデータの中から、検索ユーザーがネット検索した際に”検索ニーズをもっとも満たしている”と検索エンジンが判断した情報から順に検索画面に表示されるのです。

つまり、検索結果に表示されるためには、まずクローリングされていることが重要です。。クローリングされていない、またはクローリングの頻度や精度が悪いWebサイトはドメインパワーも上がりづらく、SEO流入を毀損しかねないというわけです。

クロールエラーの対処方法

WebマーケティングやSEO施策における「クローリング」は、日々正しくクローリングされているかチェックできていないWeb担当者も多いと思います。「新記事を掲載したら、都度GoogleサーチコンソールのURL検査でインデックス申請をしているから大丈夫なはず！」と慢心し、緻密なチェックが漏れている可能性もあります。

そうならないために、Webサイトでクロールエラーが起きていないかGoogleサーチコンソールで確認する方法、そして各主要なエラーに対しての対処法をまとめて解説します。

クロールエラーの確認方法

クロールエラーを確認するには、Googleサーチコンソールの画面左のバーの「インデックス」内の「カバレッジ」を開きます。すると右上に「最終更新日」と表示されていると思います。これは直近のクロールエラーチェックをした日にちです。

その下に表示されている「エラー」という項目がありますのでクリックをすると赤色に表示が切り替わります。この状態で、もしクロールエラーが発生していれば、さらにページ下に表示されている「詳細」の箇所にエラーが発生しているURLが一覧で表示されます。

ちなみに、Googleが発信するSearch Consoleヘルプ「インデックスカバレッジレポート」によると、「カバレッジ」に表示される各ステータス値の意味の定義は以下の通りとなります。

エラー：ページはインデックスに登録されていません。エラーの詳細と修正方法については、各エラータイプの説明をご確認ください。最初にこうした問題に集中する必要があります。
警告：ページはインデックスに登録されていますが、注意すべき問題があります。
除外：ページはインデックスに登録されていませんが、作成者の意図どおりと見なされます。たとえば、noindexディレクティブによって故意に除外されている場合や、すでにインデックス登録済みのサイトの正規ページと重複している場合などです。
有効：ページはインデックスに登録されています。

それではここからは、具体的にどのようなクロールエラーがあるのかについてご説明したいと思います。

※ Search Console ヘルプ「インデックスカバレッジレポート」

サーバーエラー（5xx）

サーバーエラー（5xx）は、Webサイトのサーバーに問題があると考えられるクロールエラーです。エラーのステータスコードとしては500番台のエラーにあたります。具体的にはどのようなことかというと、CGIプログラムの設定ミスや.htaccessの設定ミス、PHPなどのプログラムの構文ミス、サーバーへの負荷が増大している……などが原因として考えられます。

Search Consoleヘルプの「インデックスカバレッジレポート」によると、サーバーエラー（5xx）を解決するには、以下を確認した上で対策を行うことが推奨されています。

動的ページへのリクエストに伴う過剰なページ読み込みを減らす
ホスティングサーバーの停止、過負荷、設定ミスがないかどうかを確認する
Googleのクローラーを誤ってブロックしていないかどうか確認する
検索エンジンによるサイトのクロールとインデックス登録を適切に管理する

これらの手続きを一度確認したうえで、サーチコンソールの「URL検査ツール」に該当ドメインを入力し、インデックスカバレッジレポートでサーバーエラー（5xx）が改めて再現されるかチェックしましょう。

リダイレクトエラー

リダイレクトエラーとは、リダイレクト処理でエラーが発生している場合に表示されます。リダイレクトは、指定のWebサイトに来訪したユーザーを自動的に指定した別ページに転送する処理のことを指します。ドメインのSSL化（httpからhttpsへの移行）の時やページのURLが変更された時などに使われます。

URLが変更されたページでも、リダイレクトは使うことで、クローラーが変更したページのことをクロールすることができます。ページのURLが変わっても、リダイレクトの処理をクローラーに説明することができれば、SEOに影響を与えるドメインパワーが継続して引き継がれます。しかし、このリダイレクトが正しく設定されていないと、転送先のURLにクローラーが巡回することができないため、SEO効果は引き継がれずWebサイトへの流入数に悪影響を与えます。リダイレクトエラーが発生している場合は、リダイレクトが意図した通りになっているかを確認するようにしましょう。

Search Consoleヘルプの「インデックスカバレッジレポート」によると、リダイレクトエラーには「リダイレクトチェーンが長すぎる」「リダイレクトループが発生している」「リダイレクトURLが最終的にURLの最大長を超えている」「リダイレクトチェーンのURLが無効である」のタイプに分けられると説明されています。

送信されたURLがrobots.txtによってブロックされました

Googleサーチコンソール画面の「送信されたURLがrobots.txtによってブロックされました」のエラー表示

「送信されたURLがrobots.txtによってブロックされました」というクロールエラーは、sitemap.xmlに記載されたURLがrobots.txtの制御によってクロールができない状態になっていると考えられます。

例えばWordPress内の設定で「検索エンジンがサイトをインデックスしないようにする」をチェックした状態で記事を公開された時に発生することがあります。robots.txtはクローリングをしてもらう必要がないURLを巡回しないように制御することができます。このエラーが出ている場合は、robots.txtによって対象のページがクロールできないようになっている可能性があります。そのため、robots.txtのファイル設定を確認する必要があります。

robot.txtは本来的には、特にインデックスされる必要がないとされるURLに設定することで、より効率的で無駄のないクローリングを実現し、SEO効果を高めてもらうために設定します。

一方で、robots.txtで制御したURLは検索エンジンロボットがクロールできないので取り扱いに注意が必要です。この「送信されたURLがrobots.txtによってブロックされました」とエラーが出た場合は、robots.txtのファイルを確認しましょう。

以下の関連記事ではエラー内容の解説と対処方法を解説しておりますので、必要に応じて関連記事をご確認ください。

送信されたURLにnoindexタグが追加されています

サーチコンソールのエラー画面

「送信されたURLにnoindexタグが追加されています」というクロールエラーは、sitemap.xmlに記載されたURLのページに「noindex メタタグ」が記述されていることによって発生したエラーと考えられます。この場合、エラー対象ページのno indexが意図したものかどうかを確認しましょう。

no indexが意図した設定であれば、sitemap.xmlに記載されたURLを削除することでエラーが消える可能性があります。もし、no indexが意図した設定でなければ、対象ページのno index設定を外します。

以下の関連記事では詳細に解説しておりますので、必要に応じて関連記事をご確認ください。

送信されたURLはソフト404エラーのようです

ソフト404エラーは、コンテンツが存在しないページで404のステータスコードをサーバーから伝えるべきなのに、何らかの原因でサーバーが返すステータスコードが404になっていない状態です。

SEOとしてあまり影響がない場合もありますが、重大なサイトバグの兆候かもしれないので注意する必要があります。
ソフト404エラーを回避するためには、3つのケース別の対応が必要です。以下は対応の詳細です。

該当ページが利用できなくなっており、明確な代替ページが存在しない場合
404（未検出）または410（消滅した）のレスポンスコードを返す設定を行いましょう。
該当ページが移動された場合、または明確な代替ページが存在する場合
301（恒久的に移動した）リダイレクトの設定を行いましょう。
ページが誤ってソフト404として報告されていると思われる場合
サーチコンソールのURL検査ツールでレンダリングされたコンテンツと返されたHTTPコードを調べましょう。レンダリングされたページが空白か、ほとんど空白になる場合は読み込み不可のリソース（画像やスクリプトなど）を多く参照している可能性があります。

最後にどのケースでもURL検査ツールで、正しいコードを返しているかを確認するようにしてください。

送信されたURLが見つかりませんでした（404）

サーチコンソールの「送信されたURLが見つかりませんでした（404）」のエラー管理画面
404エラーとは「404 Not Found」とも呼ばれ、指定URLのページが存在しないことを示すエラーです。Webブラウザからサーバーにリクエストをしたところ、データが返ってこないときに表示されます。

404エラーはいくつかの対処の流れがあります。まずはじめに、404エラーに対処が必要かを判断します。Search Consoleヘルプによると、以下の場合は対処が必要です。

送信されたURLがエラーである場合
ページが削除されており、代わりのページや同じようなページがない場合

sitmap.xmlに記載されたURLに404となるページが存在することで、「送信されたURLがみつかりませんでした（404）」のエラーが発生している可能性があります。
そのため、sitemap.xmlに記載されたURLの中に404ページが存在していないかを確認しましょう。sitemap.xmlの中に404ページが存在している場合は、sitemap.xmlから対象URLを削除する必要があります。

より詳細な対処法を知りたい方は、Search Consoleヘルプ「インデックスカバレッジレポート」の404エラーの箇所の確認、もしくは以下の関連記事ではエラーの内容と対処法について解説しております。

送信されたURLのクロールに問題があります

「送信されたURLのクロールに問題があります」は、クローリング・インデックスの過程で正しくGooglebotがデータ収集できず、これまでに説明した6つのエラーにも該当しない場合に生じるエラーです。エラーの詳細は、サーチコンソールの「インデックスカバレッジ」で確認することができます。

「送信されたURLのクロールに問題があります」の場合のエラー内容はさまざまですので、一つひとつインデックスカバレッジで確認しながら、個別に対応を行ないましょう。

サイトの更新中で、クロールがうまくできなかったなどエラー内容は様々です。可能ならばサーバーログを見た上で、対象URLにGooglebotがアクセスしたときに、どんな挙動をしているかを確認しましょう。
この「送信されたURLのクロールに問題があります」は、検証をしても既に問題が改善されているケースもあり、Googleサーチコンソールのレポートが遅れている可能性もあります。

注意点：エラーに対処してからエラー表示がなくなるには時間がかかる

ここまで説明してきたクロールエラーの種類と対応方法についてですが、エラーの原因を対処したからといってすぐにエラー判定が消え、正常な状態になるかといったらそうではありません。

サーチコンソールのクロールエラー対応済みのレポート反映は、リアルタイムで行われるわけではありません。Webサイト多くのページにまたがる修正の場合、長いときには2〜3ヶ月ほどサーチコンソールへの反映に時間がかかることもあります。また「必ず1週間で反映される」と約束されたものではありませんので、事前に理解しておく必要があります。