WEBマーケティングのトータルサポートならディーエムソリューションズ株式会社
0120-934-226受付時間 平日9:00~18:00

Googleサーチコンソールのクロールエラー対処法

このエントリーをはてなブックマークに追加

Googleサーチコンソールのクロールエラー対処法

Googleサーチコンソールとは、Googleが無償で提供するWebツールで検索エンジン上(Google)の検索順位の監視・管理・改善を行う際に使用されるツールです。WebマーケティングにおけるSEO/SEM施策で必ずといっていいほど現場で目にするGoogleサーチコンソール。

そんなGoogleサーチコンソールが検索エンジン上のデータを収集する「クローリング(クロール)」でエラーが発生した場合、どのように対処すればいいのでしょうか。正しくWebサイトの効果測定・改善施策を行うためのGoogleサーチコンソールのクロールエラーへの対処法を解説します。

Googleサーチコンソールのクロールエラーは対処するべき?

まず、そもそも論ではありますが、Googleサーチコンソールで発生するクロールエラーは対処したほうがいいのでしょうか。クロールエラーによって生じるWebサイトへの悪影響をみてみましょう。

クロールエラーを考える前に、クローリングとは何か? クローリングとは何の意味があるのか?について解説します。クローリングとは、サイト内のリンクを自動巡回プログラムが辿り、Webサイトの情報を収集することを指します。検索エンジンがGoogleの場合「Googlebot」、Bingの場合「bingbot」とクローラーには名前がついています。

クローリングという作業で自動的に収集したWebサイトのデータは、検索エンジン独自のデータベースに格納されます。この格納する作業のことを「インデックス」といいます。

そして、正しくインデックスされた膨大なデータの中から、検索ユーザーがネット検索した際に”検索ニーズをもっとも満たしている”と検索エンジンが判断した情報から順に検索画面に表示されるのです。

つまり、検索結果に表示されるためには、まずクローリングされていることが重要です。。クローリングされていない、またはクローリングの頻度や精度が悪いWebサイトはドメインパワーも上がりづらく、SEO流入を毀損しかねないというわけです。

クロールエラーの対処方法

WebマーケティングやSEO施策における「クローリング」は、日々正しくクローリングされているかチェックできていないWeb担当者も多いと思います。「新記事を掲載したら、都度GoogleサーチコンソールのURL検査でインデックス申請をしているから大丈夫なはず!」と慢心し、緻密なチェックが漏れている可能性もあります。

そうならないために、Webサイトでクロールエラーが起きていないかGoogleサーチコンソールで確認する方法、そして各主要なエラーに対しての対処法をまとめて解説します。

クロールエラーの確認方法

クロールエラーの確認方法

クロールエラーを確認するには、Googleサーチコンソールの画面左のバーの「インデックス」内の「カバレッジ」を開きます。すると右上に「最終更新日」と表示されていると思います。これは直近のクロールエラーチェックをした日にちです。

その下に表示されている「エラー」という項目がありますのでクリックをすると赤色に表示が切り替わります。この状態で、もしクロールエラーが発生していれば、さらにページ下に表示されている「詳細」の箇所にエラーが発生しているURLが一覧で表示されます。

ちなみに、Googleが発信するSearch Consoleヘルプ「インデックス カバレッジ レポート」によると、「カバレッジ」に表示される各ステータス値の意味の定義は以下の通りとなります。

  • エラー:ページはインデックスに登録されていません。エラーの詳細と修正方法については、各エラータイプの説明をご確認ください。最初にこうした問題に集中する必要があります。
  • 警告:ページはインデックスに登録されていますが、注意すべき問題があります。
  • 除外:ページはインデックスに登録されていませんが、作成者の意図どおりと見なされます。たとえば、noindexディレクティブによって故意に除外されている場合や、すでにインデックス登録済みのサイトの正規ページと重複している場合などです。
  • 有効:ページはインデックスに登録されています。

それではここからは、具体的にどのようなクロールエラーがあるのかについてご説明したいと思います。

Search Console ヘルプ「インデックス カバレッジ レポート」

サーバーエラー(5xx)

サーバーエラー(5xx)は、Webサイトのサーバーに問題があると考えられるクロールエラーです。エラーのステータスコードとしては500番台のエラーにあたります。具体的にはどのようなことかというと、CGIプログラムの設定ミスや.htaccessの設定ミス、PHPなどのプログラムの構文ミス、サーバーへの負荷が増大している……などが原因として考えられます。

Search Consoleヘルプの「インデックス カバレッジ レポート」によると、サーバーエラー(5xx)を解決するには、以下を確認した上で対策を行うことが推奨されています。

  • 動的ページへのリクエストに伴う過剰なページ読み込みを減らす
  • ホスティング サーバーの停止、過負荷、設定ミスがないかどうかを確認する
  • Googleのクローラーを誤ってブロックしていないかどうか確認する
  • 検索エンジンによるサイトのクロールとインデックス登録を適切に管理する

これらの手続きを一度確認したうえで、サーチコンソールの「URL検査ツール」に該当ドメインを入力し、インデックス カバレッジ レポートでサーバーエラー(5xx)が改めて再現されるかチェックしましょう。

リダイレクトエラー

リダイレクトエラーとは、リダイレクト処理でエラーが発生している場合に表示されます。リダイレクトは、指定のWebサイトに来訪したユーザーを自動的に指定した別ページに転送する処理のことを指します。ドメインのSSL化(httpからhttpsへの移行)の時やページのURLが変更された時などに使われます。

URLが変更されたページでも、リダイレクトは使うことで、クローラーが変更したページのことをクロールすることができます。ページのURLが変わっても、リダイレクトの処理をクローラーに説明することができれば、SEOに影響を与えるドメインパワーが継続して引き継がれます。しかし、このリダイレクトが正しく設定されていないと、転送先のURLにクローラーが巡回することができないため、SEO効果は引き継がれずWebサイトへの流入数に悪影響を与えます。リダイレクトエラーが発生している場合は、リダイレクトが意図した通りになっているかを確認するようにしましょう。

Search Consoleヘルプの「インデックス カバレッジ レポート」によると、リダイレクトエラーには「リダイレクト チェーンが長すぎる」「リダイレクト ループが発生している」「リダイレクトURLが最終的にURLの最大長を超えている」「リダイレクト チェーンのURLが無効である」のタイプに分けられると説明されています。

送信されたURLがrobots.txtによってブロックされました

「送信されたURLがrobots.txtによってブロックされました」というクロールエラーは、sitemap.xmlに記載されたURLがrobots.txtの制御によってクロールができない状態になっていると考えられます。
例えばWordPress内の設定で「検索エンジンがサイトをインデックスしないようにする」をチェックした状態で記事を公開された時に発生することがあります。robots.txtはクローリングをしてもらう必要がないURLを巡回しないように制御することができます。このエラーが出ている場合は、robots.txtによって対象のページがクロールできないようになっている可能性があります。そのため、robots.txtのファイル設定を確認する必要があります。

robot.txtは本来的には、特にインデックスされる必要がないとされるURLに設定することで、より効率的で無駄のないクローリングを実現し、SEO効果を高めてもらうために設定します。

一方で、robots.txtで制御したURLは検索エンジンロボットがクロールできないので取り扱いに注意が必要です。この「送信されたURLがrobots.txtによってブロックされました」とエラーが出た場合は、robots.txtのファイルを確認しましょう。

送信されたURLにnoindexタグが追加されています

「送信されたURLにnoindexタグが追加されています」というクロールエラーは、sitemap.xmlに記載されたURLのページに「noindex メタタグ」が記述されていることによって発生したエラーと考えられます。この場合、エラー対象ページのno indexが意図したものかどうかを確認しましょう。
no indexが意図した設定であれば、sitemap.xmlに記載されたURLを削除することでエラーが消える可能性があります。もし、no indexが意図した設定でなければ、対象ページのno index設定を外す必要があります。

この「送信されたURLにno indexタグが追加されています」のエラーが出た場合は、対象ページのno indexが意図したものかどうかを確認しましょう。意図したものであれば、sitemap.xmlの記述を見直しをしましょう。意図したものでないならば、no indexを外す必要があります。

送信されたURLはソフト404エラーのようです

ソフト404エラーは、コンテンツが存在しないページで404のステータスコードをサーバーから伝えるべきなのに、何らかの原因でサーバーが返すステータスコードが404になっていない状態です。

SEOとしてあまり影響がない場合もありますが、重大なサイトバグの兆候かもしれないので注意する必要があります。
ソフト404エラーを回避するためには、3つのケース別の対応が必要です。以下は対応の詳細です。

  1. 該当ページが利用できなくなっており、明確な代替ページが存在しない場合
    404(未検出)または410(消滅した)のレスポンスコードを返す設定を行いましょう。
  2. 該当ページが移動された場合、または明確な代替ページが存在する場合
    301(恒久的に移動した)リダイレクトの設定を行いましょう。
  3. ページが誤ってソフト404として報告されていると思われる場合
    サーチコンソールのURL検査ツールでレンダリングされたコンテンツと返されたHTTPコードを調べましょう。レンダリングされたページが空白か、ほとんど空白になる場合は読み込み不可のリソース(画像やスクリプトなど)を多く参照している可能性があります。

最後にどのケースでもURL検査ツールで、正しいコードを返しているかを確認するようにしてください。

ソフト404とは?Search Consoleに通知がきた際の対処法

送信されたURLが見つかりませんでした(404)

404エラーとは「404 Not Found」とも呼ばれ、指定URLのページが存在しないことを示すエラーです。Webブラウザからサーバーにリクエストをしたところ、データが返ってこないときに表示されます。

404エラーはいくつかの対処の流れがあります。まずはじめに、404エラーに対処が必要かを判断します。Search Consoleヘルプによると、以下の場合は対処が必要です。

  • 送信されたURLがエラーである場合
  • ページが削除されており、代わりのページや同じようなページがない場合

対処が必要な場合の手続きの流れは、少し長くなってしまいますので、以下のSearch Consoleヘルプ「インデックス カバレッジ レポート」の404エラーの箇所をご確認ください。

Search Console ヘルプ「インデックス カバレッジ レポート」

sitmap.xmlに記載されたURLに404となるページが存在することで、「送信されたURLがみつかりませんでした(404)」のエラーが発生している可能性があります。
そのため、sitemap.xmlに記載されたURLの中に404ページが存在していないかを確認しましょう。sitemap.xmlの中に404ページが存在している場合は、sitemap.xmlから対象URLを削除する必要があります。

404エラー(not found)とは?エラーページの原因と対策方法

送信されたURLのクロールに問題があります

「送信されたURLのクロールに問題があります」は、クローリング・インデックスの過程で正しくGooglebotがデータ収集できず、これまでに説明した6つのエラーにも該当しない場合に生じるエラーです。エラーの詳細は、サーチコンソールの「インデックスカバレッジ」で確認することができます。

「送信されたURLのクロールに問題があります」の場合のエラー内容はさまざまですので、一つひとつインデックスカバレッジで確認しながら、個別に対応を行ないましょう。

サイトの更新中で、クロールがうまくできなかったなどエラー内容は様々です。可能ならばサーバーログを見た上で、対象URLにGooglebotがアクセスしたときに、どんな挙動をしているかを確認しましょう。
この「送信されたURLのクロールに問題があります」は、検証をしても既に問題が改善されているケースもあり、Googleサーチコンソールのレポートが遅れている可能性もあります。

注意点:エラーに対処してからエラー表示がなくなるには時間がかかる

ここまで説明してきたクロールエラーの種類と対応方法についてですが、エラーの原因を対処したからといってすぐにエラー判定が消え、正常な状態になるかといったらそうではありません。

サーチコンソールのクロールエラー対応済みのレポート反映は、リアルタイムで行われるわけではありません。Webサイト多くのページにまたがる修正の場合、長いときには2〜3ヶ月ほどサーチコンソールへの反映に時間がかかることもあります。また「必ず1週間で反映される」と約束されたものではありませんので、事前に理解しておく必要があります。

おわりに

Webサイトを運営し、その規模が大きくなってくるとサーチコンソールでクロールエラーの表示が出ることもあるでしょう。でも、もしクロールエラーと判定されてもけっして慌てずに確認をする必要があります。

記事でご紹介したように、クロールエラーにはいくつかの種類があり、それぞれに重要度や対応方法が異なります。Webサイトを修正してサーチコンソールに反映されるまでは、対応する範囲やアルゴリズムによって時間が異なりますが、落ち着いて丁寧にエラー解決の対応を進めていきましょう。

このエントリーをはてなブックマークに追加
The following two tabs change content below.
digital-marketing

digital-marketing

デジタルマーケティング研究所では、デジタルマーケティングの施策・広告・技術を、分析・実装・検証して、WEB担当者・マーケティング担当者の方の役立つ情報を発信していきます。
SNSでフォロー

Contact

Webマーケティングに関わる施策全般をワンストップでご提供します。
お気軽にご相談ください。

Webマーケティング最新情報をお届け
東京営業所
東京都新宿区西新宿1丁目6-1 新宿エルタワー3階
電話番号 03-6258-0911 FAX番号 0422-26-5610
大阪営業所
大阪府大阪市北区堂島1丁目5-30 堂島プラザビル10F
電話番号 06-6450-0010 FAX番号 06-6450-0015
Copyright © 2020 DM SOLUTIONS Co.,Ltd. All rights reserved.