クローラーとは？SEOに必須なクローリングを最適にする方法

Webサイトやメディアのコンテンツを制作し、Google（検索エンジン）に表示されるようにするには、Googleからクローリングしてもらう必要があります。クローリングが正しく行われないと、Googleに表示されず、誰にも見られないコンテンツになってしまう……。

そんな、SEO施策で重要なクローリングについて、意味や仕組み・正常に動いているか確認する方法や改善方法をお伝えします。

クローラーとは？

クローラーとは、インターネット上に存在するあらゆるコンテンツ（Webサイトのテキストや画像・動画など）を検索エンジンのデータベースに格納するためにデータ収集する巡回プログラムのことをいいます。

そして、セットでよく使われる「クローリング」とは、このインターネット上のデータを巡回プログラムが収集する行為のことを指します。

正しくクローリングされないとSEO効果が得られない

このクローリングがなぜWebマーケティングにおいて重要かというと、”正しくクローリングされないと望ましいSEO効果が得られないため”です。Googleなどの検索エンジンは、あくまでデータベースに格納された情報をユーザーの検索ワードに合わせて表示させます。

そのため、正しくクローリングされていないと検索ユーザーの目に触れることなく、せっかく苦労してコンテンツを制作しても、ネット上に存在していないことになってしまうのです。

クローラーの仕組みについて

それでは、より理解度を高めるために、Google等の検索エンジンの仕組みという広い視点からクローラーの仕組みをみていきましょう。クローラーの立ち位置を把握するために、Googleで検索情報が表示される仕組みからご説明します。

検索表示はクローリングとインデックスの末に行われる

先ほども少し触れましたが、ユーザーの検索行為に合わせてGoogleで情報が表示されるには、まずクローリングが正しく行われる必要があります。クローリングは「巡回する」という表現通り、Webサイトの指定のページごとにクローリングするのではなく、同一Webサイト内のリンクを辿ってサイト内のページを移動して情報を取得します。

そして次に、クローリングで収集した情報をGoogleのデータベースに格納します。この格納するアクションを「インデックス」といいます。いわば、とても大きな収納棚にネット上のあらゆる情報をキレイに収納すること、とイメージするとよいでしょう。

ユーザーの検索ワードに合わせてデータベースから抽出・表示

データベースに格納されたWebサイトの情報には、それぞれスコアリングがされており、例えばHTML構造が崩れているサイトやスパムページやコピーコンテンツと判断されたWebサイトは低評価がつきます。

ユーザーが例えばGoogleの検索バーに「クローラー 意味」と入力し検索すると、ユーザーの検索課題・ニーズをもっとも満たすと判断された高評価のWebサイトのページが、上から順番に表示されます。

正確な意味の理解はいくつかありますが、概念的にはこの検索表示において、自社Webサイトと親和性の高いキーワードでGoogleの上位表示を狙う施策を「SEO施策」といいます。

そして、ユーザーの検索に合わせてWebサイトのページの順位を決めるロジック（論理・仕組み）を「検索アルゴリズム」といいます。なお、検索アルゴリズムは日々ユーザビリティを考慮してアップデートがなされており、正確な仕組みは公開されていません。

自社サイト・ページがクロールされているか確認する方法

このように、SEO流入を増やし、サイトのコンバージョンを高めるためにクローリングは必須事項です。では、自社サイトの各ページに対して、正しくクローリングされているか確認するには、どうしたらいいのでしょうか？ ここでは「site: での確認方法」と「Google Search Console での確認方法」についてご紹介します。

site: での確認方法

まず一つ目にご紹介するのが「site:」で確認する方法です。具体的にどのように確認するのかというと、Googleの検索バーに「site:」と入力し、続いて確認したいWebサイトのドメイン（TopディレクトリのURL）」を入力し検索します。

すると、入力したドメイン配下のWebページのうち、Googleに正しくクローリングされているWebページが一覧で表示されます。取り急ぎ確認したいWebページがある場合は、「site:（調べたいWebサイトのドメイン）」で確認し、ページタイトルを「Ctrl + F」でページ内検索にかけてみるのがよいでしょう。

Google Search Console での確認方法

二つ目の方法が「Google Search Console」で確認する方法です。Google Search Consoleとは、Googleが無償で提供するWebサイトの掲載順位を監視・管理・改善する際に便利なツール。Webサイトのマーケティング施策では、Google Analyticsなどと同様に必ずと言っていいほど活用されます。

Google Search ConsoleにログインしWebサイトを登録したら、画面左上の「URL検索」をクリックまたは画面上部の検索バーにクローリングされているか確認したいWebページのURLを入力し検索します。

すると、正しくクローリングされていない場合はその旨が、クローリングされている場合はその旨が画面中央に表示されます。Google Search Consoleはクローリングの確認以外にも、時系列別の検索パフォーマンスや検索クエリ・エラー数などを確認できますので、クローリングの確認も慣れておくと便利です。

自社サイト・ページがクロールされていない場合は…

では、クローリング状況を確認した後、自社サイトや指定のページが正しくクローリングされていないと分かった時はどうすればいいのでしょうか？ 次はクローリングされていない理由とその対処法について解説します。

考えられる5つの理由

あなたのWebサイトやページが、正しくクローリングされていない理由は、以下の5つのうちいずれかが考えられます。

新規ドメインであるため

新しいサイトページであることから、まだクローラーが巡回にきていないだけの可能性があります。

ペナルティを受けているため

Googleが提供する「ウェブマスター向けガイドライン」など、Webサイト・ページの品質に関するガイドラインに抵触している恐れがあります。

canonicalタグを設定しているため

同じWebサイト内にGoogleが重複コンテンツを判断するページがあり、どちらかのページが低評価を受けている可能性があります。

robots.txtでアクセス制限をしているため

Googleがクローリングする際、まずはじめにWebサイトの「robots.txt」ファイルを巡回します。このファイル内でクローリングを制限する指示が記載されている可能性があります。

noindex設定をしているため

HTMLファイルの部分にnoindex設定を記述している可能性があります。noindex設定を行うとクローリングが拒否されます。

このように、一概にクローリングが正しく行われていないといっても、いくつかの理由が考えられます。もし必要であれば、Googleにクローリング・インデックスされない原因と対策方法について、以下ページに詳しく解説していますので、こちらをご覧ください。

Googleにサイトがインデックスされない…原因と対策方法とは？

クローリングの精度を向上させる6つの方法

それでは最後に、クローリングを漏れなく精度高く行うための方法について解説したいと思います。ここでは、方法を6つに絞り、以下にご紹介します。「自社のWebサイトでまだ試していない！」という方は、ぜひ参考にしてトライしてみてください。

Google Search Consoleよりサイトマップを送信する

クローリングをGoogleにしてもらうには、クローリング・インデックスの申請を行う必要があります。新規コンテンツをWeb上にアップしたら、すぐにGoogle Search Consoleの画面左上「URL検査」より、クローリングの申請をしましょう。

クローリング申請は「URL審査」より、申請したいWebページのURLを入力し検索ボタンをクリック。WebページのURLがクローリング・インデックスされていない場合、その旨が表示されますので次に「インデックス申請する」をクリックします。

なお、「URL検査」からはクローリング・インデックス申請だけでなく、「AMPエラー」や「構造化データに関するエラー」「インデックス登録での問題」などのWebページ内のエラーの有無を確認することもできます。詳しくは以下ページをご覧ください。

Google Search Console(サーチコンソール)の登録・設定方法と使い方を徹底解説

サイトの構造（ディレクトリ構造）を見直す

Webサイトのディレクトリ構造を見直すこともクローリングの精度向上に効果的です。先ほどもご説明しましたが、クローリングはWebサイト内のリンクを辿り、プログラムが巡回する仕組みとなります。

ですから、Webサイト内のディレクトリ構造は整理されており論理的にクリアな構造であることが望ましいです。Webサイトのディレクトリ内に空のフォルダや重複したフォルダ・不要な階層はないかを確認しましょう。詳しくは以下ページをご覧ください。

SEOを意識したWebサイト設計（ディレクトリ構造）とは？

パンくずリストなどの内部リンクを設置する

パンくずリストとは、Webサイト内のどの階層のページを現在表示しているかを表示しているリストのことです。このパンくずリストは設置することで、クローラーのWebサイト内の巡回効率を高めます。これは、Webサイトを確認しに訪れたクローラーがパンくずリストがあることで、Webサイト内の構造を把握しやすくなるためです。

また、クローリングへの効果だけでなく、パンくずリストはユーザーへのユーザビリティを向上させ、SEOの検索結果画面にも表示されるので、SEO効果も期待できます。詳しくは以下ページをご覧ください。

パンくずリストとは？正しい設定方法とSEOとの関係性

アンカーテキストでリンクを設置する

アンカーテキストとは、WebページのHTMLファイル内のタグで囲まれた箇所のテキストのことです。アンカーテキストを文章中に用いることで、文章の一部にリンク設定を行うことができます。

アンカーテキストでリンクを設置することで、クローラーがリンク先の情報を理解しやすくなり、Webサイト内の巡回精度が高まります。巡回精度が高まることで、サイト内の評価に繋がりSEO効果が期待できるのです。詳しくは以下ページをご覧ください。

アンカーテキストとは？SEOの観点から有効な使い方について

ページネーションの設定をする

ページネーションとは、ページ分割とも呼ばれ、Webページのコンテンツ（記事など）をいくつかのページに分けて設定することです。長い記事を読んだ時、ページ下に「1. 2. 3」とページネーションが表示されていることをご覧になられたこともあるかと思います。

ページネーションを実際に利用するかは別として、設定をすることはクローリング精度向上に効果的です。なぜならば、ページネーションを設定していないと、クローラーから見ると”ページは無限にスクロールする必要がある”と判断され、Webページ情報を読み込む速度に悪影響を与えるためです。詳しくは以下ページをご覧ください。

ページネーションで記事を分割するメリットデメリット

外部リンクを獲得する

外部リンクとは、被リンクとも呼ばれ、外部のサイトに設置された自社WebサイトのURLのことをいいます。外部リンクが設置されることで、ユーザーの流入数が増えるのと同じようにクローラーも巡回しやすくなるため、クローリング精度向上に効果的です。

しかし、SEOのアルゴリズムのアップデートによって、スパムと判断される外部リンクの設置はペナルティを受ける可能性がありますので注意が必要です。あくまで、自然に設置されたナチュラルリンクを増やしていくようにしましょう。詳しくは以下ページをご覧ください。

外部リンク（被リンク）は全て危険？危険なリンクとナチュラルリンクの見分け方

おわりに

WebサイトのSEO効果を狙うにあたって、正しいクローリングを意識することは必須と言っても過言ではありません。記事でもご説明した通り、ユーザーの検索行為に合わせGoogleに情報が表示されるには、クローリングとインデックスが欠かせません。

解説したクローラーの意味や仕組み・改善方法を理解して、改善が必要な場合は自社Webサイトに活かしてみてください。