Fetch as Googleとは？サイトを効率良くクロールさせるFetch as Googleの使い方

Web制作会社に勤める方や、会社のWeb運用担当の方であれば誰でも聞いたことがある「クロール」。掲載順位を上位表示する指標の一つに「更新頻度」があると言われています。ページの内容を変更する際に、必ずやっておくべきアクションとして、Fetch as Googleによるクロールを行うことが推奨されています。

そこで、今回はGoogleが提供しているFetch as Googleについて詳しくご紹介していきます。

サイトを作ったのにGoogleで検索されない…

このようなこと、起きて困ったことありませんか？

実は、このようなことが起きた場合、WebサイトがGoogleなどの検索エンジンがうまく認識していないことで起こっている可能性があります。

検索エンジンは、独自のアルゴリズムによって制作されたWebサイトを認識し、インデックスすることで初めて検索結果に表示されるようになるのです。クロールは自動的に行われますが、それをリクエストしてくれる機能が「Fetch as Google」です。このFetch as Googleについて詳しく見ていきましょう。

Fetch as Googleとは

Googleを初めとする検索エンジンは、検索結果に表示させるために、クローラーというプログラムを利用して自動的に制作されたWebサイトや、更新されたWebサイトをクロールし、Webサイトが発信している情報を取り込む、つまりインデックスします。そして、このインデックスした情報を基にユーザーが検索したキーワードとの関連を算出し、検索したユーザーの画面に結果を表示しています。

しかし、この検索エンジンがサイトをクロールするタイミングは、Webサイトが完成した時や、サイトが更新されたタイミングで行われるわけではなく、検索エンジンのプログラムによって決まっています。

そのため、自分のサイトを制作した場合にも、すぐにGoogleやYahoo!などの検索結果に表示はされません。検索エンジンが、サイトをクロールしてから、検索順位に表示されます。

そこで有効になるのが、Fetch as Googleです。Fetch as Googleは、使用することによって、検索エンジンが自動的にクロールするのを待たずに、こちらからクロールのリクエストすることできるのです。これにより、Webサイト制作後やWebサイトの更新後のインデックスを早めることが出来るため、検索順位に表示されるのを早めることができるため、WEBマーケティングを行いたい際には必須のツールとなっています。

また、このFetch as Googleはクロールするだけではなくレンダリングの方法をテストすることが出来ます。レンダリングとは、htmlやCSS、JavaScriptなどによって生成されたWebサイトのデータを、パソコンやスマートフォン上のブラウザで画面・画像として表示することです。

通常、Webサイトを制作した場合には、制作しているソフトや制作者のブラウザによって画面を確認しながら制作しますが、制作後に完成されたWebサイトが、人間からの見た目だけではなく、検索エンジンがどのように見えているかを確認することが必要です。その理由としては、検索エンジンからの見え方によって、検索順位が思うように上がらなかったり、パソコンやスマートフォン用に制作したWebサイトのレイアウトが崩れて見えてしまったりと想定外の事が起こりえる可能性があります。

そのため、Fetch as Googleでは、クロール機能のほかに、レンダリングの方法をテストすることが出来るようになっています。

検索エンジンのクロール頻度

検索エンジンが自動的にサイトをクロールするとお話をしましたが、検索エンジンははいつ、どのようなタイミングでクロールを行っているのでしょうか。実は、Googleのアルゴリズムは公開されていないため、検索エンジンの正確なクロール頻度はわかりません。

しかし、多くの技術者やマーケティングを行っている方々の見解を見ていくと、クロール頻度は定期的や公平に行われているわけではなく、サイトごとにクロールされる頻度も異なることが分かります。

人気のあるWebサイトや、更新頻度が高いWebサイトにおいては、クロール回数が1日に何回も行われることや、更新頻度が低いWebサイトや制作したばかりでユーザーのアクセスが少ないWebサイトにおいては数日に1回というようなペースでクロールしていることがあります。このことから、クロール回数はハッキリとは読み取れませんが、更新頻度が高く、人気のあるWebサイトではクロール回数が多く、逆に人気のないWebサイトにはクロール回数が少ないと考えられます。

そうなった場合、制作したばかりのWebサイトや、更新が少ないWebサイトにおいては、検索エンジンのクロールを待っていると数日かかってしまうため、Fetch as Googleを利用して、クロールをリクエストすることが望ましいです。

また、更新した場合や制作したばかりの時だけではなく、ページを追加しても検索エンジンになかなかインデックスされなかったり、URLを変更した場合であったり、ページを削除した場合などにも利用すると良いでしょう。

Fetch as Googleの機能

では、ここからは、Fetch as Googleの機能をご紹介していきます。

Fetch as Googleの機能は大きく分けて以下の３つがあります。

• Googleへのインデックスをリクエスト
• レンダリング方法のテスト
• HTTPレスポンスの確認

それぞれ、細かく見ていきましょう。

Googleへのインデックスをリクエスト

Googleの検索結果に反映させるためには、Googleにインデックス化させることが必要です。そのインデックス化を行ってくれるのがGoogleのクロールというプログラムです。

Googleでは、クロールについて以下のように説明しています。

クロールとは、Google に追加する新しいページや更新されたページを検出するプロセスです（「Google により、ウェブサイトがクロールされる」というように使います）。Google のクロール エンジンの 1 つがページをクロール（リクエスト）します。

引用元：Search Consoleヘルプ　

つまり、Googleが制作されたWebサイトを認識することや、制作したページを見つけ新しいページとしてGoogle上で登録してもらうためにはGoogleのクロールにより発見してもらう必要があります。

それらを行うリクエストをすることがFetch as Googleでは出来るようになっています。

レンダリング方法のテスト

次に、Fetch as Googleは、レンダリング方法のテストを行うことが出来ます。

Webサイトを制作した場合、Googleは何もしなくてもクロールとレンダリングを行ってくれますが、Fetch as Googleによってレンダリングの実行をシミュレーションすることが出来ます。シミュレーションするとどのような利点があるかと言うと、サイト上で正しくレンダリングされるか、クロールに関する問題が無いかなどを確認することが出来ます。

また、シミュレーションにはスマートフォン用、PC用、ガラケー用など選択することが出来るため、それぞれの用途に合わせてシミュレーション・テストを行うことが出来ます。

HTTPレスポンスの確認

制作されたWebサイトはWebブラウザによって表示されますが、その表示されるまでにはブラウザからWebサーバに対してページを表示するためのファイルをリクエストしています。そのリクエストに対してWebサーバ側はブラウザが要求しているファイルを提供し、ブラウザで表示されることによって人間がWebサイトを見ることが出来るようになっています。

このブラウザ側からの要求に対してWebサーバ側が行う回答を「HTTPレスポンス」と言います。HTTPレスポンスの確認というのは、そのWebサーバ側から来た回答を確認することで、Webページが正しく表示されるようになっているかなどを確認することが出来ます。

HTTPレスポンスでは、以下のような部品から成り立っています。

• HTTPステータスライン（ステータスライン）
• HTTPレスポンスヘッダ（ヘッダ）
• HTTPレスポンスボディ（レスポンスボディ）

これらを確認することによって、ユーザーが検索した際に、どのようなページで、何を返しているかを確認することが出来るため、うまくページが表示されない場合にも、何が原因になって表示されないのかを突き止めるきっかけにすることが出来ます。

 
このように、Fetch as Googleでは、「Googleへのインデックスをリクエスト」「レンダリング方法のテスト」「HTTPレスポンスの確認」といった3つの機能を利用することが出来ます。

どのような時に利用すべきなのか

では、それぞれどのようなシーンすべきなのか見ていきます。

Webサイトを新規で制作したとき

Webサイトを新規で制作した場合には、すぐにGoogleがクロールしてくれるわけではないため、Fetch as Googleを使用してインデックスのリクエストすることが望ましいです。また、その際にクローラがしっかりとWebサイトの情報を読み取っているかを確認することにも有効的です。

Webページを更新したとき

Webサイトを制作した時と同じように、更新した時にも利用すると良いでしょう。Googleの検索結果の順位の指標の一つに「更新頻度」があると言われています。更新した時にもクロールしてくれるようにリクエストすると良いでしょう。

Webページを追加・削除したとき

Webページを追加・削除した時にGoogleがクロールしてくれるわけではありません。情報が古いWebサイトをGoogleがまだ認識している可能性があるため、クロールをリクエストすると良いでしょう。

Fetch as Googleの使い方

では、Fetch as Googleの使い方について見ていきます。

大まかな使い方は、以下の手順となります。

取得をする

まず、Search Consoleを開き、取得したいサイトを選択します。

 
次に、画面左の「Fetch as Google」をクリックして開きます。

 
そして、赤枠内にFetch as Googleを行いたいページのURLを入力します。

 
入力したURLの横にあるGooglebotの種類を選択します。

それぞれ種類は以下の通りです。

PC	パソコンで見た場合
モバイル・スマートフォン	スマホで見た場合

 
最後に、「取得」または「取得してレンダリング」をクリックします。
（こちらの違いについては後述します。）

インデックスを送信する

まず、取得が完了したものから「インデックスに送信」をクリックします。

 
次に、再クロール対象を選択します。通常は「このURLのみをクロールする」を選択します。

 
最後に、送信をクリックします。「インデックスに送信されたURL」となれば完了です

レンダリングする

まず、取得が完了したURLの「レンダリング」タブをクリックします。

 
クリックすると下記のような画面になりますので、レンダリングの内容やリソース確認を行います。

 
このように、Fetch as Googleはとても使いやすく、簡単な操作で設定することが出来ます。
ただし、前提条件として、Google Search Consoleに対象となるWebサイトを登録しておくことが必要となるため、Google Analyticsの登録と合わせて、Webサイト制作時には登録しておくと良いでしょう。

月の利用回数について

今までFetch as Googleは、月に500件クロールすることが出来ましたが、現在では、1日10件となっています。通常利用する「このURLのみをクロールする」では、10件となっていますが、「このURL と直接リンクをクロールする」では、1日につき2件までとなっているため、無駄に利用しないために注意が必要です。

「取得」と「取得してレンダリング」の違い

「取得」と「取得してレンダリング」の違いを見ていきましょう。

取得

クローラに制作または更新したWebサイトのhtmlを読み込んでもらいたい場合には「取得」をクリックします。この場合は、取得するだけでレンダリングは行われません。

取得してレンダリング

取得後にレンダリングし、htmlがどのように読み込まれており、画面上でどのような表示になるかを確認したいときには、取得してレンダリングをクリックします。

「URLのみクロール」と「URLと直接リンクをクロール」の違い

クロールする際の「URLのみクロール」と「URLと直接リンクをクロール」にはどのような違いがあるのでしょうか。違いについて見ていきましょう。

URLのみクロール

URLのみクロールは、単純にそのページのみをクロールしてほしい時に使います。そのため、一般的にはこの「URLのみクロール」を使用します。

URLと直接リンクをクロール

URLと直接リンクをクロールは、更新または制作されたWebページと、それにリンクしているすべてのWebページをクロールしてほしい時に使用します。そのため、1日に利用できる回数は少ないですが、全てのWebページをクロールしてほしい時には、こちらを使用すると良いでしょう。

おわりに

ここまで、Fetch as Googleについて詳しくご紹介してきました。
Fetch as Googleは、検索結果に反映させるためのインデックスをリクエストしたり、レンダリング方法のテストを行ったり、HTTPレスポンスの確認を行ったりすることが出来る便利なツールです。これからWebサイトの制作を行う予定の企業様や、個人でのアフィリエイトなどのWebサイト制作を行う予定の方は是非今回の記事を参考に、Fetch as Googleを利用してください。