Googleにサイトがインデックスされない…原因と対策方法とは？
サイトを制作し、インデックス登録しているにもかかわらず、検索エンジンにサイトが表示されないと慌てたことはありませんか？せっかくのサイトも、Googleにインデックスされなければ検索エンジンで表示されず、SEO対策したサイトを作っても意味がありません。
そこで今回は、検索エンジンの仕組みから、Webサイトがインデックスされない原因と、その対策方法についてご紹介します。
目次
検索エンジンの仕組み
サイトやブログの表示順位を決めているのは検索エンジンです。アップロードしたサイトが検索エンジンにインデックスされないということは、必ず何らかの原因があります。その原因を探るために、まずは検索エンジンの仕組みについて詳しく見てみることにしましょう。
現在、Bing、MSN、livedoorなど、多くの検索エンジンが存在しています。そんな中、日本で最も多く利用されているのはYahoo!とGoogleです。この2つの検索エンジンの合計シェア数は、全体の約95％のシェアを有しています。
さらに、現在のYahooでは検索機能の開発を終了し、2010年からはGoogleの検索機能を導入しているため、検索エンジンのシェア率はほぼGoogleにあるといってもよいでしょう。
つまり、日本で検索エンジンの仕組みを理解するなら、最も多く利用されている検索エンジンである、「Googleの検索機能」の仕組みを理解することが一番大切です。ここでは、検索エンジン＝Googleとして見ていくことにしましょう。
クロールとインデックス
検索エンジンはむやみやたらにwebページの順位を決めて表示しているわけではありません。一言で言えば、クロールで集めた情報をデータベースにインデックスし、よりユーザーに寄り添ったページであると認識されたものを上位表示しているというのが検索エンジンの仕組みです。
では、もう少し詳しく見ていきましょう。
クロールとは？
検索エンジンは、webクローラーというロボットを使って、世界中に広がっているwebページを巡回します。この操作のことをクロールといいます。また、Googleに新しいページが追加されたり、更新されたりした場合にもこのクロールが行われる事になります。
「クロール＝這う」という言葉の意味通り、クローラーは無数のwebページを這いずり回って情報を集めてきます。それも一度や二度ではありません。
何度もクローラーに巡回してもらえることができれば、それだけ多くの正確な情報や最新情報を持っていってもらうことができます。情報を渡すことができれば、ページの質が評価され、それだけ上位に表示されるチャンスも増えるということになるのです。
クローラーは、webページ上のリンクをたどって巡回します。過去にクロールした時に得たwebアドレスやwebサイトのサイトマップなどを元にリンクを探し出し、さまざまなサイトへの巡回を繰り返しています。
インデックスとは？
インデックスとは本来「見出し」や「索引」といった意味を持つ語句ですが、検索エンジンとしてのインデックスの意味は「webサイトの情報の登録」という意味を持っています。
検索エンジンでは、クローラーwebページを巡回して集めてきたたくさんの情報を管理する必要があります。そこで、集めたページのコンテンツや意味を分析した後、インデックス（登録）することで、ページの情報を管理しやすくしているというわけです。
インデックスに登録されたwebページは、ユーザーがGoogleで検索を行う際にデータとして扱われ、キーワードとマッチした情報であれば、検索結果として表示されるということになります。
つまり、逆に言い換えれば、「インデックスされなければキーワードを使用した自然検索の検索結果には表示されないということ」になってしまいます。
インデックスされているか調べる方法
自分で作ったサイトやブログがインデックスされているかどうか不安になってしまったときは、次の方法を利用してインデックスされているかどうかを調べてみましょう。
「site:」を利用して調べてみる
Googleを起動し、検索窓に「site:（調べたいサイトのURL）」を入力して検索します。
上記の手順で対象ページの検索結果が下記のように表示されれば、そのページはインデックスされているので、特に心配する必要はありません。
しかし、問題なのは、ここでwebページが表示されなかった場合です。
例えば、下記のようなページが現れた場合は、検索エンジンにインデックスされていません。
では、上記の方法でページが表示されなかったときにはどのように対処すればよいのでしょうか。
インデックスされない5つの理由と解決方法
もしも上記手順でサイトがインデックスされていなかったら、下記のようなことが原因かもしれません。
新規ドメインのため
サイトやブログを立ち上げて間もない場合、クローラーがサイトを見つけられていないためインデックスされていない可能性が考えられます。
解決方法
新しくドメインを取得してからアクセス数が上がりクローラーに見つけてもらえるまでには、通常数週間から数ヶ月かかると考えておくのがよいでしょう。そのため、サイトを早くクローラーに見つけてもらう必要があります。
そこで、有効なのがGoogleが提供するSearch Consoleの機能にあるFetch as Googleを利用することです。こちらを利用することで検索エンジンにサイトのインデックスを促すことができます。
詳細については下記記事をご確認ください。
ペナルティを受けているため
Googleでは、良質なwebサイトを制作・管理していく上で、コンテンツや品質などに関する詳細な規定を記載したガイドラインが設けられています。中でもウェブマスター向けガイドラインという品質に関するガイドラインの中では、一般的な偽装や不正行為などがきされており、ガイドラインに準拠していない、もしくは違反しているサイトにはペナルティを課す場合があります。
解決方法
ペナルティを受けないようにする、もしくはペナルティを解除してもらうには、まずガイドラインの内容をしっかりと理解しておきましょう。
- 検索エンジンではなく、ユーザーの利便性を最優先に考慮してページを作成する。
- ユーザーをだますようなことをしない。
- 検索エンジンでの掲載位置を上げるための不正行為をしない。ランクを競っているサイトや Google 社員に対して自分が行った対策を説明するときに、やましい点がないかどうかが判断の目安です。その他にも、ユーザーにとって役立つかどうか、検索エンジンがなくても同じことをするかどうか、などのポイントを確認してみてください。
- どうすれば自分のウェブサイトが独自性や、価値、魅力のあるサイトといえるようになるかを考えてみる。同分野の他のサイトとの差別化を図ります。
引用元：ウェブマスター向けガイドライン（品質に関するガイドライン）
また、次のような手法を禁止しています。
- プログラムによってコンテンツを生成しないこと。
- 相互リンクを目的としたパートナーページの制作や過剰なリンク交換、リンクの売買など、不正とみなされるリンク取得。
- 内容の薄いアフィリエイトページや他ソースから無断複製されたコンテンツやブログ記事、誘導ページを作成すること。
- 検索エンジンとユーザーに対し、それぞれ別のコンテンツを表示させること。例えば、検索エンジンにはhtmlのテキストページを見せているのに対し、ユーザーには画像やFlashなどを見せている場合など。
- 不正なリダイレクト。新しいアドレスに移転した場合や複数ページを1つに統合したときなどは例外ですが、悪意を持って検索エンジンをだますような行為をした不正なリダイレクトは偽装行為とみなされます。
- ランキング操作を目的とした隠しテキストや隠しリンクは偽装行為とみなされる場合があります。例えば、白の背景に白のテキストを使ってキーワードやリンクを貼ったり、フォントサイズを0にしたりなどの行為は隠しテキスト、もしくは隠しリンクとみなされます。
- フィッシングやウィルス、トロイの木馬、その他マルウェアなどの悪意をもった動作を伴うページや、ユーザーが意図しないファイルのダウンロードやホームページ設定などは安全管理上、規定に遵守していないものとみなされます。
参照元：ウェブマスター向けガイドライン（品質に関するガイドライン）
上記以外にもGoogleの社員が直接サイトを見て、不正がある・ガイドラインに違反していると判断された場合には「手動による対策」が行われます。この手動による対策が実施された場合、そのサイトの一部、もしくは全体が検索結果に表示されなくなってしまうという厳しいペナルティが課せられることになります。
この手動による対策で実施されたペナルティを解除するには、ペナルティを受けたページを確認し、その問題すべてを解決することが必要です。
さらにすべての問題を修正し終えたら、Googleへ送るレポートに「サイトの品質に関する問題を正確に説明」し、「問題を修正するために行った手順を明確に記述」し、「取り組み結果の記述」を行った上で「審査をリクエスト」します。再審査の結果が出るまでには数日～数週間かかります。
canonicalタグで設定しているため
Googleをはじめとする検索エンジンでは、検索に使われるキーワードからユーザーが何を求めているのかを予測して検索結果を表示させます。このとき、検索キーワードにふさわしいと思われるページがひとつのサイトに複数存在していたり、内容が類似しているようなページが重複して存在していたりする場合、どのページを表示させるべきかがわからなくなってしまい、品質の低いサイトという評価を受けて検索順位が下げられたりペナルティを課せられてしまう可能性があります。
解決方法
本来、canonicalタグは、重複ページが検索エンジンにインデックスされないようにするためのタグとして用いられます。
canonicalタグが原因でインデックス表示されない場合の解決方法としては、「正しい使い方をすること」です。当たり前のように感じてしまうかもしれませんが、記述場所の間違いや入力ミスはありがちなミスです。
内容が重複する2つのページが存在する場合、重複しているページの<head>~</head>内に<link rel=”canonical” href=”（重複ページのURL）>と記述しましょう。記述ミスなどがないように、しっかり確認しておきましょう。
robots.txtでアクセス制限をしているため
robots.txtとは、検索エンジンにクロールを指示するファイルで、検索エンジンがサイトへ訪れる際に一番最初にこのファイルを読み込みます。このファイルは検索エンジンにクロールすべきページとクロールすべきでないページを指示することが可能になります。
つまり、インデックスがされない場合、robots.txtでサイトやページ、そして一部のディレクトリのアクセス制限をし、検索結果に表示されないように指示している可能性があるのです。
解決方法
robots.txを確認し、アクセス制限を行っていないか確認してください。アクセス制限を行っている場合、下記のように「Disallow:」の記述があると思いますので、削除をし、再度robots.txをアップしてください。
詳細については下記記事を参考にしてください。
noindex設定がしてあるため
noindex設定とは、特定のページに指定することで、そのページ全体がインデックスされなくなるようにするためのメタタグの設定です。
サイトを上位表示させるには、サイト全体を高く評価してもらう必要があります。しかし、フォームのサンクスページなどについては、検索結果に表示させる必要がないページになります。そこでこのような検索結果に表示させたくないページをnoindexを利用することにより、キーワード検索に表示されることを防ぎ、サイトの評価が下がるのを防ぐことができます。
しかし、使い方によっては検索エンジンにインデックスされない原因となる場合もあります。例えば、あれもこれもとnoindexタグを付けすぎてしまうとサイト全体のアクセス数の流入を妨げてしまうことにもなりかねません。
解決方法
noindexを効果的に使うには、「付けすぎないこと」と、「付け忘れ」にはくれぐれも気をつけてください。質の高いwebサイトを構築するために、ページの質を上げられるようなコンテンツが完成したら必ずnoindexははずしておくことが大切です。
確実にインデックスしてもらうために
何らかの原因でサイトがインデックスされないということは決して珍しいことではありません。場合によっては上記以外のケースもあるかもしれません。確実にクロールしてもらい、サイトをインデックスしてもらうためには、先ほど紹介したGoogleのSearch Consoleで申請を行い、サイトの再クロールを行いましょう
おわりに
今回は制作したサイトが検索エンジンにサイトがインデックスされない原因と対策方法についてご紹介してきました。
サイトがインデックスされない原因は今回ご紹介した原因以外にもサーバー上の原因や他の原因ということもあります。その場合、弊社で原因調査と改善策を打つことも可能ですので、お気軽にご相談ください。
>最新記事 by digital-marketing (全て見る)
- PWA（Progressive Web Apps）とは？メリットと実装事例について - 2019年4月15日
- WEBマーケティング最前線セミナー〜ウェブ集客からCV増加、リード育成事例を一挙公開〜 - 2019年4月11日
- GoogleがオススメするAMP（Accelerated Mobile Pages）とは？メリット・デメリットと対応方法について - 2019年4月8日
SEOの歴史と検索エンジンの進化
alt属性とは？SEOにおけるaltの役割と正しい使い方
構造化マークアップの設定方法を徹底解説！一歩進んだSEOを行うために必要なこと
Googleアナリティクスで有効なターゲットキーワードを抽出する方法
ブラックハットSEOとホワイトハットSEOの違いと特徴
アンカーテキストとは？SEOの観点から有効な使い方について