SEOの歴史と検索エンジンの進化

私たちがSEO事業をスタートした2006年のSEO施策は、現在の施策とは大きく異なるものでした。

人工的な外部リンクが隆盛を極め、とにかくリンクを多く貼ったもの勝ちという時代でしたが、この10年の間で検索エンジンも大きく進化してきました。SEOの歴史を語る上で決して欠かすことができないのが検索エンジンの進化についてです。

皆さんご存知の通り、検索エンジン中でも圧倒的なシェアを誇るのがGoogleです。過去1年間の調査では、世界で利用されている検索エンジンのうち、約9割はGoogleであるという結果がリリースされています。

参考：StatCounter Global Stats

今回は、Googleがなぜ検索エンジンを進化させ続ける必要があるのか、SEOの視点からお話をさせていただきたいと思います。

Googleが目指していること

Googleが検索エンジンを進化させ続ける理由を考えるには、Googleが何を目指しているかを知ることです。

「Googleが掲げる10の事実」という、Googleの企業理念の最初に掲げられているのは「ユーザーに焦点を絞れば、他のものはみな後からついてくる。」です。

この理念をSEO視点で読み解くと、「ユーザーが求める検索結果を正確に表示することができれば、ユーザーの利便性が向上し、利用ユーザーが増加して、広告収益が増加する」といったところでしょうか。

この理念に反する行為が作為的に検索結果を操作するスパム行為です。
Googleはウェブマスター向けガイドライン（品質に関するガイドライン）を公開し、スパムに該当する行為について具体的なガイドラインを提示しています。

Googleはこのようなスパム行為を徹底的に排除することで理念を実現しようとしています。

次の章からは、検索エンジンが登場した1990年代から検索エンジンの歴史を振り返りつつ、どのように検索エンジンアルゴリズムが変化したのかを解説してみたいと思います。

検索エンジンの歴史

世界初の検索エンジン

1990年に世界初の検索エンジンと呼ばれる検索エンジン「Archie」が誕生しました。
いわゆるクラウド型のサービスではなく、それぞれのサーバーに実装されるクライアントサーバー型のシステムだったそうです。

今の検索エンジンからは想像もつきませんね。

「Archie」個別サーバー毎に搭載された検索エンジンのため、今のように表示順位による優位性という概念が存在しなかったのではないかと思います。

ディレクトリ型検索エンジンの歴史

みなさんも名前を聞いたり、利用したことがある検索エンジンが多く登場したのがこの時期です。1994年にLycos、1995年にはYahoo!、Excite、infoseek、そして1996年にはソフトバンクと米ヤフーが合弁でヤフー株式会社を設立し、Yahoo！JAPANが登場しました。

この当時、ウェブサイトを探す手段はディレクトリ型検索エンジンが主流でした。

ディレクトリ型検索エンジンとは

検索エンジンの運営会社が、人間の手で様々なサイトを閲覧し厳選したサイトのみを登録・分類することで構築したウェブディレクトリ内を検索するシステム。

参考：Yahoo! JAPANのトップページデザイン15年史

ユーザーは自分の求める情報がどのカテゴリか絞っていき、一覧の中から該当するウェブサイトを選択していました。

そんな中、Yahoo!JAPANは検索以外の機能として各種コンテンツ（ニュース、メール、天気など）を盛り込んだことで、日本国内における検索エンジンにおける大きなシェアを獲得することになりました。

しかしながら、圧倒的なシェアを誇ったYahoo!ですが、検索エンジンとしての性能は決して高いとは言えませんでした。爆発的にWebサイトが増えていく中、人の手でWebサイトを振り分けていく、ディレクトリ型の検索エンジンは限界を迎えつつあったのかもしれません。

ディレクトリ型検索エンジンに対するSEO

では、ディレクトリ型検索エンジンに対するSEO施策はどのようなものだったのでしょうか。
ユーザーはカテゴリから絞って閲覧しますので、同一カテゴリ内に登録された競合サイトの中で最も上位に表示させることがSEO施策と考えられていました。

Yahoo！JAPANカテゴリは当初タイトル順にWEBサイトを表示していました。
表示順は半角記号、英数字、全角記号、50音（あ～ん）の順に並ぶため、@エステや@中古車などサイトのタイトルの一番前に@を付けたWEBサイトが乱立したのは良い思い出です。

※現在のYahoo！JAPANカテゴリは上位表示を意図して付けられたと考えられる記号がある場合は、登録の際に割愛しているそうです。

ロボット型検索エンジンの歴史

1996年には米Yahoo!が「Alta Vista」というロボット型検索エンジンを採用し、日本では1998年にYahoo!JAPANが「goo」を採用し、ロボット型検索エンジンの波が訪れます。

ロボット型検索エンジンとは

ディレクトリ型とは対象的に「スパイダー」「クローラー」と言われるロボットが世界中のサイトを自動巡回して情報を読み取り、登録することで膨大な数のサイトを検索対象とするシステム。

ロボット型検索エンジンを語る上で外すことができないのがGoogleの歴史です。
Googleは1998年、スタンフォード大学に在学中のラリー・ペイジとセルゲイ・ブリンが創業しました。

Googleは「世界中の情報を整理し、世界中の人々がアクセスできて使えるようにすること」をコンセプトにリンクを人気投票として評価し、リンクで引用されるウェブページは良いページであるというアルゴリズムであるページランクを取り入れました。

ちなみにページランクの名称の由来はウェブページの「ページ」と創業者の一人ラリー・ペイジの「ページ」を掛け合わせた造語です。

当時Yahoo!を筆頭とするディレクトリ型であらゆるコンテンツが集約したポータルサイトが主流だった中、Googleは検索窓のみという検索するという目的に特化したシンプルなデザインでした。

参考：Google.com 1997-2011

しかし、Googleの検索エンジンにはロボットが価値のあるサイトかどうか判断できる指標（ページランク）とユーザーのニーズに応えられる独自の検索ランキングづけ機能が備わっていたため、検索結果の満足度が高いものとして、ユーザー数が急増しました。

2000年にYahoo！がGoogleの検索エンジンを採用したことで、Googleの知名度は更に上がっていきます。
2004年にYahoo!JAPANはGoogleとの提携を解消し、独自検索YSTを採用しますが、2010年には米Yahoo!がBingを採用し、Yahoo!JAPANは再びGoogleを採用します。

これにより、Yahoo！JAPANの検索結果がGoogleの検索結果とほぼ同一となり、Googlが国内検索エンジン市場の大半を占めることになりました。

ロボット型検索エンジンが検索エンジンの主流になったことでSEOの手法は大きく変化しました。
次の章からは年代別に検索エンジンの検索アルゴリズムの変化を振り返ってみましょう。

検索アルゴリズムの変化

1990年後半(Google登場以前)

検索エンジンの登場により、サイトの所有者は自身のWEBサイトをいかに検索結果に表示させるか試行錯誤するようになりました。

今でこそあらゆる手法が実施されていますが、当時はディレクトリ型のYahoo!が主流で
サイトの審査、登録が必要であったため、すべてのサイトが検索結果に反映されるわけではありませんでした。

そんな中、1998年にYahoo!がロボット型検索エンジン「Inktomi」を導入しましたが、当時はページ内のキーワード出現率やサイトのページ数から、検索順位を決めるという単純な評価基準でした。

検索順位を意図的に上げようと、隠しテキストで内容と直接関係のないキーワードをページ内に埋め込んだページを大量生産するなどの施策が横行していました。

2000年以降(Google登場以後)

Googleが登場し、これまでのSEOに大きな変化が訪れます。Googleはページ内のキーワード出現率の他にリンクという新たな評価基準を持ち込みました。これは外部から多くのリンク（引用）されるウェブページは良いページであるという評価をし、検索結果に反映させるものです。

当時としては全く新しい評価基準でしたが、その評価基準に対応するため、大量のリンクを貼っただけのサイトが多く登場し、検索ワードに対し全く内容の異なるサイトが上位に表示される現象が起きてしまいました。

以下は代表的な外部リンクスパムです。

コメントスパム

ブログなどのコメント欄に自サイトへのリンクを大量に投稿する行為です。
これにより、外部リンクとしての評価を得ることができるため、非常に流行りましたが、ブログ運営会社も対策としてコメントにnofollowを設定してリンク効果を無効化するなど、対策を行いました。

相互リンクスパム

SEOを目的とした相互リンクです。自サイトとは関係ないサイトとの相互リンクでも効果が得られたことから、多くのWEBサイトが実施していました。

また、相互リンク用の専用ページを作成し、リンク登録が気軽にできるようにしたYomi-searchなどのCGIも多く登場しました。次第に1対1の相互リンクでは評価がされなくなると、1対nのリンクを生成するリンクファームも登場し、Googleとのイタチゴッコが続きました。

noscriptスパム

代表的なのはアクセスカウンターの画像にnoscriptにて大量のリンクを仕込むスパムです。
Noscriptで記述されたリンクは通常ディスプレイ上に表示されないため、見た目では分からない悪質なスパム行為です。

アクセスカウンター以外にも無料のアクセス解析ツールを利用する際に交換条件として任意のバナーを設置させ、そこにリンクを仕込む手法も横行していました。

ワードサラダによる外部リンク生成

リンク獲得を目的に外部リンク専用サイトを大量生成する手法は今も存在しますが、当時は外部リンクサイトのテキストを人が作るのではなく、プログラムで自動生成する（ワードサラダ）ような粗悪なリンクでも効果を得ることができました。

そのため、数万単位の外部リンク用サイトを有するSEO会社も存在していました。

ブログ広告によるスパム

ブロガーに1記事あたり数百円という安い単価で、ブログにリンクの設置を依頼する手法です。
もちろんリンクの売買はGoogleのガイドライン違反となりますが、予算に余裕があれば大量のリンクを一気に設置できるため、多くの企業が利用していました。

2010年以降

ユーザーのニーズに沿わないサイトが溢れたことから、Googleはよりユーザーの役にたつコンテンツを評価し、役にたたないコンテンツは排除するようアルゴリズムを進化させていきました。

パンダアップデート（2011年）

リンクに関係なく「内容が薄い」などといった質の低いコンテンツの順位を下げ、良質なコンテンツを上位に表示させるアルゴリズムアップデートです。

このアップデートにより、コピペで作られたページや、プログラムによって自動生成されたコンテンツは検索上位から一斉に排除されました。これで独自性、専門性が高く、ユーザーにとって役立つコンテンツが評価されるようになりました。

ペンギンアップデート（2012年）

他サイトのコンテンツを流用し加工しただけのサイトやリンク集といった検索順位を不正に操作しようとするWebスパムサイトの順位を下げるためのアルゴリズムアップデートのことです。このアップデートにより、Webスパムサイトだけでなく、低品質な被リンクが多いサイトの順位が大きく低下しました。

ハミングバード（2013年)

複雑な検索キーワードに対し、キーワードの背景や文脈を理解して関連性が高い検索結果を表示する「会話型検索」の処理能力を向上させるためのアルゴリズムです。

おわりに

Googleは誕生から約15年という浅い歴史の中でユーザーの利便性を向上させるために進化を遂げてきました。その結果、以前に比べて、質の低いサイトは検索結果から少なくなり、ユーザーの求める良質なコンテンツを持つWebサイトが上位に表示されるようになってきたと感じます。

今後Googleは更に進化を続けるでしょう。その進化に対応するために、私たちはGoogleの理念を理解した上で、どのようなサイト構造であればユーザーの使い勝手が良いか、どのようなコンテンツであればユーザーにとって有益であるかを考えることが重要です。

しかしGoogleが進化した、変わったと言って右往左往しているのは私たちだけであって、Googleは創業時からの理念は何も変わっていないのかもしれませんね。