2011.11.15SEO記事一覧

robots.txt(ロボッツテキスト)をエラー状態にするとインデックスが削除されてしまうという怖~いお話

  • このエントリーをはてなブックマークに追加

この記事をご覧いただいている皆様へ。
このページは、SEO情報ブログ「ディーエムソリューションズの社員が作った、【SEOまとめ】」にて公開されていた記事であり、2014年12月にデジタルマーケティング研究所へ統合されました。

blog-news

今日はrobots.txtのエラーでWebサイトのインデックスが消えてしまった、という怖い事例を紹介します。

いつも通りsitemap.xmlとrobots.txtを設置したつもりが・・・

発端は日課となっているWEBサイトの修正作業での私の確認ミスでした。恥をしのんでお話しします。
私の会社ではお客様にSEOをご依頼いただいた際、まずURLの正規化sitemap.xml&robots.txtの設置を実施してしまいます。

その他のページも含めて内部的な修正を終え、お客様にご報告した後順位を見守ることにしました。最初の内は順調に伸びているな~、と思って安心していたのですが・・・

どーーーーーーーーーーーーん!!!

daily-seo-rank

なんや!?いったい何がおこったと言うんや!?
もちろんお客様の方が動揺しているご様子。しかし、そこはプロ。まずは「site:」コマンドを確認すると、あれ!?TOPページ(上位表示を狙ったページでもあります)のインデックスだけが無いではありませんか。
こんな現象は見たことないぞ・・・「必ず解決して見せます」と意気込んで見せたものの、何しろ自分で修正しているサイトです。自らの慢心も手伝って、恥ずかしながらすぐに問題を特定することができませんでした。

基本に返ってウェブマスターツールを確認する

大幅な順位下落の際は慌てず騒がずウェブマスターツールをチェックと決まっています。
すると・・・

google-wmt-trouble

やや、ウェブマスターツールのTOPページに警告が表示されています!あわててダッシュボードに行くと・・・

robots-txt-access-error

robots.txtのエラー??はて??

robots.txtへのアクセスが「Internal Server Error」だったことが原因

ブラウザからrobots.txtを見に行くと、「Internal Server Error」(HTTPステータスコード500)どうやらこのサーバー側の仕様で「.txt」形式のファイル設置を許可されていないようなんです。

これが原因でGoogleがインデックスを外していたようでした。

復活は早かった

とりあえずrobots.txtを削除して、念の為事の経緯を再審査リクエストで送信しました。結果・・・

request-reconsideration

わずか2日で元の水準まで順位が回復。これは推測ですが、Googlebotはインデックスを抹消した後もクロールにやってくるので、今回のケースでは再審査リクエストを送らないでも元に戻った可能性はありますね。

まとめと反省

今回の記事のまとめ&自分の反省です。

リカバリーに成功したとはいえ今回の一件ではお客様にはご迷惑をおかけしてしまい、大変申し訳なく思っております。
これからはサーバーに新しいファイルを設置したら必ずURLを叩いて確認するようにします。そもそもこれは基本中の基本ですね。
というわけで今回は私のお恥ずかしい失敗から発覚したGoogleアルゴリズムのご紹介でございました。

2011年11月15日追記

@pacificusさんからの情報です。この現象、過去に鈴木謙一さんのブログやWeb担当者Forumの連載でも紹介されていたようです。
クローラをブロック“しない”時のrobots.txtの設定(海外SEO情報ブログ)
記事によると以下のようなケースでランキングのダウンや今回のようなインデックス削除のリスクがあるとのこと。

ということで、robots.txtへのアクセスが返して良いステータスコードは200(正常)もしくは404 or 410(設置しない)のみ、でございます。
例えば「存在しないURLへのアクセスを全てTOPページにリダイレクトしている」サイトを時々見かけますが、こういったサイトがrobots.txtを設置していない場合は「2」に該当しています。急いでrobots.txtを置くか、できればサイト仕様を変更(404エラーページの設定)した方がいいですね。
みなさんご注意ください。

 

  • このエントリーをはてなブックマークに追加
The following two tabs change content below.
片川 創太

片川 創太

2014年12月までディーエムソリューションズ株式会社SEO対策チームに所属。「SEOは実装」を信条に、コミュニケーションを重視するスタイルで数多くのサイトのコンサルティングを手がける。内部施策に関して造詣が深く、「SEOまとめ」というtwitterアカウントを通じて日々情報発信を続けている。 Twitter: SEOまとめ