WEBマーケティングのトータルサポートならディーエムソリューションズ株式会社
0120-934-226受付時間 平日9:00~18:00

robots.txt(ロボッツテキスト)をエラー状態にするとインデックスが削除されてしまうという怖~いお話

このエントリーをはてなブックマークに追加

この記事をご覧いただいている皆様へ。
このページは、SEO情報ブログ「ディーエムソリューションズの社員が作った、【SEOまとめ】」にて公開されていた記事であり、2014年12月にデジタルマーケティング研究所へ統合されました。

今日はrobots.txtのエラーでWebサイトのインデックスが消えてしまった、という怖い事例を紹介します。

誰でも簡単にSEO対策ができるIntimateSEO

いつも通りsitemap.xmlとrobots.txtを設置したつもりが・・・

発端は日課となっているWEBサイトの修正作業での私の確認ミスでした。恥をしのんでお話しします。
私の会社ではお客様にSEOをご依頼いただいた際、まずURLの正規化sitemap.xml&robots.txtの設置を実施してしまいます。

その他のページも含めて内部的な修正を終え、お客様にご報告した後順位を見守ることにしました。最初の内は順調に伸びているな~、と思って安心していたのですが・・・

どーーーーーーーーーーーーん!!!

daily-seo-rank

なんや!?いったい何がおこったと言うんや!?
もちろんお客様の方が動揺しているご様子。しかし、そこはプロ。まずは「site:」コマンドを確認すると、あれ!?TOPページ(上位表示を狙ったページでもあります)のインデックスだけが無いではありませんか。
こんな現象は見たことないぞ・・・「必ず解決して見せます」と意気込んで見せたものの、何しろ自分で修正しているサイトです。自らの慢心も手伝って、恥ずかしながらすぐに問題を特定することができませんでした。

基本に返ってウェブマスターツールを確認する

大幅な順位下落の際は慌てず騒がずウェブマスターツールをチェックと決まっています。
すると・・・

google-wmt-trouble

やや、ウェブマスターツールのTOPページに警告が表示されています!あわててダッシュボードに行くと・・・

robots-txt-access-error

robots.txtのエラー??はて??

robots.txtへのアクセスが「Internal Server Error」だったことが原因

ブラウザからrobots.txtを見に行くと、「Internal Server Error」(HTTPステータスコード500)どうやらこのサーバー側の仕様で「.txt」形式のファイル設置を許可されていないようなんです。

これが原因でGoogleがインデックスを外していたようでした。

復活は早かった

とりあえずrobots.txtを削除して、念の為事の経緯を再審査リクエストで送信しました。結果・・・

request-reconsideration

わずか2日で元の水準まで順位が回復。これは推測ですが、Googlebotはインデックスを抹消した後もクロールにやってくるので、今回のケースでは再審査リクエストを送らないでも元に戻った可能性はありますね。

まとめと反省

今回の記事のまとめ&自分の反省です。

リカバリーに成功したとはいえ今回の一件ではお客様にはご迷惑をおかけしてしまい、大変申し訳なく思っております。
これからはサーバーに新しいファイルを設置したら必ずURLを叩いて確認するようにします。そもそもこれは基本中の基本ですね。
というわけで今回は私のお恥ずかしい失敗から発覚したGoogleアルゴリズムのご紹介でございました。

2011年11月15日追記

@pacificusさんからの情報です。この現象、過去に鈴木謙一さんのブログやWeb担当者Forumの連載でも紹介されていたようです。
クローラをブロック“しない”時のrobots.txtの設定(海外SEO情報ブログ)
記事によると以下のようなケースでランキングのダウンや今回のようなインデックス削除のリスクがあるとのこと。

ということで、robots.txtへのアクセスが返して良いステータスコードは200(正常)もしくは404 or 410(設置しない)のみ、でございます。
例えば「存在しないURLへのアクセスを全てTOPページにリダイレクトしている」サイトを時々見かけますが、こういったサイトがrobots.txtを設置していない場合は「2」に該当しています。急いでrobots.txtを置くか、できればサイト仕様を変更(404エラーページの設定)した方がいいですね。
みなさんご注意ください。

 

このエントリーをはてなブックマークに追加
The following two tabs change content below.
Avatar photo

片川 創太

2014年12月までディーエムソリューションズ株式会社SEO対策チームに所属。「SEOは実装」を信条に、コミュニケーションを重視するスタイルで数多くのサイトのコンサルティングを手がける。内部施策に関して造詣が深く、「SEOまとめ」というtwitterアカウントを通じて日々情報発信を続けている。 Twitter: SEOまとめ
お役立ち資料ダウンロード
SNSでフォロー
問い合わせ数5倍 1,000社以上の実績
ウルロジ EC事業特化型 物流アウトソーシング
セルマーケ
月額3万円で始められるSEO対策なら「IntimateSEO」

今話題のAIによるコンテンツ自動生成機能も!SEO対策に本当に必要な機能だけを搭載した使いやすさとコストパフォーマンスに優れたWeb集客支援ツールです。


Contactお問い合わせ

Webマーケティングに関わる施策全般をワンストップで
ご提供します。
お気軽にご相談ください。

関連資料ダウンロードはこちら
サービスのお問い合わせはこちら

Webマーケティング最新ニュースのレポートや無料セミナーの先行案内が届く、お得なメルマガ配信中!

Webマーケティング最新情報をお届けするDMSメールマガジン
東京営業所
東京都武蔵野市御殿山1-1-3 クリスタルパークビル2F
電話番号 0422-77-1087 FAX番号 0422-57-2761
大阪営業所
大阪府大阪市北区堂島1丁目5-30 堂島プラザビル10F
電話番号 06-7176-3367 FAX番号 06-7176-3368
Copyright © 2024 DM SOLUTIONS Co.,Ltd. All rights reserved.