今回は、サイト運営の初心者の方に向けて、<meta name="robots">(robotsメタタグ)の正しい使い方について分かりやすく解説します。
<meta name="robots">(robotsメタタグ)は、基本的な考え方を理解してしまえば、記述自体もシンプルなものなので、すぐにページに導入することができます。WebサイトのSEO効果を高めるためにも、ぜひ取り入れてみてください。
目次
<meta name="robots">(robotsメタタグ)とは、<head>内に記述することでクローラ(Webページ間のリンクをたどり、サイトの内容を読み取る検索エンジンのロボット)の動作を制御することができ、個々のページを検索結果へ思い通りに表示することができるようになります。HTMLの<head>内に記述するタグなので、ページごとに細かく管理することができます。
メタタグ(<meta>タグ)とは、Webページの情報が記述されていて、検索エンジンやブラウザにWebページの情報を伝えます。HTMLの<head>タグ内に記述するので、ブラウザ上には表示されず、サイトを訪問するユーザーが直接見ることはありません。一方で、ブラウザに表示されユーザーが目にするコンテンツ部分は、<body>タグ内に記述します。
メタタグにはさまざまな種類があります。下記は、ほんの一部のメタタグです。
メタディスクリプション:Webページの簡単な説明。検索結果に表示されるスニペットに使用される場合もあります。
ビューポートメタタグ:レスポンシブウェブデザインを使用しているページで、モバイルデバイスでの表示を最適化するためにブラウザに指示します。
オージーピーメタタグ:Open Graph protocol(オープン グラフ プロトコル)を略してOGP(オージーピー)と呼ばれています。FacebookやTwitterなどのSNSでシェアされたときに、ここで指定した画像などが表示され、リッチオブジェクト化することができます。
robotsメタタグ:メタタグの中でも「検索エンジンのクローラの動きを制御する」という役割を果たします。例えば、「このページは、インデックス(検索結果に掲載)しないで」という指示をすることができます。この内容を低品質なページやユーザーにとって価値の低いページに設定しておくことで、SEO上の悪影響を防ぐことができるというわけです。
タグの中に「robots」という記述があるのを見て、「robots.txt」のことを思い出された方もいるかもしれません。
robots.txtは、主に検索エンジンの巡回を指示するファイルです。クローラが一番始めに確認する場所で、クロールすべき場所とそうではない場所を確認し、効率的にサイトを見る手助けを行います。robots.txtの詳細については、下記の記事をご覧ください。
<meta name="robots">とrobots.txtは、どちらも検索エンジンのクローラを指示して、読み込まないページを設定することができます。しかし、robots.txtでの設定はクローラのアクセスそのものを禁止するという点が違います。
検索エンジンの仕組みとしてまず確認するのは、robots.txtです。つまり、robots.txtでクロールをブロックしているページについては、いくら<meta name="robots">の記述をしても無意味ということになります。そもそも検索エンジンに読み取ってもらえないからです。
例えば、すでにインデックスされているページをインデックス削除したいような場合には、robots.txtを使うのではなく<meta name="robots">で設定するというのが正しい判断ということになります。robots.txtでブロックしてしまうと、設定してある<meta name="robots">を見ることができないからです。
それぞれの特徴を活かして、上手に使用するようにしましょう。
Googleが認識するすべての<meta name="robots">とその意味をまとめます。複数のディレクティブを設定する場合は、カンマ区切りのリストで設定することができます。これらのディレクティブは、大文字と小文字を区別しません。
ディレクティブ | 説明 |
---|---|
all | デフォルト値であり、明示的に指定しても影響はありません。 インデックスの登録やクロール、表示についての制限はありません。 "index, follow" と同じです。 |
noindex | Googleのデータベースにインデックスはされているものの、検索結果に出てこない状態となります。 設定しない場合、ページが検索結果に表示されることがあります。 |
nofollow | クローラはウェブサイトの情報を取得するため、リンクをたどりながら、あらゆる情報を収集しますが、nofollowが設定してあると、クローラに対してリンクをたどらないよう指示することができます。 設定しない場合、ページ内のリンクからリンク先ページを見つけることがあります。 |
none | noindexとnofollowの両方を設定するときは、noneだけで設定することもできます。 noneは、noindexとnofollowの両方を一括での設定となりますので、noindexだけを設定したい場合、nofollowだけを設定したい場合には、使用しないよう注意してください。 |
noarchive | 検索エンジンにページのキャッシュを残さないよう指示をすることができます。検索結果でキャッシュリンクを表示しません。 設定しない場合、Googleがキャッシュされたページを生成し、検索結果にキャッシュリンクが表示され、ユーザーがキャッシュページにアクセスすることがあります。 |
nosnippet | 検索結果にこのページのスニペットや動画プレビューなどを表示しません。ユーザーエクスペリエンスの向上につながる場合は、表示されることがあります。ウェブ検索、画像検索、Discoverに適用されます。 設定しない場合、ページ内にある情報を参考にテキストスニペットと動画プレビューを生成することがあります。 |
max-snippet:[number] | スニペットに表示する文字数を設定します。[number] 部分には表示したい文字数が入ります。
特別な値: 設定しない場合、サイトへの誘導に最も効果的と考えられるスニペットの長さが、Googleにより選択されます。 |
max-image-preview:[setting] | 検索結果に表示されるプレビュー画像のサイズを設定します。
指定可能なsetting値: 設定しない場合、Googleはデフォルトサイズの画像をプレビュー表示することがあります。 |
max-video-preview:[number] | 検索結果に表示される動画プレビューの再生時間(秒)を設定します。[number] 部分には秒数が入ります。
その他のサポートされている値: 設定しない場合、Googleは検索結果にビデオスニペットを表示することがあります。プレビューの長さは、Googleが判断します。 |
notranslate | ユーザーが使用している言語とWebページの言語が異なる場合に、検索結果に翻訳版へのリンクが表示されることがありますが、notranslateを設定すると、検索結果で翻訳版へのリンクを表示しません。 設定しない場合、Googleが翻訳されたページを表示するためのリンクを検索結果の横に表示することがあります。 |
noimageindex | このページの画像をインデックスに登録しません。同じ画像が別のページにも使用されている場合、Googleはそのページのアクセス許可に基づいて、画像のクロールとインデックス登録を行うことがあります。 設定しない場合、ページ内の画像が検索結果に表示されることがあります。 |
unavailable_after:Wed, 10 Jul 2024 09:12:37 +0000 | 指定した日時以降は、このページのクロールを中止し検索結果に表示しません。 有効な Wed, 10 Jul 2024 09:12:37 +0000 が指定されていない場合は、無視されます。デフォルトの設定では、有効期限はありません。 設定しない場合、このページはいつまでも検索結果に表示される可能性があります。 |
以下、それぞれの意味と設定方法を詳しく解説していきます。
デフォルト値であり、明示的に指定しても影響はありません。インデックスの登録やクロール、表示についての制限はありません。
<meta name="robots" content="index, follow">と同じです。
設定したページのインデックスを拒否することができます。
Googleのデータベースにインデックスはされているものの、検索結果に出てこない状態となります。
robots.txtとは違って、クローラはページのクロールは行います。
noindexを設定するときは、検索結果に出したくないページがある場合です。例えば、テキスト量の少ない低品質なページや重複コンテンツとして扱われそうなページなどが該当します。
クローラに対してページ内のリンクをたどらないよう指示することができます。
ページ内のすべてのリンクに対して、一括でnofollowを設定することができます。
しかし、この方法では、内部リンクもnofollowを設定してしまうことになります。個別にnofollowを設定したい場合は、<a>タグにrel属性を記述します。
1つずつ設定することは手間がかかるかもしれませんが、内部リンクや外部リンクによるSEO効果を考慮するなら、この方法が最もおすすめです。
noindexとnofollowの両方を設定するときは、noneだけで設定することもできます。
noneは、noindexとnofollowの両方を一括での設定となりますので、noindexだけを設定したい場合、nofollowだけを設定したい場合には、使用しないよう注意してください。
検索エンジンにページのキャッシュを残さないよう指示をすることができます。検索結果でキャッシュリンクを表示しません。
用途としては、ネットショップや比較サイトなど頻繁に情報が変更されるページに記述することもあります。ユーザーがキャッシュの古い価格や商品情報を見てしまい、混乱しないようにするためです。
noarchiveを記述することで、検索順位に影響が出る可能性は、ありません。Googleの John Mueller氏もきっぱりと否定しています。
no
— 🍌 John 🍌 (@JohnMu) August 29, 2017
検索結果にテキストスニペットや動画プレビューを表示しないようにします。動画の場合は、ユーザーエクスペリエンスの向上につながると判断したときには、代わりに静止画像を表示することがあります。
スニペットに表示する文字数を設定します。[number] 部分に表示させたい文字数を入れます。
上記の例では、このページのテキストスニペットの長さを100文字に制限します。
特別な値:
0:スニペットをなし(非表示)にする場合。nosnippetと同じ意味になります。
-1:Googleがスニペットの長さを選択できるようにする場合。Googleは、ユーザーをサイトへ誘導するのに最も効果的であると思われるスニペットの長さを選択します。
検索結果に表示されるプレビュー画像のサイズを設定します。[setting] 部分に「none」「standard」「large」のいずれかを設定します。
上記の例では、デフォルトの大きさのプレビュー画像が表示されます。
指定可能な[setting]:
none:プレビュー画像は表示されません。
standard:デフォルトの大きさのプレビュー画像が表示されます。
large:ビューポートの幅に合わせたプレビュー画像が表示されます。
検索結果に表示される動画プレビューの再生時間(秒)を設定します。[number] 部分に秒数を入れます。
上記の例では、動画プレビューの再生時間を10秒に設定しています。
その他のサポートされている値:
0:静止画像のみ使用できます。(max-image-previewの設定に従います。)
-1:制限はありません。
ユーザーが使用している言語とWebページの言語が異なる場合に、検索結果に翻訳版へのリンクが表示されることがありますが、notranslateを設定すると、検索結果で翻訳版へのリンクを表示しません。
このページのすべての画像をインデックスに登録しないようにできます。
同じ画像が別のページにも使用されている場合、Googleはそのページのアクセス許可に基づいて、画像のクロールとインデックス登録を行うことがあります。
画像検索をブロックするには、一般的に「robots.txt」を使用します。詳しくは、下記のGoogle公式ドキュメントをご覧ください。
指定した日時以降は、このページのクロールを中止し検索結果に表示しません。デフォルトの設定では、有効期限はありません。
上記の例では、日本時間で「2021年4月1日20時30分40秒(グリニッジ標準時間から9時間進んでいる)」以降は、このページのクロールを中止し検索結果に表示しないように設定しています。
有効な Wed, 10 Jul 2024 09:12:37 +0000 (ISO 8601など)が指定されていない場合は、無視されます。
用途としては、期間限定のWebページに適しています。期間限定のセールやクーポン配布ページ、求人情報ページ、一定期間経過後終了するオークションページなどが適しています。
<meta name="robots">でできることや、どのような時に設定すべきかはお分かりいただけたと思います。次に、実際に記述するときに注意すべきポイントをご紹介します。
nooindex、noarchive、nofollowの3つのディレクティブを設定するとします。複数の設定を併用したい場合はひとまとめに記述することができます。
併用したい内容を「,」(カンマ区切り)で記述します。このとき、カンマの後に半角スペースがあってもなくてもどちらでも認識されます。
name属性とcontent属性はいずれも、大文字と小文字どちらで記述しても指示の内容は変わりません。
上記の3つ例は、いずれも同じ意味で処理されます。
ただし、小文字で記述することが一般的ですので、基本的には小文字表記をオススメします。
<meta name="robots">のデフォルト値は、all("index, follow")であり、わざわざ設定する必要はありません。
ディレクティブ | 説明 |
---|---|
index | ページのインデックス登録を許可します。 |
follow | クロールの際にページ内のリンクを追跡します。 |
ファイルサイズも(わずかではありますが)大きくなりますし、無駄な記述は極力避けてシンプルなソースコードを目指してください。
記事の前半でもお伝えしましたが、robots.txtのDisallowと併用しないように注意をしましょう。
robots.txtでクロールをブロックしているページについては、<meta name="robots">の記述をしてもクローラが見ることができないからです。
特に注意をしたいのは、「すでにインデックスされているページを検索結果に出したくないようなケース」です。このときにrobots.txtで先にDisallowを設定してしまうと、<meta name="robots" content="noindex">を見ることができなくなってしまい、いつまでも検索結果に表示され続けてしまします。
robots.txtと併用してしまうと思わぬトラブルのもとになりかねませんので、慎重に設定することが大切です。
上記の記述は、すべてのクローラに対して、検索結果にページを表示しないように検索エンジンに指示しています。name属性の値「robots」は、noindexをすべてのクローラに適用するよう設定しています。
特定のクローラのみ対象とするには、name属性の値を各クローラの名前(ユーザーエージェントトークン)に置き換えます。
Googleの場合、標準のウェブクローラのユーザーエージェントトークンは「Googlebot」です。Googleの標準ウェブクローラだけ、ページを検索結果に表示したくない場合は、下記のように設定します。
各検索エンジンは、プロパティや目的ごとに異なるクローラを使用します。
Googleの場合は、下記のクローラの一覧をご覧ください。
あるページをGoogleニュースだけ表示したくない場合は、下記のように設定します。
複数のクローラを個別に指定するには、name属性の値にそれぞれのユーザーエージェントトークン(クローラ名)を使用します。
(回答)noindexとindexの両方がある場合は、より制限の厳しいタグが適用されます。この場合、noindexが適用されます。
(回答)問題ありません。
<meta name="robots">のデフォルト値は、all("index, follow")であり、わざわざ設定する必要はありません。記述してあることでファイルサイズもわずかではありますが大きくなりますし、無駄な記述は極力避けてシンプルなソースコードとなるようにしてください。
(回答)いいえ。
robots.txtは、クローラのアクセスを制御します。
robotsメタタグは、ページを検索結果に表示するかどうかやページ内のリンクをたどるかどうかなどを制御します。
robotsメタタグがクローラに認識されるには、ページがクロールされる必要があります。
(回答)いいえ。
robotsメタタグはページ単位での設定なので、ページの一部分だけという設定はできません。
(回答)いいえ。
robotsメタタグはページの<head>内で使用しないと効果がないと思われます。
(回答)いいえ。
robotsメタタグにnoindexが設定されている場合でも、robotsメタタグが変更されたかどうかをチェックするために、クローラは、そのページを再クロールします。クロールしないようにするには、robots.txtのDisallowで設定します。
(回答)nofollow robotsメタタグは、内部リンクを含むページ内すべてのリンクに適用されます。
rel="nofollow"リンク属性は、ページ内でrel="nofollow"を設定したリンクに対してのみ適用されます。
<meta name="robots">(robotsメタタグ)を活用すると、検索エンジンの動きを制御でき、SEO上でもさまざまなメリットを得られることが期待されます。メタタグの設定はWebサイトの見た目には反映されませんが、SEO効果を高めるためにも適切に設定しておきたい部分です。この記事を参考に、<meta name="robots">(robotsメタタグ)の設定を取り入れていただければと思います。
この記事をご覧いただいている皆様へ。 このページは、SEO情報ブログ「ディーエムソリューションズの社員が作った、【SEOまとめ】」にて公開さ…
この記事をご覧いただいている皆様へ。 このページは、SEO情報ブログ「ディーエムソリューションズの社員が作った、【SEOまとめ】」にて公開さ…
この記事は、The Moz Blogに掲載された以下の記事を日本語訳したものです。 原文:「The New Link Building Su…
Googleは、自分たちの使命を「世界中の情報を整理し、世界中の人がアクセスできて使えるようにすること」とし、ユーザーが求めている情報を検索…
302リダイレクトは、サイトのメンテナンスなど一時的な転送に使われる処理です。永久的な転送を意味する301リダイレクトとは分けて使われるべき…
昨今、スマートフォンの普及率が高まり、人々の生活においてインターネットで情報を得るという行動が当たり前になりつつあります。 ウェブサイトは、…
今話題のAIによるコンテンツ自動生成機能も!SEO対策に本当に必要な機能だけを搭載した使いやすさとコストパフォーマンスに優れたWeb集客支援ツールです。
Webマーケティングに関わる施策全般をワンストップで
ご提供します。
お気軽にご相談ください。
Webマーケティング最新ニュースのレポートや無料セミナーの先行案内が届く、お得なメルマガ配信中!