WEBマーケティングのトータルサポートならディーエムソリューションズ株式会社
0120-934-226受付時間 平日9:00~18:00

<meta name="robots">(robotsメタタグ)の正しい使い方と記述時のポイント

2021.03.192011.05.21SEO記事一覧
このエントリーをはてなブックマークに追加

今回は、サイト運営の初心者の方に向けて、<meta name="robots">(robotsメタタグ)の正しい使い方について分かりやすく解説します。

<meta name="robots">(robotsメタタグ)は、基本的な考え方を理解してしまえば、記述自体もシンプルなものなので、すぐにページに導入することができます。WebサイトのSEO効果を高めるためにも、ぜひ取り入れてみてください。

<meta name="robots">(robotsメタタグ)とは?

<meta name="robots">(robotsメタタグ)とは、<head>内に記述することでクローラ(Webページ間のリンクをたどり、サイトの内容を読み取る検索エンジンのロボット)の動作を制御することができ、個々のページを検索結果へ思い通りに表示することができるようになります。HTMLの<head>内に記述するタグなので、ページごとに細かく管理することができます。

メタタグ(<meta>タグ)とは?

メタタグ(<meta>タグ)とは、Webページの情報が記述されていて、検索エンジンやブラウザにWebページの情報を伝えます。HTMLの<head>タグ内に記述するので、ブラウザ上には表示されず、サイトを訪問するユーザーが直接見ることはありません。一方で、ブラウザに表示されユーザーが目にするコンテンツ部分は、<body>タグ内に記述します。

メタタグにはさまざまな種類があります。下記は、ほんの一部のメタタグです。

<meta name="description">

メタディスクリプション:Webページの簡単な説明。検索結果に表示されるスニペットに使用される場合もあります。

<meta name="viewport">

ビューポートメタタグ:レスポンシブウェブデザインを使用しているページで、モバイルデバイスでの表示を最適化するためにブラウザに指示します。

<meta property="og:✕✕✕✕✕">

オージーピーメタタグ:Open Graph protocol(オープン グラフ プロトコル)を略してOGP(オージーピー)と呼ばれています。FacebookやTwitterなどのSNSでシェアされたときに、ここで指定した画像などが表示され、リッチオブジェクト化することができます。

<meta name="robots">

robotsメタタグ:メタタグの中でも「検索エンジンのクローラの動きを制御する」という役割を果たします。例えば、「このページは、インデックス(検索結果に掲載)しないで」という指示をすることができます。この内容を低品質なページやユーザーにとって価値の低いページに設定しておくことで、SEO上の悪影響を防ぐことができるというわけです。

<meta name="robots">とrobots.txtは違うの?

タグの中に「robots」という記述があるのを見て、「robots.txt」のことを思い出された方もいるかもしれません。

robots.txtは、主に検索エンジンの巡回を指示するファイルです。クローラが一番始めに確認する場所で、クロールすべき場所とそうではない場所を確認し、効率的にサイトを見る手助けを行います。robots.txtの詳細については、下記の記事をご覧ください。

⇒ robots.txt(ロボッツテキスト)とは? 正しい記述方法を徹底解説

<meta name="robots">とrobots.txtは、どちらも検索エンジンのクローラを指示して、読み込まないページを設定することができます。しかし、robots.txtでの設定はクローラのアクセスそのものを禁止するという点が違います。

検索エンジンの仕組みとしてまず確認するのは、robots.txtです。つまり、robots.txtでクロールをブロックしているページについては、いくら<meta name="robots">の記述をしても無意味ということになります。そもそも検索エンジンに読み取ってもらえないからです。

例えば、すでにインデックスされているページをインデックス削除したいような場合には、robots.txtを使うのではなく<meta name="robots">で設定するというのが正しい判断ということになります。robots.txtでブロックしてしまうと、設定してある<meta name="robots">を見ることができないからです。

それぞれの特徴を活かして、上手に使用するようにしましょう。

<meta name="robots">でできること

Googleが認識するすべての<meta name="robots">とその意味をまとめます。複数のディレクティブを設定する場合は、カンマ区切りのリストで設定することができます。これらのディレクティブは、大文字と小文字を区別しません。

ディレクティブ 説明
all デフォルト値であり、明示的に指定しても影響はありません。
インデックスの登録やクロール、表示についての制限はありません。
"index, follow" と同じです。
noindex Googleのデータベースにインデックスはされているものの、検索結果に出てこない状態となります。
設定しない場合、ページが検索結果に表示されることがあります。
nofollow クローラはウェブサイトの情報を取得するため、リンクをたどりながら、あらゆる情報を収集しますが、nofollowが設定してあると、クローラに対してリンクをたどらないよう指示することができます。
設定しない場合、ページ内のリンクからリンク先ページを見つけることがあります。
none noindexとnofollowの両方を設定するときは、noneだけで設定することもできます。
noneは、noindexとnofollowの両方を一括での設定となりますので、noindexだけを設定したい場合、nofollowだけを設定したい場合には、使用しないよう注意してください。
noarchive 検索エンジンにページのキャッシュを残さないよう指示をすることができます。検索結果でキャッシュリンクを表示しません。
設定しない場合、Googleがキャッシュされたページを生成し、検索結果にキャッシュリンクが表示され、ユーザーがキャッシュページにアクセスすることがあります。
nosnippet 検索結果にこのページのスニペットや動画プレビューなどを表示しません。ユーザーエクスペリエンスの向上につながる場合は、表示されることがあります。ウェブ検索、画像検索、Discoverに適用されます。
設定しない場合、ページ内にある情報を参考にテキストスニペットと動画プレビューを生成することがあります。
max-snippet:[number] スニペットに表示する文字数を設定します。[number] 部分には表示したい文字数が入ります。

特別な値:
 0:スニペットは表示されません。nosnippetと同じ意味になります。
 -1:サイトへの誘導に最も効果的と考えられるスニペットの長さが、Googleにより選択されます。

設定しない場合、サイトへの誘導に最も効果的と考えられるスニペットの長さが、Googleにより選択されます。

max-image-preview:[setting] 検索結果に表示されるプレビュー画像のサイズを設定します。

指定可能なsetting値:
 none:プレビュー画像は表示されません。
 standard:デフォルトの大きさのプレビュー画像が表示されます。
 large:ビューポートの幅に合わせたプレビュー画像が表示されます。

設定しない場合、Googleはデフォルトサイズの画像をプレビュー表示することがあります。

max-video-preview:[number] 検索結果に表示される動画プレビューの再生時間(秒)を設定します。[number] 部分には秒数が入ります。

その他のサポートされている値:
 0:静止画像のみ使用できます。max-image-previewの設定に従います。
 -1:制限はありません。

設定しない場合、Googleは検索結果にビデオスニペットを表示することがあります。プレビューの長さは、Googleが判断します。

notranslate ユーザーが使用している言語とWebページの言語が異なる場合に、検索結果に翻訳版へのリンクが表示されることがありますが、notranslateを設定すると、検索結果で翻訳版へのリンクを表示しません。
設定しない場合、Googleが翻訳されたページを表示するためのリンクを検索結果の横に表示することがあります。
noimageindex このページの画像をインデックスに登録しません。同じ画像が別のページにも使用されている場合、Googleはそのページのアクセス許可に基づいて、画像のクロールとインデックス登録を行うことがあります。
設定しない場合、ページ内の画像が検索結果に表示されることがあります。
unavailable_after:[date/time] 指定した日時以降は、このページのクロールを中止し検索結果に表示しません。
有効な [date/time] が指定されていない場合は、無視されます。デフォルトの設定では、有効期限はありません。
設定しない場合、このページはいつまでも検索結果に表示される可能性があります。
Google以外の検索エンジンによっては、これらのディレクティブの処理方法が異なる場合があります。

以下、それぞれの意味と設定方法を詳しく解説していきます。

all

デフォルト値であり、明示的に指定しても影響はありません。インデックスの登録やクロール、表示についての制限はありません。

<meta name="robots" content="all">

<meta name="robots" content="index, follow">と同じです。

noindex

設定したページのインデックスを拒否することができます。

<meta name="robots" content="noindex">

Googleのデータベースにインデックスはされているものの、検索結果に出てこない状態となります。
robots.txtとは違って、クローラはページのクロールは行います。

noindexを設定するときは、検索結果に出したくないページがある場合です。例えば、テキスト量の少ない低品質なページや重複コンテンツとして扱われそうなページなどが該当します。

⇒ noindexとnofollowの違いとSEOで正しい使い方とは

nofollow

クローラに対してページ内のリンクをたどらないよう指示することができます。

<meta name="robots" content="nofollow">

ページ内のすべてのリンクに対して、一括でnofollowを設定することができます。

しかし、この方法では、内部リンクもnofollowを設定してしまうことになります。個別にnofollowを設定したい場合は、<a>タグにrel属性を記述します。

<a href="https://www.example.com/" rel="nofollow">サンプルサイト</a>

1つずつ設定することは手間がかかるかもしれませんが、内部リンクや外部リンクによるSEO効果を考慮するなら、この方法が最もおすすめです。

⇒ noindexとnofollowの違いとSEOで正しい使い方とは

none

noindexとnofollowの両方を設定するときは、noneだけで設定することもできます。

<meta name="robots" content="none">

noneは、noindexとnofollowの両方を一括での設定となりますので、noindexだけを設定したい場合、nofollowだけを設定したい場合には、使用しないよう注意してください。

noarchive

検索エンジンにページのキャッシュを残さないよう指示をすることができます。検索結果でキャッシュリンクを表示しません。

<meta name="robots" content="noarchive">

用途としては、ネットショップや比較サイトなど頻繁に情報が変更されるページに記述することもあります。ユーザーがキャッシュの古い価格や商品情報を見てしまい、混乱しないようにするためです。

noarchiveを記述することで、検索順位に影響が出る可能性は、ありません。Googleの John Mueller氏もきっぱりと否定しています。

nosnippet

検索結果にテキストスニペットや動画プレビューを表示しないようにします。動画の場合は、ユーザーエクスペリエンスの向上につながると判断したときには、代わりに静止画像を表示することがあります。

<meta name="robots" content="nosnippet">
max-snippet:[number] とnosnippetの両方がある場合は、より制限の厳しいタグが適用されます。この場合、nosnippetが適用されます。

max-snippet:[number]

スニペットに表示する文字数を設定します。[number] 部分に表示させたい文字数を入れます。

<meta name="robots" content="max-snippet:100">

上記の例では、このページのテキストスニペットの長さを100文字に制限します。

特別な値:
 0:スニペットをなし(非表示)にする場合。nosnippetと同じ意味になります。
 -1:Googleがスニペットの長さを選択できるようにする場合。Googleは、ユーザーをサイトへ誘導するのに最も効果的であると思われるスニペットの長さを選択します。

max-image-preview:[setting]

検索結果に表示されるプレビュー画像のサイズを設定します。[setting] 部分に「none」「standard」「large」のいずれかを設定します。

<meta name="robots" content="max-image-preview:standard">

上記の例では、デフォルトの大きさのプレビュー画像が表示されます。

指定可能な[setting]:
 none:プレビュー画像は表示されません。
 standard:デフォルトの大きさのプレビュー画像が表示されます。
 large:ビューポートの幅に合わせたプレビュー画像が表示されます。

max-video-preview:[number]

検索結果に表示される動画プレビューの再生時間(秒)を設定します。[number] 部分に秒数を入れます。

<meta name="robots" content="max-video-preview:10">

上記の例では、動画プレビューの再生時間を10秒に設定しています。

その他のサポートされている値:
 0:静止画像のみ使用できます。(max-image-previewの設定に従います。)
 -1:制限はありません。

notranslate

ユーザーが使用している言語とWebページの言語が異なる場合に、検索結果に翻訳版へのリンクが表示されることがありますが、notranslateを設定すると、検索結果で翻訳版へのリンクを表示しません。

<meta name="robots" content="notranslate">

noimageindex

このページのすべての画像をインデックスに登録しないようにできます。

<meta name="robots" content="noimageindex">

同じ画像が別のページにも使用されている場合、Googleはそのページのアクセス許可に基づいて、画像のクロールとインデックス登録を行うことがあります。

画像検索をブロックするには、一般的に「robots.txt」を使用します。詳しくは、下記のGoogle公式ドキュメントをご覧ください。

⇒ ページ上の画像がGoogle検索結果に表示されないようにする | Google 検索セントラル | Google Developers

unavailable_after:[date/time]

指定した日時以降は、このページのクロールを中止し検索結果に表示しません。デフォルトの設定では、有効期限はありません。

<meta name="robots" content="unavailable_after:2021-04-01T20:30:40+09:00">

上記の例では、日本時間で「2021年4月1日20時30分40秒(グリニッジ標準時間から9時間進んでいる)」以降は、このページのクロールを中止し検索結果に表示しないように設定しています。

有効な [date/time] (ISO 8601など)が指定されていない場合は、無視されます。

用途としては、期間限定のWebページに適しています。期間限定のセールやクーポン配布ページ、求人情報ページ、一定期間経過後終了するオークションページなどが適しています。

記述する際のポイント

<meta name="robots">でできることや、どのような時に設定すべきかはお分かりいただけたと思います。次に、実際に記述するときに注意すべきポイントをご紹介します。

全ての記述は一行にまとめることができる

nooindex、noarchive、nofollowの3つのディレクティブを設定するとします。複数の設定を併用したい場合はひとまとめに記述することができます。

<meta name="robots" content="noindex, nofollow, noarchive">

併用したい内容を「,」(カンマ区切り)で記述します。このとき、カンマの後に半角スペースがあってもなくてもどちらでも認識されます。

大文字と小文字は区別しない

name属性とcontent属性はいずれも、大文字と小文字どちらで記述しても指示の内容は変わりません。

<meta name="robots" content="nofollow">
<meta name="ROBOTS" content="NOFOLLOW">
<meta name="Robots" content="NoFollow">

上記の3つ例は、いずれも同じ意味で処理されます。

ただし、小文字で記述することが一般的ですので、基本的には小文字表記をオススメします。

<meta name="robots">のデフォルト値

<meta name="robots">のデフォルト値は、all("index, follow")であり、わざわざ設定する必要はありません。

<meta name="robots" content="index, follow">
ディレクティブ 説明
index ページのインデックス登録を許可します。
follow クロールの際にページ内のリンクを追跡します。

ファイルサイズも(わずかではありますが)大きくなりますし、無駄な記述は極力避けてシンプルなソースコードを目指してください。

robots.txtのDisallowと併用しない

記事の前半でもお伝えしましたが、robots.txtのDisallowと併用しないように注意をしましょう。

robots.txtでクロールをブロックしているページについては、<meta name="robots">の記述をしてもクローラが見ることができないからです。

特に注意をしたいのは、「すでにインデックスされているページを検索結果に出したくないようなケース」です。このときにrobots.txtで先にDisallowを設定してしまうと、<meta name="robots" content="noindex">を見ることができなくなってしまい、いつまでも検索結果に表示され続けてしまします。

robots.txtと併用してしまうと思わぬトラブルのもとになりかねませんので、慎重に設定することが大切です。

⇒ robots.txt(ロボッツテキスト)とは? 正しい記述方法を徹底解説

特定のクローラのみに設定する

<meta name="robots" content="noindex">

上記の記述は、すべてのクローラに対して、検索結果にページを表示しないように検索エンジンに指示しています。name属性の値「robots」は、noindexをすべてのクローラに適用するよう設定しています。

特定のクローラのみ対象とするには、name属性の値を各クローラの名前(ユーザーエージェントトークン)に置き換えます。
Googleの場合、標準のウェブクローラのユーザーエージェントトークンは「Googlebot」です。Googleの標準ウェブクローラだけ、ページを検索結果に表示したくない場合は、下記のように設定します。

<meta name="googlebot" content="noindex">

各検索エンジンは、プロパティや目的ごとに異なるクローラを使用します。
Googleの場合は、下記のクローラの一覧をご覧ください。

⇒ Googleクローラの概要(ユーザーエージェント) | Google検索セントラル | Google Developers

あるページをGoogleニュースだけ表示したくない場合は、下記のように設定します。

<meta name="Googlebot-News" content="noindex">

複数のクローラを個別に指定するには、name属性の値にそれぞれのユーザーエージェントトークン(クローラ名)を使用します。

<meta name="googlebot" content="noindex">
<meta name="Bingbot" content="nosnippet">

<meta name="robots">に関するよくある質問

(質問)<meta name="robots">にnoindexとindexを設定した場合、どちらが優先されますか?

(回答)noindexとindexの両方がある場合は、より制限の厳しいタグが適用されます。この場合、noindexが適用されます。

(質問)<meta name="robots">にindexとfollowが記述してありますが、問題ないでしょうか?

(回答)問題ありません。
<meta name="robots">のデフォルト値は、all("index, follow")であり、わざわざ設定する必要はありません。記述してあることでファイルサイズもわずかではありますが大きくなりますし、無駄な記述は極力避けてシンプルなソースコードとなるようにしてください。

(質問)robotsメタタグは、robots.txtに代わるものですか?

(回答)いいえ。
robots.txtは、クローラのアクセスを制御します。
robotsメタタグは、ページを検索結果に表示するかどうかやページ内のリンクをたどるかどうかなどを制御します。
robotsメタタグがクローラに認識されるには、ページがクロールされる必要があります。

(質問)robotsメタタグを使用して、ページの一部分だけをインデックスに登録しないようにできますか?

(回答)いいえ。
robotsメタタグはページ単位での設定なので、ページの一部分だけという設定はできません。

(質問)<head>の外部でrobotsメタタグを使用できますか?

(回答)いいえ。
robotsメタタグはページの<head>内で使用しないと効果がないと思われます。

(質問)robotsメタタグでクロールしないように設定することはできますか?

(回答)いいえ。
robotsメタタグにnoindexが設定されている場合でも、robotsメタタグが変更されたかどうかをチェックするために、クローラは、そのページを再クロールします。クロールしないようにするには、robots.txtのDisallowで設定します。

(質問)nofollow robotsメタタグとrel="nofollow"リンク属性は、何が違うのですか?

(回答)nofollow robotsメタタグは、内部リンクを含むページ内すべてのリンクに適用されます。
rel="nofollow"リンク属性は、ページ内でrel="nofollow"を設定したリンクに対してのみ適用されます。

おわりに

<meta name="robots">(robotsメタタグ)を活用すると、検索エンジンの動きを制御でき、SEO上でもさまざまなメリットを得られることが期待されます。メタタグの設定はWebサイトの見た目には反映されませんが、SEO効果を高めるためにも適切に設定しておきたい部分です。この記事を参考に、<meta name="robots">(robotsメタタグ)の設定を取り入れていただければと思います。

 

このエントリーをはてなブックマークに追加
The following two tabs change content below.
digital-marketing

digital-marketing

デジタルマーケティング研究所では、デジタルマーケティングの施策・広告・技術を、分析・実装・検証して、WEB担当者・マーケティング担当者の方の役立つ情報を発信していきます。
お役立ち資料ダウンロード

セルマーケ

SNSでフォロー

Contact

Webマーケティングに関わる施策全般をワンストップでご提供します。
お気軽にご相談ください。

Webマーケティング最新情報をお届け
東京営業所
東京都新宿区西新宿1丁目6-1 新宿エルタワー3階
電話番号 03-6374-1393 FAX番号 0422-57-2761
大阪営業所
大阪府大阪市北区堂島1丁目5-30 堂島プラザビル10F
電話番号 06-7176-3367 FAX番号 06-7176-3368
Copyright © 2021 DM SOLUTIONS Co.,Ltd. All rights reserved.