robots.txtとは？Search Consoleを使った確認方法と設定の基本を解説

robots.txtとは何かを初心者向けにわかりやすく解説。Search Consoleを使った確認方法、WordPressでの設定方法、noindexとの違い、SEOへの影響、よくある設定ミスや注意点まで詳しく紹介します。

「robots.txtとは何ですか？」「設定するとSEOに効果があるのでしょうか？」と疑問に思っていませんか。robots.txtは、Googleなどの検索エンジンにクロールしてほしくないページを伝えるための重要なファイルですが、設定方法を間違えると、検索結果に表示したいページまでクロールされなくなることがあります。本記事では、robots.txtの基本的な役割やnoindexとの違い、Search Consoleを使った確認方法、WordPressでの設定方法、よくある設定ミスや注意点まで、初心者にもわかりやすく解説します。

robots.txtとは？基本をわかりやすく解説

robots.txtは、検索エンジンのクローラー（Googlebotなど）に対して、「このページはクロールしてもよい」「このページはクロールしないでほしい」と伝えるための設定ファイルです。

SEO対策では重要な役割を持っていますが、設定方法を誤ると、検索結果に表示したいページまでクロールされなくなることがあります。また、「robots.txt」と「noindex」は役割が異なるため、違いを理解して使い分けることも大切です。

ここでは、robots.txtの基本的な仕組みや役割、SEOとの関係についてわかりやすく解説します。

robots.txtとは何か

robots.txtとは、Webサイトのルートディレクトリ（トップ階層）に配置するテキストファイルで、検索エンジンのクローラーにクロールのルールを伝えるためのものです。

Googlebotはサイトへアクセスすると、最初にrobots.txtを確認し、その内容に従ってクロールを行います。

例えば、管理画面や検索結果ページなど、検索結果へ表示する必要がないページをクロール対象から除外したい場合に利用されます。

robots.txtの特徴

• クローラーへの指示を記述するファイル
• サイトのルートディレクトリに設置する
• Googlebotなどが最初に確認する
• クロール範囲を制御できる
• WordPressでも利用できる

robots.txtの基本情報

項目	内容
役割	クローラーへクロールルールを伝える
設置場所	サイトのルートディレクトリ
対象	Googlebotなどの検索エンジン
主な用途	クロール制御

robots.txtの役割

robots.txtの役割は、「クロールしてほしいページ」と「クロールしなくてもよいページ」を検索エンジンへ伝えることです。

例えば、WordPressの管理画面（/wp-admin/）や検索結果ページなどをクロール対象から除外することで、Googleが重要なページを効率よくクロールしやすくなります。

ただし、robots.txtはクロールを制御するものであり、検索結果への表示（インデックス登録）を直接制御するものではありません。

主な役割

• クロール不要なページを指定する
• クロール効率を高める
• サーバーへの負荷を軽減する
• XMLサイトマップの場所を伝える
• クローラーの巡回を最適化する

robots.txtの役割一覧

役割	効果
クロール制御	不要ページを巡回しない
負荷軽減	サーバー負荷を抑える
サイトマップ指定	Googleへ場所を伝える

robots.txtとnoindexの違い

robots.txtとnoindexは混同されやすいですが、それぞれ役割が異なります。

robots.txtは「クロールを制御する」設定です。一方、noindexは「検索結果に表示しないよう指示する」設定です。

例えば、お問い合わせ完了ページを検索結果へ表示したくない場合は、noindexを利用するのが一般的です。

違いを理解するポイント

• robots.txtはクロール制御
• noindexはインデックス制御
• robots.txtだけでは検索結果から削除できない
• noindexはGoogleがページを取得できることが前提
• 用途に応じて使い分ける

robots.txtとnoindexの比較

項目	robots.txt	noindex
クロール制御	〇	×
インデックス制御	×	〇
主な用途	巡回制御	検索結果へ表示しない

Googlebotがrobots.txtを読む仕組み

Googlebotはサイトをクロールする前に、最初にrobots.txtを取得します。

その内容を確認し、「クロールを許可するページ」と「クロールしないページ」を判断してから巡回を始めます。

例えば、robots.txtで管理画面をDisallowに設定している場合、Googlebotはそのディレクトリを通常はクロールしません。

Googlebotの流れ

• サイトへアクセスする
• robots.txtを取得する
• クロールルールを確認する
• クロール可能なページを巡回する
• インデックス登録を判断する

Googlebotの処理の流れ

順番	内容
①	サイトへアクセス
②	robots.txtを確認
③	クロール対象を判断
④	ページを取得
⑤	インデックスを判断

robots.txtがSEOに与える影響

robots.txtを正しく設定すると、Googleが重要なページを優先してクロールしやすくなり、サイト全体の管理にも役立ちます。

一方で、重要なページを誤ってDisallowに設定すると、Googleがクロールできず、検索結果に影響する可能性があります。

例えば、記事ページ全体を誤ってブロックすると、新しい記事がクロールされなくなることもあります。

SEOで意識したいポイント

• 重要ページはブロックしない
• 不要ページのみ制御する
• noindexとの違いを理解する
• Search Consoleで設定を確認する
• XMLサイトマップも最新に保つ

SEOへの影響

設定内容	SEOへの影響
適切な設定	クロール効率が向上する
重要ページをブロック	検索結果へ影響する可能性がある
不要ページを制御	サイト管理がしやすくなる

robots.txtが必要になるケース

robots.txtは、すべてのWebサイトで細かく設定しなければならないわけではありません。

しかし、クロールする必要のないページが多いサイトや、WordPressで運営しているサイトでは、robots.txtを適切に利用することで、Googleが重要なページを効率よくクロールしやすくなります。

ここでは、robots.txtが役立つ代表的なケースを紹介します。

クロール不要なページを指定したいとき

robots.txtは、検索エンジンに「このページはクロールしなくてもよい」と伝えたい場合に利用します。

例えば、管理用ページやテストページなど、検索結果へ表示する必要がなく、クロールする価値が低いページを指定できます。

不要なページへのクロールを減らすことで、Googleが重要な記事や固定ページを優先して巡回しやすくなります。

利用する場面

• テストページ
• 開発用ページ
• 一時的な作業ページ
• 管理用ディレクトリ
• クロール不要なシステムページ

クロール不要なページの例

ページの種類	robots.txtの利用
テストページ	〇
管理用ページ	〇
公開記事	×
固定ページ	×

検索結果ページや管理ページを除外したいとき

WordPressでは、サイト内検索結果ページや管理画面をクロール対象から除外するケースが一般的です。

例えば、

• /wp-admin/
• /?s=検索キーワード

などのページは、通常は検索結果へ表示する必要がありません。

これらをrobots.txtで制御することで、Googleが重要なコンテンツへクロールを集中しやすくなります。

除外を検討するページ

• WordPress管理画面
• サイト内検索結果ページ
• 管理用ディレクトリ
• ログインページ
• 一時的な管理ページ

よく除外されるページ

ページ	設定することが多い
/wp-admin/	〇
検索結果ページ	〇
公開記事	×
固定ページ	×

サーバー負荷を軽減したいとき

大規模サイトや大量のページを持つサイトでは、クローラーが頻繁にアクセスするとサーバーへ負荷がかかることがあります。

robots.txtを利用して不要なページへのクロールを制限することで、サーバー負荷の軽減につながる場合があります。

例えば、数万ページ規模のECサイトでは、絞り込み検索ページや一時的なURLへのクロールを制限する運用が行われることがあります。

サーバー負荷を抑えるポイント

• 不要ページをクロール対象から外す
• システムページを制御する
• 重複ページを減らす
• XMLサイトマップを最新に保つ
• Search Consoleでクロール状況を確認する

robots.txt活用例

目的	効果
不要ページを除外	クロール効率向上
サーバー負荷軽減	アクセスを最適化
重要ページを優先	巡回しやすくなる

WordPressでrobots.txtを利用するケース

WordPressでは、robots.txtを利用して管理画面や不要なページへのクロールを制御することがあります。

また、XMLサイトマップの場所をrobots.txtへ記述しておくことで、Googleがサイトマップを見つけやすくなります。

例えば、CocoonやAll in One SEOなどのSEOプラグインでは、robots.txtを編集・管理できる機能が用意されている場合があります。

WordPressで利用する例

• 管理画面を除外する
• XMLサイトマップを指定する
• 不要ページを制御する
• SEOプラグインで管理する
• Search Consoleとあわせて確認する

WordPressでの利用例

利用方法	目的
管理画面を除外	不要なクロールを防ぐ
サイトマップ指定	Googleへ通知する
SEOプラグイン	設定を管理する

robots.txtが不要なケース

robots.txtは便利な機能ですが、すべてのサイトで必須というわけではありません。

ページ数が少ないサイトや、クロールを制限する必要がないサイトでは、robots.txtを特別に編集しなくても問題ない場合があります。

また、「検索結果へ表示したくないページ」を制御したい場合は、robots.txtではなくnoindexを利用するのが適切です。

robots.txtが不要な例

• 小規模サイト
• クロール不要ページがない
• 管理画面以外を制御しない
• インデックス制御が目的
• 特別な設定が不要

robots.txtが必要か判断する目安

サイトの状況	robots.txt
小規模ブログ	編集しなくてもよい場合が多い
WordPressサイト	必要に応じて設定
大規模サイト	活用を検討する
検索結果から除外したいページ	noindexを利用

robots.txtの書き方と基本ルール

robots.txtは、決められたルールに沿って記述する必要があります。

記述方法はシンプルですが、書き方を間違えると、Googlebotが重要なページをクロールできなくなる可能性があります。そのため、それぞれのディレクティブ（指示）の役割を理解して設定することが大切です。

ここでは、robots.txtでよく使われる基本的な書き方を紹介します。

User-agentの書き方

User-agentは、「どのクローラーに対してルールを適用するか」を指定する項目です。

Googlebotだけに適用することもできますが、多くの場合は「*（アスタリスク）」を使って、すべての検索エンジンのクローラーを対象にします。

例えば、すべてのクローラーに同じルールを適用する場合は、次のように記述します。

User-agent: *

User-agentのポイント

• 対象となるクローラーを指定する
• 「*」はすべてのクローラーを意味する
• Googlebotだけを指定することも可能
• User-agentごとにルールを分けられる
• 大文字・小文字の入力ミスに注意する

User-agentの例

記述例	対象
User-agent: *	すべてのクローラー
User-agent: Googlebot	Googlebotのみ

Disallowの書き方

Disallowは、「このページやフォルダーはクロールしないでください」と伝える指示です。

例えば、WordPressの管理画面をクロール対象から除外する場合は、次のように記述します。

User-agent: *
Disallow: /wp-admin/

ただし、公開したい記事や固定ページまで誤って指定すると、Googlebotがクロールできなくなるため注意が必要です。

Disallowを使う場面

• 管理画面を除外する
• テストページを除外する
• 一時的な作業ページを除外する
• システムページを除外する
• 不要なディレクトリを除外する

Disallowの例

記述例	意味
Disallow: /wp-admin/	管理画面をクロールしない
Disallow: /test/	testフォルダーをクロールしない

Allowの書き方

Allowは、Disallowで制限したフォルダー内でも、「このページだけはクロールしてよい」と指定するときに使用します。

WordPressでは、管理画面内の一部ファイルをGooglebotが利用できるようにするため、Allowが設定されることがあります。

例えば、次のように記述します。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

この設定では、管理画面全体はクロール対象外ですが、「admin-ajax.php」だけはクロールできます。

Allowを利用するポイント

• Disallowと組み合わせて使う
• 必要なファイルだけ許可する
• WordPressで利用されることが多い
• CSSやJavaScriptに使う場合もある
• 必要な場合のみ設定する

Allowの例

記述例	意味
Allow: /wp-admin/admin-ajax.php	このファイルだけ許可する
Allow: /images/	画像フォルダーを許可する

Sitemapの書き方

robots.txtには、XMLサイトマップの場所を記述できます。

GoogleはSearch Consoleからサイトマップを送信できますが、robots.txtにも記載しておくことで、クローラーがサイトマップを見つけやすくなります。

例えば、次のように記述します。

Sitemap: https://example.com/sitemap.xml

WordPressでXMLサイトマップを利用している場合は、正しいURLを指定しましょう。

Sitemapを記述するメリット

• Googleが見つけやすくなる
• 新しい記事を把握しやすい
• クロール効率の向上が期待できる
• Search Consoleと併用できる
• 記述は1行でよい

Sitemapの例

記述例	内容
Sitemap: https://example.com/sitemap.xml	XMLサイトマップの場所

コメント（#）の使い方

robots.txtでは、「#（シャープ）」を使うとコメントを書けます。

コメントはGooglebotには無視されるため、設定内容のメモや管理用の説明を書く際に便利です。

例えば、次のように記述します。

# WordPress管理画面を除外
User-agent: *
Disallow: /wp-admin/

複数人でサイトを管理している場合や、後から設定内容を見直す場合にも役立ちます。

コメントを書くメリット

• 設定内容を説明できる
• 管理しやすくなる
• 後から見直しやすい
• クローラーには影響しない
• 必要に応じて活用する

コメントの例

記述例	内容
# 管理画面を除外	設定の説明
# サイトマップ	サイトマップの説明

robots.txtでよく使う基本構成（サンプル）

次は、WordPressサイトでよく使われる基本的な記述例です。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

※「https://example.com/」の部分は、ご自身のサイトURLに置き換えてください。

Search Consoleを使ってrobots.txtを確認する方法

robots.txtを設定したら、「正しく反映されているか」「Googleがどのように認識しているか」を確認することが大切です。

Search Consoleにはrobots.txt専用の確認画面はありませんが、URL検査ツールやページレポートを利用することで、robots.txtの影響を確認できます。

ここでは、設定内容を確認するための基本的な方法を紹介します。

robots.txtファイルへアクセスする

まずは、robots.txtファイルが正しく公開されているか確認しましょう。

ブラウザのアドレスバーに、次のようなURLを入力すると内容を確認できます。

https://あなたのドメイン/robots.txt

例えば、「https://example.com」の場合は、

https://example.com/robots.txt

となります。

ファイルが表示されない場合は、robots.txtが作成されていないか、配置場所に問題がある可能性があります。

確認するポイント

• robots.txtが表示される
• URLが正しい
• 記述内容に誤りがない
• Sitemapが正しく記載されている
• 不要なDisallowがない

robots.txt確認表

確認項目	正常な状態
robots.txt	表示される
URL	正しい
Sitemap	記載されている
記述	誤りがない

Search Consoleでクロール状況を確認する

robots.txtの設定後は、Search Consoleでクロール状況を確認しましょう。

robots.txtでブロックされたページは、Googleがクロールできない場合があります。

そのため、Search Consoleの各レポートを確認し、意図しないページがブロックされていないか確認することが重要です。

確認するポイント

• エラーが表示されていない
• クロール状況に変化がない
• 重要ページがクロールされている
• クロール済みページを確認する
• 新しいエラーが増えていない

クロール確認項目

確認内容	見るポイント
クロール状況	正常か
エラー	増えていないか
重要ページ	クロールされているか

URL検査ツールでクロール可否を確認する

Search ConsoleのURL検査ツールでは、特定のページがGoogleからどのように認識されているか確認できます。

robots.txtで誤ってクロールを制限している場合は、URL検査ツールに関連する情報が表示されることがあります。

例えば、公開した記事がクロールされない場合は、URL検査ツールで現在の状態を確認すると原因の特定に役立ちます。

URL検査ツールで確認する項目

• Googleがページを取得できるか
• クロール可能か
• インデックス登録状況
• robots.txtの影響がないか
• 公開URLテストが成功するか

URL検査確認表

確認項目	正常な状態
ページ取得	成功
クロール	可能
インデックス	対象
エラー	なし

---

ページレポートでクロール状況を確認する

Search Consoleのページレポートでは、Googleがクロールしたページやインデックス登録されていないページを確認できます。

robots.txtの設定に問題がある場合は、「ブロックされました」「クロールできませんでした」などの情報が表示されることがあります。

例えば、重要な記事がインデックス登録されていない場合は、ページレポートから原因を確認しましょう。

ページレポートで確認するポイント

• インデックス登録状況
• クロール済みページ
• ブロックされたページ
• エラー件数
• 修正後の変化

ページレポート確認表

確認項目	内容
登録済みページ	正常に表示される
未登録ページ	原因を確認する
エラー	内容を確認する

設定変更後に確認するポイント

robots.txtを編集した後は、設定が正しく反映されているか必ず確認しましょう。

特に、Disallowの設定を変更した場合は、重要なページが誤ってブロックされていないか確認することが大切です。

また、XMLサイトマップを更新した場合は、Search Consoleで送信状況も確認しておくと安心です。

設定変更後のチェック項目

• robots.txtが正しく表示される
• URL検査ツールで確認する
• ページレポートを確認する
• XMLサイトマップを確認する
• 数日後に再度Search Consoleを確認する

設定変更後の確認手順

手順	確認内容
①	robots.txtを表示する
②	URL検査ツールで確認する
③	ページレポートを見る
④	サイトマップを確認する
⑤	数日後に再確認する

WordPressでrobots.txtを設定する方法

WordPressでは、robots.txtを設定する方法がいくつかあります。

小規模なブログであれば、WordPressが自動生成する「仮想robots.txt」を利用するだけで十分な場合もあります。一方で、細かく設定を変更したい場合は、SEOプラグインやFTPを使ってrobots.txtを編集できます。

ここでは、WordPressでrobots.txtを設定・編集する代表的な方法を紹介します。

WordPressの仮想robots.txtとは

WordPressには、仮想robots.txtという仕組みがあります。

実際にrobots.txtファイルがサーバー上に存在しなくても、https://あなたのドメイン/robots.txtへアクセスすると、自動的にrobots.txtの内容が表示されることがあります。

そのため、特別な設定をしていないWordPressサイトでも、基本的なrobots.txtが利用できる場合があります。

仮想robots.txtの特徴

• WordPressが自動生成する
• 実際のrobots.txtファイルがなくても利用できる
• 基本的な設定のみ対応
• 細かな編集はできない
• 必要に応じて実ファイルへ切り替えられる

仮想robots.txtの概要

項目	内容
自動生成	〇
細かな編集	×
初心者向け	〇
実ファイル作成	不要な場合が多い

Cocoon利用時のrobots.txtについて

Cocoonは人気のWordPressテーマですが、Cocoon自体にrobots.txtを編集する機能はありません。

通常はWordPressの仮想robots.txtを利用し、必要に応じてSEOプラグインやFTPで設定を追加します。

例えば、XMLサイトマップを利用している場合は、robots.txtへサイトマップURLを記載することでGoogleが見つけやすくなります。

Cocoon利用時のポイント

• WordPress標準のrobots.txtを利用する
• 必要ならSEOプラグインを利用する
• XMLサイトマップを確認する
• Search Consoleで送信状況を確認する
• 重要ページをDisallowしない

Cocoonでの管理方法

方法	利用できる
仮想robots.txt	〇
テーマ設定で編集	×
SEOプラグイン	〇
FTP編集	〇

All in One SEOでrobots.txtを編集する方法

**All in One SEO（AIOSEO）**には、robots.txtを編集できる機能があります。

FTPを使わなくても管理画面から編集できるため、初心者でも比較的扱いやすい方法です。

例えば、WordPress管理画面からrobots.txtの内容を編集し、DisallowやSitemapの設定を追加できます。

編集手順

• WordPressへログインする
• All in One SEOを開く
• 「ツール」または「robots.txt」設定を開く
• 内容を編集する
• 保存後に動作確認する

※プラグインのバージョンによってメニュー名や画面構成が異なる場合があります。

AIOSEOの特徴

項目	内容
管理画面から編集	〇
FTP不要	〇
初心者向け	〇
保存後確認	必要

FTPでrobots.txtを作成・編集する方法

robots.txtを自由に編集したい場合は、FTPソフトを使って実際のrobots.txtファイルを作成できます。

例えば、サーバーへ接続し、サイトのルートディレクトリへrobots.txtをアップロードします。

編集前には、現在のファイルをバックアップしておくと安心です。

FTPで作業するポイント

• バックアップを取得する
• ルートディレクトリへ配置する
• UTF-8形式で保存する
• 編集後にアップロードする
• ブラウザで表示確認する

FTP作業の流れ

手順	内容
①	FTPで接続する
②	robots.txtを作成・編集する
③	ルートディレクトリへ保存する
④	ブラウザで確認する

H3｜設定後に動作確認する方法

robots.txtを編集したら、必ず設定内容を確認しましょう。

ブラウザでrobots.txtを表示するだけでなく、Search ConsoleのURL検査ツールやページレポートも確認すると安心です。

例えば、重要な記事がクロールできなくなっていないかを確認することで、設定ミスを早期に発見できます。

確認するポイント

• robots.txtが表示される
• 記述内容が正しい
• URL検査ツールで確認する
• ページレポートにエラーがない
• XMLサイトマップも確認する

設定後の確認手順

手順	確認内容
①	robots.txtを表示する
②	記述内容を確認する
③	URL検査ツールを利用する
④	ページレポートを確認する
⑤	数日後に再確認する

robots.txtでよく使う設定例

robots.txtは、サイトの構成や運営目的に合わせて設定します。

ただし、設定を誤ると、Googleが重要なページをクロールできなくなる恐れがあります。そのため、「何をクロールさせたくないのか」を明確にしてから設定することが重要です。

ここでは、WordPressサイトでよく利用される代表的な設定例を紹介します。

WordPress管理画面をクロールさせない設定

WordPressの管理画面（wp-admin）は、検索結果へ表示する必要がないため、一般的にはGooglebotのクロール対象から除外します。

ただし、管理画面内で動作に必要な「admin-ajax.php」は、多くの環境でAllowによってクロールを許可する設定が採用されています。

設定例

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

ポイント

• 管理画面をクロール対象から外す
• 必要なファイルはAllowで許可する
• WordPress標準に近い設定を参考にする
• 公開ページはブロックしない
• 設定後は動作を確認する

管理画面の設定例

設定項目	内容
User-agent	すべてのクローラー
Disallow	管理画面を除外
Allow	必要なファイルのみ許可

検索結果ページをブロックする設定

WordPressのサイト内検索ページは、検索キーワードごとに多数のURLが生成されます。

これらのページは重複コンテンツになりやすく、通常は検索エンジンへ積極的にクロールしてもらう必要はありません。

例えば、検索URLが

https://example.com/?s=SEO

のような形式の場合、検索ページをクロール対象から除外する設定を検討できます。

設定例

User-agent: *
Disallow: /?s=

※検索URLの形式はテーマやプラグインによって異なる場合があります。

利用する場面

• サイト内検索ページ
• 重複URLが多いサイト
• クロール効率を高めたい場合
• 大規模サイト
• ECサイトなど

検索ページの設定

対象ページ	設定例
検索結果ページ	Disallowを検討
公開記事	設定しない
固定ページ	設定しない

画像やCSS・JavaScriptはブロックしない

現在のGoogleは、ページを正しく理解するために、CSSやJavaScriptなどのリソースも取得しています。

そのため、画像・CSS・JavaScriptを不用意にブロックすると、Googleがページを正しくレンダリングできず、SEOへ悪影響を及ぼす可能性があります。

例えば、デザインファイルやスクリプトをDisallowすると、Googleが実際の表示内容を正確に把握できないことがあります。

注意するポイント

• CSSはブロックしない
• JavaScriptはブロックしない
• 必要な画像はブロックしない
• Googleがページを再現できる状態にする
• 特別な理由がある場合のみ制限する

ブロックの考え方

対象	おすすめ
CSS	ブロックしない
JavaScript	ブロックしない
画像	基本的にブロックしない
公開記事	ブロックしない

XMLサイトマップを指定する設定

robots.txtには、XMLサイトマップのURLを記載できます。

GoogleはSearch Consoleからサイトマップを送信できますが、robots.txtにも記載しておくことで、クローラーがサイトマップを見つけやすくなります。

一般的には、次のように記述します。

Sitemap: https://example.com/sitemap.xml

WordPressでは、利用しているプラグインや機能によってサイトマップURLが異なる場合がありますので、実際のURLを確認して記載しましょう。

ポイント

• サイトマップURLを記載する
• 正しいURLを指定する
• Search Consoleにも送信する
• 更新後は表示確認する
• URL変更時は修正する

Sitemap設定例

記述	内容
Sitemap: https://example.com/sitemap.xml	サイトマップを指定

設定例のサンプル一覧

WordPressサイトでよく利用される基本的なrobots.txtの例です。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

※「https://example.com/」は、ご自身のサイトURLへ変更してください。

この設定は、WordPressサイトで広く利用されている基本例です。ただし、サイト構成によって最適な設定は異なるため、そのままコピーするのではなく、自分のサイトに合わせて確認・調整しましょう。

設定時のチェックポイント

• User-agentを確認する
• Disallowの対象を確認する
• Allowが必要か確認する
• SitemapのURLを確認する
• 編集後はSearch Consoleで確認する

robots.txt設定早見表

設定項目	目的	推奨度
User-agent	対象クローラーを指定	★★★★★
Disallow	不要ページを除外	★★★★★
Allow	必要なファイルを許可	★★★★☆
Sitemap	サイトマップを通知	★★★★★

robots.txt設定時の注意点

robots.txtは便利な設定ファイルですが、使い方を間違えると、Googleが重要なページをクロールできなくなる可能性があります。

特に初心者の方は、「クロールを制御する機能」と「検索結果へ表示しない機能」を混同しやすいため注意が必要です。

ここでは、robots.txtを設定する際に押さえておきたいポイントを解説します。

重要なページを誤ってブロックしない

robots.txtでは、公開したい記事や固定ページを誤ってブロックしないよう注意しましょう。

例えば、記事が保存されているフォルダーをDisallowに設定すると、Googlebotが記事をクロールできなくなり、検索結果へ影響する可能性があります。

設定を変更した後は、重要なページが正常にクロールされているか確認することが大切です。

注意するポイント

• 公開記事はブロックしない
• 固定ページはブロックしない
• 商品ページやサービスページも確認する
• Disallowの対象を慎重に確認する
• URL検査ツールで動作を確認する

ブロック設定の例

ページ	設定の目安
公開記事	ブロックしない
固定ページ	ブロックしない
WordPress管理画面	ブロックを検討
テストページ	ブロックを検討

CSSやJavaScriptをブロックしない

Googleは現在、CSSやJavaScriptを利用してページ全体を表示・解析しています。

そのため、これらのファイルをrobots.txtでブロックすると、Googleがページを正しく読み取れず、検索順位へ悪影響を与える可能性があります。

例えば、レイアウトやメニューがJavaScriptで表示されるサイトでは、JavaScriptをブロックするとGoogleが正しい内容を把握できないことがあります。

確認するポイント

• CSSは基本的にブロックしない
• JavaScriptはブロックしない
• 必要な画像もブロックしない
• レンダリングに必要なファイルを許可する
• URL検査ツールで表示を確認する

リソースファイルの扱い

対象	推奨設定
CSS	許可する
JavaScript	許可する
画像	基本的に許可する
公開記事	許可する

robots.txtだけではインデックスを防げない

robots.txtはクロールを制御するためのファイルであり、検索結果への表示を完全に防ぐものではありません。

外部サイトからリンクされているページなどは、Googleがページ内容を取得できなくてもURLだけを検索結果へ表示する場合があります。

検索結果へ表示したくないページは、robots.txtではなくnoindexを利用することが基本です。

理解しておきたいポイント

• robots.txtはクロール制御
• インデックス削除の機能ではない
• noindexは検索結果の表示を制御する
• 用途によって使い分ける
• Google公式の仕様を理解する

robots.txtとnoindexの違い

項目	robots.txt	noindex
クロール制御	〇	×
検索結果へ表示しない	×	〇
主な用途	巡回制御	インデックス制御

noindexとの違いを理解する

robots.txtとnoindexは、それぞれ目的が異なります。

robots.txtは「Googlebotがページをクロールするかどうか」を制御します。一方、noindexは「ページを検索結果へ表示しないようにする」ための設定です。

例えば、お問い合わせ完了ページや会員専用ページを検索結果へ表示したくない場合は、noindexを利用するのが適しています。

使い分けのポイント

• クロールを制御したい → robots.txt
• 検索結果へ表示したくない → noindex
• 用途を混同しない
• Googleの仕様に沿って設定する
• 設定後はSearch Consoleで確認する

使い分け早見表

目的	利用する設定
クロール制御	robots.txt
検索結果から除外	noindex
管理画面の制御	robots.txt
完了ページの非表示	noindex

設定変更後はSearch Consoleで確認する

robots.txtを変更した後は、必ずSearch Consoleでクロール状況を確認しましょう。

設定ミスがあると、Googlebotが重要なページをクロールできなくなることがあります。

例えば、新しく公開した記事がインデックス登録されない場合は、URL検査ツールやページレポートを利用して原因を確認できます。

確認するポイント

• robots.txtが正しく表示される
• URL検査ツールで確認する
• ページレポートを確認する
• インデックス状況を確認する
• 数日後にも再確認する

確認手順

手順	確認内容
①	robots.txtを表示する
②	URL検査ツールで確認する
③	ページレポートを見る
④	インデックス状況を確認する
⑤	数日後に再確認する

robots.txtでやってはいけないこと

robots.txtは、Googleなどの検索エンジンのクローラーを制御する便利なファイルですが、設定を誤るとサイト全体のSEOに悪影響を与えることがあります。

特に、「とりあえず設定しておこう」と内容を十分に理解せず変更すると、重要なページがクロールされなくなるケースも少なくありません。

ここでは、robots.txtで避けたい代表的な設定ミスを紹介します。

サイト全体をDisallowしてしまう

robots.txtで最も注意したいのが、サイト全体をクロール禁止にしてしまうことです。

例えば、次のような設定をすると、Googlebotはサイト内のすべてのページをクロールできなくなります。

User-agent: *
Disallow: /

開発中のサイトでは利用されることがありますが、公開中のサイトでこの設定を残してしまうと、新しい記事や更新したページがGoogleに認識されにくくなる可能性があります。

注意するポイント

• 公開サイトでは設定内容を十分確認する
• 開発環境の設定を本番環境へ持ち込まない
• 公開前にrobots.txtを確認する
• Search Consoleでクロール状況を確認する
• バックアップを取ってから編集する

Disallow設定の例

設定例	影響
Disallow: /	サイト全体をクロール禁止
Disallow: /wp-admin/	管理画面のみ制限
Disallow: /test/	テストページのみ制限

インデックス削除目的でrobots.txtを使う

robots.txtは、ページのクロールを制御するためのファイルです。

そのため、「検索結果からページを削除したい」という目的でrobots.txtを利用するのは適切ではありません。

例えば、お問い合わせ完了ページを検索結果へ表示したくない場合は、robots.txtではなくnoindexを利用します。

正しい使い分け

• クロールを制御したい → robots.txt
• 検索結果から除外したい → noindex
• URL削除ツールは一時的な削除に利用する
• 用途を混同しない
• Google公式仕様を確認する

robots.txtとnoindexの比較

目的	利用する設定
クロールを制御する	robots.txt
検索結果から除外する	noindex
一時的に検索結果から非表示にする	URL削除ツー

設定内容を理解せずコピーする

インターネット上にはrobots.txtのサンプルが数多く公開されていますが、そのままコピーすることはおすすめできません。

サイト構成や利用しているテーマ、プラグインによって最適な設定は異なります。

例えば、他サイト用の設定をそのまま使うと、自分のサイトに必要なフォルダーまでブロックしてしまう可能性があります。

設定前に確認すること

• サイト構成を確認する
• WordPressテーマを確認する
• SEOプラグインを確認する
• 不要な設定を追加しない
• 編集後は動作確認する

コピー前の確認事項

確認項目	内容
サイト構成	自分のサイトに合っているか
テーマ	設定が適切か
プラグイン	重複設定がないか
動作確認	必ず実施する

古いrobots.txtを放置する

サイト構成やWordPressの設定が変わっているにもかかわらず、古いrobots.txtをそのまま使用しているケースがあります。

例えば、URL構造を変更した後も以前のDisallow設定が残っていると、不要なページをクロールしたり、重要なページを誤って制限したりする可能性があります。

定期的にrobots.txtを見直し、現在のサイト構成に合っているか確認しましょう。

見直すタイミング

• WordPressを更新した
• テーマを変更した
• プラグインを変更した
• サイト構成を変更した
• URL構造を変更した

見直しが必要なケース

変更内容	robots.txtの確認
テーマ変更	必要
URL変更	必要
サイト移転	必要
WordPress更新	確認を推奨

変更後に確認を行わない

robots.txtは、編集しただけでは安心できません。

設定ミスに気付かず公開すると、Googlebotが重要なページをクロールできない状態が続くことがあります。

例えば、robots.txtを変更した後は、ブラウザで内容を確認し、Search ConsoleのURL検査ツールやページレポートでクロール状況を確認しましょう。

確認するポイント

• robots.txtが正しく表示される
• 記述内容に誤りがない
• URL検査ツールで確認する
• ページレポートでエラーを確認する
• 数日後にも再確認する

編集後の確認手順

手順	確認内容
①	robots.txtを表示する
②	記述内容を確認する
③	URL検査ツールを利用する
④	ページレポートを確認する
⑤	数日後に再確認する

robots.txtでよくある質問

robots.txtについては、「本当に必要なの？」「変更するとすぐ反映されるの？」など、多くの疑問があります。

ここでは、初心者の方からよく寄せられる質問をQ&A形式でわかりやすく解説します。

robots.txtは必ず必要ですか？

いいえ、すべてのWebサイトでrobots.txtが必須というわけではありません。

小規模なブログや一般的なWebサイトでは、特別にクロールを制御する必要がない場合もあります。

一方で、WordPressの管理画面や検索結果ページなど、クロールしてほしくないページがある場合は、robots.txtを活用すると効果的です。

判断のポイント

• 小規模ブログでは必須ではない
• クロール不要ページがある場合は利用する
• 大規模サイトでは活用するケースが多い
• WordPressでも必要に応じて設定する
• Google公式ガイドラインを参考にする

robots.txtが必要なケース

サイトの種類	必要性
小規模ブログ	必須ではない
企業サイト	必要に応じて利用
ECサイト・大規模サイト	利用を推奨

robots.txtとnoindexは何が違いますか？

robots.txtとnoindexは役割が異なります。

robots.txtはGooglebotのクロールを制御する設定であり、noindexは検索結果へ表示しないよう指示する設定です。

例えば、お問い合わせ完了ページを検索結果に表示したくない場合は、noindexを利用します。

違いのポイント

• robots.txtはクロール制御
• noindexはインデックス制御
• 用途を混同しない
• 検索結果から除外するならnoindex
• クロール制御ならrobots.txt

robots.txtとnoindexの比較

項目	robots.txt	noindex
クロール制御	〇	×
検索結果から除外	×	〇
主な用途	巡回制御	インデックス制御

設定を変更するとすぐ反映されますか？

robots.txtを変更すると、ファイル自体はすぐに更新されます。

しかし、Googleが新しい内容を認識するには、robots.txtを再取得するまで少し時間がかかることがあります。

例えば、変更後すぐに反映される場合もありますが、状況によっては数時間から数日程度かかることもあります。

変更後に行うこと

• robots.txtをブラウザで確認する
• URL検査ツールを利用する
• Search Consoleを確認する
• ページレポートを見る
• 数日後に再確認する

反映までの目安

項目	目安
robots.txt更新	すぐ反映
Googleの再取得	数時間〜数日
Search Console反映	クロール後

WordPressではrobots.txtは自動作成されますか？

はい、WordPressでは仮想robots.txtが自動的に利用される場合があります。

そのため、実際のrobots.txtファイルを作成していなくても、

https://あなたのドメイン/robots.txt

へアクセスすると内容が表示されることがあります。

ただし、細かな設定を追加したい場合は、SEOプラグインやFTPを利用して編集する必要があります。

覚えておきたいポイント

• WordPressには仮想robots.txtがある
• 実ファイルがなくても利用できる場合がある
• 細かな編集は別途必要
• SEOプラグインでも編集できる
• FTPでも作成できる

WordPressでの管理方法

方法	利用できる
仮想robots.txt	〇
SEOプラグイン	〇
FTP編集	〇

Search Consoleだけでrobots.txtを編集できますか？

いいえ、現在のSearch Consoleにはrobots.txtを編集する機能はありません。

以前は「robots.txtテスター」が提供されていましたが、現在は利用できません。

robots.txtを編集する場合は、WordPress、SEOプラグイン、FTP、またはサーバーのファイル管理機能を利用します。

編集方法

• WordPress
• All in One SEO
• FTPソフト
• サーバーのファイルマネージャー
• テキストエディター

編集方法一覧

方法	編集できる
Search Console	×
WordPress	△（環境による）
SEOプラグイン	〇
FTP	〇

robots.txtを削除するとどうなりますか？

robots.txtを削除しても、Googleは通常どおりサイトをクロールできます。

ただし、これまでrobots.txtでクロールを制御していたページも対象になるため、不要なページまでクロールされる可能性があります。

例えば、管理画面や検索結果ページを制御していた場合は、それらもクロール対象になることがあります。

削除前に確認すること

• 管理画面の設定
• 検索結果ページ
• XMLサイトマップ
• クロール不要ページ
• Search Consoleの状況

robots.txt削除後の変化

状況	影響
クロール制御なし	Googleが通常どおりクロールする
管理画面の制御	設定内容によって変わる
重要ページ	通常どおりクロールされる

robots.txtを正しく設定してGoogleがクロールしやすいサイトを作ろう

robots.txtは、Googleなどの検索エンジンに「どのページをクロールするか」を伝えるための重要な設定ファイルです。適切に設定することで、不要なページへのクロールを抑え、重要な記事や固定ページを効率よく巡回してもらいやすくなります。

一方で、設定を誤ると公開したいページまでクロールされなくなる可能性があります。また、robots.txtはインデックス登録を制御する機能ではないため、noindexとの違いを理解して使い分けることも大切です。

設定後はSearch ConsoleやURL検査ツールを活用し、Googleがページを正常にクロールできているか定期的に確認しましょう。

今日覚えておきたい重要ポイント3つ

robots.txtを安全に運用するために、次の3つを覚えておきましょう。

重要ポイント

• robots.txtは、Googlebotのクロールを制御するための設定ファイルです。
• 検索結果へ表示したくないページには、robots.txtではなくnoindexを利用します。
• 設定を変更した後は、Search ConsoleやURL検査ツールで必ず動作を確認しましょう。

robots.txtの役割と設定例早見表

robots.txtでよく使う設定を一覧表にまとめました。

設定項目	役割	設定例
User-agent	対象クローラーを指定	User-agent: *
Disallow	クロールしないページを指定	Disallow: /wp-admin/
Allow	クロールを許可するページを指定	Allow: /wp-admin/admin-ajax.php
Sitemap	XMLサイトマップの場所を通知	Sitemap: https://example.com/sitemap.xml
コメント（#）	設定内容のメモ	# WordPress管理画面

設定前チェックリスト

robots.txtを編集する前に、次の項目を確認しておきましょう。

チェックリスト

• □ 公開記事や固定ページを誤ってブロックしていない
• □ Disallowの対象を確認した
• □ noindexとの違いを理解している
• □ XMLサイトマップのURLを確認した
• □ 現在のrobots.txtをバックアップした
• □ WordPressやSEOプラグインの設定を確認した
• □ 編集内容を理解したうえで変更する

設定後の確認手順

robots.txtを編集した後は、Googleが正しく認識しているか確認することが重要です。

確認手順

手順	確認内容
①	ブラウザで「https://あなたのドメイン/robots.txt」を開く
②	記述内容に誤りがないか確認する
③	Search ConsoleのURL検査ツールで対象ページを確認する
④	ページレポートでクロール状況やエラーを確認する
⑤	数日後に再度Search Consoleで状態を確認する

確認時のポイント

• robots.txtが正常に表示される
• 重要ページがクロール可能になっている
• エラーが発生していない
• XMLサイトマップも正常に送信されている
• 必要に応じて設定を見直す

次に読むおすすめSearch Console関連記事

robots.txtを理解したら、次はSearch Consoleの各機能も活用してサイト全体のSEOを改善していきましょう。

おすすめ記事

• Search Console完全ガイド｜登録方法からSEO改善まで初心者向けに徹底解説

• Search Consoleとは？初心者でもわかるできることと導入するメリットを解説

• Search Consoleの登録方法｜初期設定から所有権確認まで完全ガイド

• Search Consoleでサイトマップを送信する方法｜XML Sitemapの設定手順を解説

• Search ConsoleのURL検査ツールとは？使い方とインデックス登録方法を解説

• Search Consoleでインデックス登録をリクエストする方法と注意点を解説

• 「クロール済み – インデックス未登録」の原因と改善方法を徹底解説

• 「検出 – インデックス未登録」の原因とは？インデックスされない理由を解説

• Search Consoleのリダイレクトエラーとは？原因と解決方法をわかりやすく解説

参考元：

• Google Search Central
• Google Search Console ヘルプ
• Google Search Central「robots.txt の仕様」
• Google Search Central「robots メタタグ、data-nosnippet、X-Robots-Tag」
• Google 検索の基本事項（Search Essentials）
• WordPress.org 公式ドキュメント
• RFC 9309（Robots Exclusion Protocol）

推測や不確かな情報について：

Googleはrobots.txtの仕様や基本動作を公開していますが、クロール頻度や再取得のタイミング、検索順位への影響を決定するアルゴリズムの詳細は公表していません。また、WordPressのrobots.txtの動作はテーマ・プラグイン・サーバー環境によって異なる場合があります。そのため、本記事はGoogle公式情報と一般的なWordPress環境を前提としており、すべての環境で同じ結果になることを保証するものではありません。

まとめ

robots.txtは、Googleなどの検索エンジンに対して「クロールしてよいページ」と「クロールしないページ」を伝えるための設定ファイルです。ただし、インデックス登録を防ぐ機能ではないため、noindexとの違いを正しく理解することが重要です。設定を誤ると、重要なページまでクロールされなくなる恐れがあります。Search ConsoleやURL検査ツールを活用して設定内容を確認し、XMLサイトマップとあわせて適切に管理することで、Googleがクロールしやすいサイト運営につながります。