robots.txtの編集
robots.txtは、Googleなどの検索エンジンの巡回プログラム(クローラー)に向けて、ECサイトのどこを巡回してよいかを伝えるファイルです。CS-Cartでは、このrobots.txtの内容を管理画面から編集できます。FTPでファイルをアップロードする必要はなく、内容はデータベースに保存されます。
このページでは、以下の内容を説明します。
- robots.txtの役割
- robots.txtを編集
- 書き方の例
- 複数のECサイトを運営している場合
- 管理画面で編集した内容が反映されない場合
robots.txtの役割
robots.txtは、ECサイトのドメインの直下(例:https://example.com/robots.txt)に置かれ、クローラーが最初に読みに来ます。ここに巡回してほしくない場所を書いておくと、検索エンジンはその場所を巡回しなくなります。
たとえば、CS-Cartのプログラムが入っているフォルダや、メンテナンス中に表示するページは、検索結果に出す必要がありません。こうした場所を除外しておくと、クローラーが商品ページやカテゴリーページなど、見てほしいページを優先して巡回できます。
注意:robots.txtは、巡回をお願いするためのものです。ページを非公開にする仕組みではなく、URLを知っていれば誰でも閲覧できます。お客様に見せたくないページは、ページのステータスを「無効」にするなど、別の方法で非公開にしてください。
robots.txtを編集
管理画面の左メニューから「ウェブサイト > SEO」をクリック。
「SEOルール」の画面が開きます。右上の「もっと」をクリックし、表示されたメニューから「ロボット.txt」をクリック。画面の幅が広い場合は、「ロボット.txt」ボタンが右上に直接表示されます。

「編集中: robots.txt」の画面が開きます。

- robots.txt の編集:robots.txtの内容を、1行に1つの指示で入力します。画面の例では、以下の内容が入っています。
User-agent: *
Disallow: /app/
Disallow: /store_closed.html
User-agent: * はすべてのクローラーへの指示であることを、Disallow: は巡回してほしくない場所を表します。/app/ はCS-Cartのプログラムが入っているフォルダ、/store_closed.html はECサイトを休業中にしたときの表示用のページです。
編集が終わったら、右上の「保存」ボタンをクリックします。
保存したら、ブラウザで https://(ECサイトのドメイン)/robots.txt を開き、入力した内容が表示されるか確認してください。表示が変わらない場合は、このページの最後の節をご覧ください。
書き方の例
よく使う指示は、以下のとおりです。
- User-agent:どのクローラーへの指示かを表します。
*はすべてのクローラー。 - Disallow:巡回してほしくない場所。
/から始まるパスで書きます。 - Allow:Disallowで除外した中で、例外として巡回してよい場所。
- Sitemap:XMLサイトマップの場所を、
https://から始まるURLで書きます。
たとえば、XMLサイトマップを用意していて、テスト用に作った /test/ フォルダを巡回させたくない場合は、次のように書きます。
User-agent: *
Disallow: /app/
Disallow: /store_closed.html
Disallow: /test/
Sitemap: https://example.com/sitemap.xml
注意:Disallow: / と書くと、ECサイト全体が巡回の対象外になり、検索結果から商品ページなどが消えるおそれがあります。開発中のサイトの設定をそのまま本番に持ち込まないよう、公開前に必ず内容を確認してください。
複数のECサイトを運営している場合
robots.txtの内容は、ECサイト(ストアフロント)ごとに別々に設定できます(CS-Cart 4.6.1以降)。たとえば、日本向けと海外向けのECサイトを別のドメインで運営している場合、それぞれのドメインのrobots.txtに異なるSitemapの行を書くことができます。
管理画面で編集した内容が反映されない場合
CS-Cartをインストールしたフォルダ(ルートフォルダ)に、robots.txtのファイルが実際に置かれている場合、サーバーはそのファイルを優先して返します。この場合、管理画面で入力した内容は使われません。
このとき、「編集中: robots.txt」の画面を開くと、上部に次のお知らせが表示されます。
「robots.txt ファイルが検出されました。ここでの変更は既存の robots.txt ファイルをルートフォルダから削除するまでは有効となりません。」
管理画面で内容を管理したい場合は、FTPなどでサーバーに接続し、ルートフォルダのrobots.txtを削除します。削除する前に、ファイルをパソコンに保存しておき、必要な行を管理画面の入力欄に写しておくと安全です。サーバーの操作に慣れていない場合は、サーバーの管理者や制作会社にご相談ください。
検索エンジン向けのそのほかの設定については、SEOをご覧ください。構造化データについては、構造化データ(JSON-LD)で説明しています。