robots.txtを使ってGoogle,Yahoo!,Bing,Askに通知することができます。サイトマップをxml形式で作られている方は簡単な作業で終わりますよ。robots.txtの書き方を掲載していますので参考にしてください。
robots.txtとは検索ロボットへ運営者の考えを通知するためのファイルです。ウェブサイトのトップディレクトリに設置すると検索エンジンが自動的に情報を取得します。これまでのrobots.txtは検索エンジンの制御として活用されてきました。
GoogleやYahoo,bingなどは個別にサイトマップを通知するウェブマスターツールを提供していますが、robots.txtにSitemaps Autodiscoveryというサイトマップを通知する機能があります。ロボットテキストにサイトマップの場所を書くだけで簡単に通知することができます。まだ検索エンジン用のサイトマップを作られていない場合はサイトマップを作成を参考に作成されてください。
robots.txtの作り方と書き方
- 1.メモ帳などのテキストエディタソフトを使って「robots.txt」という名前のファイルを作ります。
- 2.サイトマップを置いているURLまで案内するために次のように一行追加します。
Sitemap: http://sample.jp/sitemap.xml※sample.jpのURLはご自分のものに置き換えてください。
これだけで終了です。簡単な作業ですのでお試しください。

