robots.txt(ロボットテキスト) | SEO対策用語集

robots.txt(ロボットテキスト)

 
ロボットテキストとは、クローラーに対してインディックスの拒否や、特定リンクの否定などを指定できるファイルです。
クローラーはリンク経由でウェブサイトを巡回していますが、その際に一番初めに解読するのがこのロボットテキストとなります。
主に、運営者側がアクセス集中によるサーバーの負荷を回避するためにミラーサイトを作成し、そのミラーサイトをインディックスさせないと宣言する時などに使います。 これは、インディックスしようとして 「 別のウェブサイトと酷似しており、違反サイトである 」 とクローラーに判断されるのを防ぐ目的があります。
 
一覧に戻る
 
 
 

お問い合わせ、ご相談はコチラ / SEO対策無料診断受付中

SEO要素をチェック!有効なキーワードを選定!現在の順位をチェックなど!無料サイト診断受付中!
SEO対策に有効なキーワードがわからない、検索エンジンでの順位を調べて欲しい、サイトのSEO診断をしてほしい、SEO対策がよくわからないなど、お客様のご相談やサイト診断を行い丁寧にご説明いたしますので、まずはお気軽にご相談ください。
オフィスLS
Company MENU
PR Information
TOPに戻る