ロボットテキストとはホームページ作成の中級者向けの内容になります。通常は 自分が作成したホームページをすべて検索エンジンにキャッシュさせたいと思う のが普通の管理者です。しかしある程度してくるとこのページは検索エンジンに キャッシュされたくない、というページもでてきます。このようなときに使う のがロボットテキストと呼ばれるものです。
このロボットテキストを使うとある特定の検索エンジンやすべての検索エンジン をある特定のページにクロールさせず、キャッシュされないようにすることができます。 どのような場合にこのロボットテキストが必要かというと、たとえば会員専用の ログインページなど特にキャッシュさせる必要がない場合や、一時的に作った だけで後々消すサイトなどです。
逆にいえば、特に拒否する必要がなければロボットテキストを指定する必要はありません。 さて、ロボットテキストの書き方ですが、例えば全てのロボットの訪問を拒否（Disallow） する時は、「robots.txt」ロボットテキストの中身は、User-agent: * Disallow: /となります。グーグルが画像をインデックス化しないようにするには、 User-Agent: Googlebot-Image Disallow: / とします。
慣れてくると共通点も多いので、そんなに難しくはないです。設置もサーバーに ロボットテキストをアップロードするだけです。ただそれでも面倒くさいという人は noindexタグをヘッダにしてすればロボットは巡回しませんので、大丈夫です。