Вообщем коротко – надо было сделать так чтобы поисковики не индексировали один из моих сайтов. Для чего это уже второй вопрос. Так вот порывшись в глобальной сети нашел 2 таких метода:
1) добавить мета теги на страницу (но это более эффективно если вы не хотите чтобы индексировались отдельные страницы).
2) создание файла robots.txt.
мне как раз подошел второй вариант.
User-agent: *
Disallow: /
