Индексация сайта поисковыми система - это процесс занесения их в поисковую базу. После чего они начинают ранжироваться с другими документами. Обычно у вебмастеров возникает противоположный вопрос с ускорением индексации. В этой статье мы рассмотрим обратный вопрос: как запретить индексацию сайта.
Зачем запрещать индексацию сайта?Такая задача возникает редко. Чаще всего требуется закрывать сайт частично. Основными причинами могут быть: смена структуры, дизайна, технические работы.
Способы запретить индексацию сайта
Глобально есть два способа запретить индексацию сайта. Рассмотрим каждый в отдельности.
1. Через мета тег robots
В разделе заголовочных тегов <head> есть специальный мета тег robots. В нем можно запретить или разрешить индексацию. Также можно запретить роботу переходить по ссылкам.
На всех страницах сайта нужно прописать следующее:
<head> <meta name="robots" content="noindex,nofollow"> Или более кратко: <meta name="robots" content="none"> </head>
2. Через файл robots.txt
Файл robots.txt находится в корне сайта:
http://www.site.ru/robots.txt
Предназначение этого файла - управление индексацией. В нём можно задавать правила, которые будут запрещать к индексации какие-то каталоги или же какие-то группы страниц.
Причём можно задавать правила для отдельной поисковой системы (Яндекс, Гугл, Мэйл). Чтобы запретить индексацию всего сайта в Яндексе нужно написать в файле robots.txt:
User-agent: Yandex Disallow: /
Если нужно запретить во всех поисковых системах, то нужно написать звездочку:
User-agent: * Disallow: /
Читайте также:
• Тег <noindex>
• Секреты успешного продвижения сайта профилями
• Как определить накрутку тИЦ у сайта
• Как найти свободные домены с тИЦ
• Причины падения тИЦ
• Самостоятельное продвижение сайта для новичка
• Зависимость дохода от количества страниц и тИЦ
• Можно ли поднять тИЦ ссылками с социальных сетей
• Стоит ли поднимать тИЦ вечными ссылками