Как удалить страницу из индекса поисковых систем и вообще зачем это нужно? В этой статье мы рассмотрим все варианты и ответим на часто задаваемые вопросы.
Зачем удалять страницу(ы) из индекса?
Причин удалить страницы из индекса может быть много. Самыми распространенными являются:
- Страница является дублем. Например, страницы site.ru/cat/stranica.html и site.ru/cat/stranica могут быть дублями. А как известно всем дубли в индексе — это зло, которое вредит сайту в целом.
- Страница перестала существовать. Например, информация больше не актуальна.
Как долго будет удаляться страница из индекса
Скорость удаления от нас не зависит. Максимальный срок где-то 60..90 дней. Средний срок удаления по моему опыту лежит в районе 25..35 дней. Если мы будем указывать в ручную через панель Яндекс Вебмастера или Google Вебмастера, то процесс будет быстрее. Здесь самое главное, чтобы поисковый робот зашел на запрещенную страницу сайта, а далее он уже при обновлении индекса исключит ее из выдачи.
Способы удалить страницу из индекса
В рассмотренных ниже вариантах страница будет существовать (будет открываться для пользователей), но в индексе поисковиков мы её запретим (удалим).
1. Через мета тег <meta name="robots" ...>
В заголовочных тегах <head> есть возможность запретить отдельные страницы к индексации. Для этого нужно прописать:
<head> ... <meta name="robots" content="noindex,nofollow"> ... </head>
- noindex - говорит о запрете индексации;
- nofollow - о запрете перехода по ссылкам на странице;
Этот способ хорош тем, что можно точечно запретить индексацию. Из минусов можно отметить, что на сайтах с движками сложно на отдельной странице разместить такой тег.
2. Через файл robots.txt
Файл robots.txt находится в корне сайта. Его может и не быть (если вы его не создавали). Для запрета от индексации существуют специальные команды:
User-agent: * # звездочка означает, что для всех поисковых систем Disallow: /adm/ #запрещает к индексации все страницы из каталога adm Disallow: /cat1/article.html #запрет конкретного документа к индексации
У файла robots.txt есть целый язык, чтобы запрещать к индексации группы страниц. Более подробно про robots.txt и его настройки читайте здесь »
Закрывать страницы от индексации с помощью robots.txt удобно тем, что можно сразу массово указать весь раздел или же запретить к индексации группу однотипных страниц. Однако поисковые системы четко говорят, что для них файл роботс не является обязательным в плане выполнения. Т.е. поисковая система в теории может оставить в индексе документ, который закрыт в роботс. Правда я таких примеров не знаю.
3. Через панель вебмастера поисковых систем
В панелях вебмастера Яндексе и Google есть такая возможность. Однако если вы удаляете страницу подобным образом, то нужно предварительно закрыть её одним из выше описанных способов, иначе ничего не произойдет. Подобным удалением мы лишь намекаем поисковым роботам, что нужно обязательно зайти на эти страницы в ближайшем обходе.
3.1. Панель Яндекс Вебмастер
Адрес страницы - http://webmaster.yandex.ru/delurl.xml. Зайдя на эту страницу нужно просто указать в форме адрес страницы, которую вы хотите удалить из индекса.
3.2. Панель Google Вебмастер
Адрес страницы - https://www.google.com/webmasters/tools/. Чтобы попасть на нужную форму выберите сайт из списка (если у вас несколько сайтов) и далее выберите вкладку "Индекс Google" -> "Удалить URL-адреса".
В гугле можно прописать сразу каталог URL-адресов (так же как в robots.txt).
4. Заголовки X-Robots-Tag
Этот способ используется только в Google. Запись о запрете должна находиться в http-заголовках:
X-Robots-Tag: noindex, nofollow
5. Через редирект или 404 ошибку
Удалить из индекса страницу можно также с помощью редиректа или возвращать со страницы 404 ошибку. В таком случае поисковые системы также удалять страницы из индекса.
Мы рассмотрели основные способы по удаление страницы из индекса. Как я уже писал выше скорость удаления в каждом случае разная. Но одно можно сказать точно - это не быстро. В любом случае это займет дней 5-7 минимум.
Читайте также:
• Как закрыть сайт от индексации
• Тег <noindex> и rel="nofollow"
• Добавляем сайт в поисковые системы
• Способы ускорить индексацию
• Как массово добавить страницы в индекс
• Какие могут быть причины выпадение страниц из индекса
• Как определить скорость загрузки сайта
• Как увеличить скорость загрузки сайта
• Сайт с www или без www