Правильный файл robots.txt для Drupal (Друпал)

Про то, для чего нужен файл robots.txt и его синтаксис Вы можете прочитать в статье: как сделать robots.txt для сайта. В этой статье мы лишь рассмотрим файл robots.txt для движка Drupal

Стандартный файл robots.txt, который появляется по умолчанию при установке имеет ряд недостатков, которые легко исправить. Итак, ниже представлен код robots.txt для Drupal:

User-agent: *
Disallow: /database/
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /sites/
Disallow: /themes/
Disallow: /scripts/
Disallow: /updates/
Disallow: /profiles/
Disallow: /profile
Disallow: /profile/*
Disallow: /xmlrpc.php
Disallow: /cron.php
Disallow: /update.php
Disallow: /install.php
Disallow: /index.php
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: *register*
Disallow: *login*
Disallow: /top-rated-
Disallow: /messages/
Disallow: /book/export/
Disallow: /user2userpoints/
Disallow: /myuserpoints/
Disallow: /tagadelic/
Disallow: /referral/
Disallow: /aggregator/
Disallow: /files/pin/
Disallow: /your-votes
Disallow: /comments/recent
Disallow: /*/edit/
Disallow: /*/delete/
Disallow: /*/export/html/
Disallow: /taxonomy/term/*/0$
Disallow: /*/edit$
Disallow: /*/outline$
Disallow: /*/revisions$
Disallow: /*/contact$
Disallow: /*downloadpipe
Disallow: /node$
Disallow: /node/*/track$
Disallow: /*&
Disallow: /*%
Disallow: /*?page=0
Disallow: /*section
Disallow: /*order
Disallow: /*?sort*
Disallow: /*&sort*
Disallow: /*votesupdown
Disallow: /*calendar
Disallow: /*index.php
Allow: /*?page=
Disallow: /*?
Host: основной_адрес_сайта
Sitemap: http://основной_адрес_сайта/sitemap.xml

Не забудьте изменить "основной_адрес_сайта" - на ваш настоящий адрес сайта (без http://). После создания файла robots.txt поместите его в корень Вашего сайта так, чтобы он был доступен по ссылке: основной_адрес_сайта/robots.txt

← Перейти в каталог CMS

Файл robots.txt для Drupal