Про то, для чего нужен файл robots.txt и его синтаксис Вы можете прочитать в статье: как сделать robots.txt для сайта. В этой статье мы лишь рассмотрим файл robots.txt для движка Joomla
Стандартный файл robots.txt, который появляется по умолчанию при установке имеет ряд недостатков, которые легко исправить. Итак, ниже представлен код robots.txt для Joomla 2.5, 3 и выше:
User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /bin/ Disallow: /cli/ Disallow: /components/ Disallow: /layouts/ Disallow: /logs/ Disallow: /tmp/ Disallow: /index.php* Disallow: /index2.php* Disallow: /*com_mailto Disallow: /*pop= Disallow: /*lang=ru Disallow: /*format= Disallow: /*print= Disallow: /*task=vote Disallow: /*=watermark Disallow: /*=download Disallow: /*user/ Disallow: /404 Disallow: /index.php? Disallow: /*? Disallow: /*% Disallow: /*& Disallow: /*tag Disallow: /*.pdf Disallow: /*.swf Disallow: /*=atom Disallow: /*=rss Sitemap: http://путь к вашей карте XML формата User-agent: Yandex Disallow: /administrator/ Disallow: /cache/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Host: основной_адрес_сайта Sitemap: http://основной_адрес_сайта/карта_сайта
Не забудьте изменить "основной_адрес_сайта" - на ваш настоящий адрес сайта (без http://). После создания файла robots.txt поместите его в корень Вашего сайта так, чтобы он был доступен по ссылке: основной_адрес_сайта/robots.txt
Читайте также:
• Robots.txt для Drupal
• Robots.txt для WordPress
• Robots.txt для PHPbb
• Robots.txt для IPB
• Robots.txt для PHPSHOP