Вот хороший вариант файлика robots.txt для блогового движка WordPress:
User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /author Disallow: */trackback Disallow: */feed Disallow: */comments User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /2011 #если у Вас много годов, Disallow: /2010 #то стоит это все Disallow: /2009 #запретить к индексации Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Host: VASH_SITE.ru Sitemap: http://VASH_SITE.ru/sitemap.xml
Для тех, кто не хочет, чтобы индексировались метки, допишите:
Disallow: /tags
Советую также написать ещё вот это:
Disallow: /category
Это нужно, чтобы избавится от дублирования контента. Ваши посты доступны так: site.ru/имя_категории/имя_поста, а так же так site.ru/category/имя_категории/имя_поста.
Читайте также:
• Делаем robots.txt
• Robots.txt для DLE
• Robots.txt для PHPbb
• Robots.txt для IPB