Вот хороший вариант файлика robots.txt для владельцев форумов phpbb3:
User-agent: * Disallow: /faq.php Disallow: /mcp.php Disallow: /memberlist.php Disallow: /posting.php Disallow: /report.php Disallow: /search.php Disallow: /style.php Disallow: /ucp.php Disallow: /viewtopic.php?p=* Disallow: /viewtopic.php?f=*&t=*&start=0$ Disallow: /viewtopic.php?f=*&t=*&view=next Disallow: /viewtopic.php?f=*&t=*&view=previous Disallow: /go.php Sitemap: /sitemap.php Clean-param: sid /index.php Clean-param: sid /viewforum.php Clean-param: sid /viewtopic.php User-agent: Yandex Disallow: /faq.php Disallow: /mcp.php Disallow: /memberlist.php Disallow: /posting.php Disallow: /report.php Disallow: /search.php Disallow: /style.php Disallow: /ucp.php Disallow: /viewtopic.php?p=* Disallow: /viewtopic.php?f=*&t=*&start=0$ Disallow: /viewtopic.php?f=*&t=*&view=next Disallow: /viewtopic.php?f=*&t=*&view=previous Disallow: /viewtopic.php?f=*&t=*&view=print Host: VASH_SITE.ru Sitemap: /sitemap.php Clean-param: sid /index.php Clean-param: sid /viewforum.php Clean-param: sid /viewtopic.php
Читайте также:
• Делаем robots.txt
• Robots.txt для WordPress
• Robots.txt для DLE
• Robots.txt для IPB
• Robots.txt для PHPSHOP