Всем привет. Продолжаем нашу серию постов, направленных на помощь при первичной оптимизации сайта, а именно — составляем правильные файлы robots.txt для различных CMS. На днях были выложены посты: роботс для MODx и роботс для WordPress.

Сегодня продолжаем и рассмотрим такую систему управления сайтом как Joomla.

Robots.txt для Joomla 1.5

User-agent: *
Crawl-delay: 2
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /index*
Host: endseo.ru
Sitemap: https://endseo.ru/sitemap.xml

Robots.txt для Joomla 2.5

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /index*
Host: endseo.ru
Sitemap: https://endseo.ru/sitemap.xml


Robots.txt для Joomla 3.0

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index*
Host: endseo.ru
Sitemap: https://endseo.ru/sitemap.xml

Если есть вопросы, то задавайте. Данные рекомендации позволят убрать самые простейшие дубли страниц, возникающих при работе с Joomla.

Подписывайтесь на блог сеошника.

Всем хорошего понедельника. Сегодня я представлю для вас свой вариант составления файла robots.txt для сайтов, сделанных на основе популярной CMS WordPress.

Содержимое файла robots.txt

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: /*/?replytocom=*
Disallow: /*/?replytocom
Disallow: /*?replytocom=*
Disallow: /*?replytocom
Disallow: */comment-page-*
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: endseo.ru
Sitemap: endseo.ru/sitemap.xml

Если есть вопросы, то можете их задавать. Комментировать что либо не вижу смысла.

Читайте, подписывайтесь на мой блог.

С вами был дедушка-сеошник.

Приветствую вас на своём сайте. С вами снова добрый дед-сеошник.

Сегодня речь пойдёт о том, как составлять правильный файл robots.txt (он же «роботс») для CMS MODx Revo (Revolution) и Evo (Evolution). В этих CMS тоже существует проблема дублей, пусть и не очень существенная; тем более закрыть эти дубли от индексации при помощи robots.txt не составит абсолютно никаких проблем.

Для начала, не забываем включить ЧПУ в настройках сайта.

Составляем robots.txt для MODx Evo

User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Host: endseo.ru
Sitemap: https://endseo.ru/sitemap.xml

Теперь robots.txt для MODx Revo

User-agent: *
Disallow: /manager/
Disallow: /assets/components/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Disallow: *?
Host: endseo.ru
Sitemap: https://endseo.ru/sitemap.xml

Некоторые советы по поводу составления «роботс» для CMS MODx

• index.php — это дубль главной страницы сайта
• с помощью *? мы удаляем дубли для всех страниц
• Sitemap желательно не указывать в файле robots.txt, потому существуют не очень хорошие боты, которые таким образом парсят ваши сайты, используя эту директиву. Для нормальных поисковых систем карту сайта можно, при желании, загрузить через панель вебмастера. Но и это не так важно.

С вами был дедушка-сеошник, читайте блог и подписывайтесь на обновления.