Правильный robots.txt для Joomla

Всем привет. Продолжаем нашу серию постов, направленных на помощь при первичной оптимизации сайта, а именно — составляем правильные файлы robots.txt для различных CMS. На днях были выложены посты: роботс для MODx и роботс для WordPress.

Сегодня продолжаем и рассмотрим такую систему управления сайтом как Joomla.

Robots.txt для Joomla 1.5

User-agent: *
Crawl-delay: 2
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /index*
Host: endseo.ru
Sitemap: http://endseo.ru/sitemap.xml

Robots.txt для Joomla 2.5

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /index*
Host: endseo.ru
Sitemap: http://endseo.ru/sitemap.xml

Robots.txt для Joomla 3.0

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index*
Host: endseo.ru
Sitemap: http://endseo.ru/sitemap.xml

Если есть вопросы, то задавайте. Данные рекомендации позволят убрать самые простейшие дубли страниц, возникающих при работе с Joomla.

Подписывайтесь на блог сеошника.

Правильный robots.txt для Joomla: 8 комментариев

  1. Константин

    Сайт на Joomla 2.5 Яндекс проиндексировал по несколько раз одну и ту же
    страницу. Как оставить первую и закрыть вторую с категорией?
    site.com/index.php/punkt_menu/material-1
    site.com/index.php/2-uncategorised/29-material-1

    Другой случай. Есть одна из основных страницы, например, Туры. На ней превьюшки с которых идут ссылки на другие страницы . Я хочу, чтобы индексировалась первая ссылка и закрыть вторую
    site.com /index.php/tury/10-4-1
    site.com /index.php/10-4-1

    Наконец последний вопрос. Если пункт меню повторяет или похож на название материала, как оставить только название материала?

    1. Дед-сеошник Автор записи
      1. Очевидно же, что:
        Disallow: /index.php/2-uncategorised/29-material-1
      2. Аналогично:
        Disallow: /index.php/10-4-1
      3. Сформулируйте вопрос яснее, пожалуйста.
      1. Константин

        Спасибо, в общем мне ясно. Получается та же конструкция.

        Disallow: /index.php/osobye-tury/vip-tury/22-vip-tury
        Disallow: /index.php/vip-tury/22-vip-tury
        а последнюю не трогаю
        site.com/index.php/osobye-tury/vip-tury
        Правильно понял? И вообще, если закрывать конкретную ссылку, т.е. указывать ее полный адрес, то другие это не затронет

  2. Alexs

    Disallow: /images/ т.е. должен быть закрыт если графика на сайте плагиатная, если графика уникальная то тогда его можно удалить…. неужели это так сложно запомнить весь Инет завален такой инфой

  3. Вячеслав

    Скажите, а важно ли, что при закрытых папках media, templates, гугл бот не может получить файлs css и java скрипты . Просто при просмотре как гугл бот в инструментах вебмастеров гугл видит не сайт, а уродство. При отсутствии css он не может определить адаптирован ли сайт под мобильные устройства или нет. Не понизит ли он позиции сайта в выдаче за это? Можно ли как-то избирательно запрещать, например, не всю папку templates, а тока часть и вообще надо ли это?

  4. евген

    Помогите у меня Joomla! 3.6.4, ситуация следующая, во первых в поисковиках индексируются категории, которые когда то были на сайте, но я их удалил. К примеру сайт.ру/ремонт холодильника/ как это сделать/идёт категоряи которой нет/ и в результате, если пройти по этой ссылке, попадаешьне на страницу не «как это сделать», а вообще на сборище других статей, которые отношения вообще не имеют к данной статье. Как мне удалить такие юрл адреса из поисковой системы

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *