Всем привет. Продолжаем нашу серию постов, направленных на помощь при первичной оптимизации сайта, а именно — составляем правильные файлы robots.txt для различных CMS. На днях были выложены посты: роботс для MODx и роботс для WordPress.
Сегодня продолжаем и рассмотрим такую систему управления сайтом как Joomla.
Robots.txt для Joomla 1.5
User-agent: *
Crawl-delay: 2
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /index*
Host: endseo.ru
Sitemap: https://endseo.ru/sitemap.xml
Robots.txt для Joomla 2.5
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /index*
Host: endseo.ru
Sitemap: https://endseo.ru/sitemap.xml
Robots.txt для Joomla 3.0
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index*
Host: endseo.ru
Sitemap: https://endseo.ru/sitemap.xml
Если есть вопросы, то задавайте. Данные рекомендации позволят убрать самые простейшие дубли страниц, возникающих при работе с Joomla.
Подписывайтесь на блог сеошника.
Сайт на Joomla 2.5 Яндекс проиндексировал по несколько раз одну и ту же
страницу. Как оставить первую и закрыть вторую с категорией?
site.com/index.php/punkt_menu/material-1
site.com/index.php/2-uncategorised/29-material-1
Другой случай. Есть одна из основных страницы, например, Туры. На ней превьюшки с которых идут ссылки на другие страницы . Я хочу, чтобы индексировалась первая ссылка и закрыть вторую
site.com /index.php/tury/10-4-1
site.com /index.php/10-4-1
Наконец последний вопрос. Если пункт меню повторяет или похож на название материала, как оставить только название материала?
Disallow: /index.php/2-uncategorised/29-material-1
Disallow: /index.php/10-4-1
Спасибо, в общем мне ясно. Получается та же конструкция.
Disallow: /index.php/osobye-tury/vip-tury/22-vip-tury
Disallow: /index.php/vip-tury/22-vip-tury
а последнюю не трогаю
site.com/index.php/osobye-tury/vip-tury
Правильно понял? И вообще, если закрывать конкретную ссылку, т.е. указывать ее полный адрес, то другие это не затронет
Disallow: /images/ зачем в 3й версии закрыт?))
Disallow: /images/ т.е. должен быть закрыт если графика на сайте плагиатная, если графика уникальная то тогда его можно удалить…. неужели это так сложно запомнить весь Инет завален такой инфой
Если бы вы знали, насколько не важно, что плагиатная графика или нет для продвижения сайта.
Скажите, а важно ли, что при закрытых папках media, templates, гугл бот не может получить файлs css и java скрипты . Просто при просмотре как гугл бот в инструментах вебмастеров гугл видит не сайт, а уродство. При отсутствии css он не может определить адаптирован ли сайт под мобильные устройства или нет. Не понизит ли он позиции сайта в выдаче за это? Можно ли как-то избирательно запрещать, например, не всю папку templates, а тока часть и вообще надо ли это?
Помогите у меня Joomla! 3.6.4, ситуация следующая, во первых в поисковиках индексируются категории, которые когда то были на сайте, но я их удалил. К примеру сайт.ру/ремонт холодильника/ как это сделать/идёт категоряи которой нет/ и в результате, если пройти по этой ссылке, попадаешьне на страницу не «как это сделать», а вообще на сборище других статей, которые отношения вообще не имеют к данной статье. Как мне удалить такие юрл адреса из поисковой системы
Всем привет!
Серега все верно, но я бы еще добавил 2 строчки
Disallow: /wp-admin/
Disallow: /wp-content/
Забавные штуки обнаружил на любом сайте джумлы..хотя папки явно от вордпреса…
/wp-content/administrator
и карту сайта из компонента
Sitemap: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Кстати через указанные пути пытались дубли проиндексировать….это так кому интересно черное СЕО)…а тебе рекомендую вести блог дальше…ведь много интересных штук в вебе… .правильный .htaccess и редиректы, или как закрыть админку от попыток подбора пароля.