Всем хорошего понедельника. Сегодня я представлю для вас свой вариант составления файла robots.txt для сайтов, сделанных на основе популярной CMS WordPress.
Содержимое файла robots.txt
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: /*/?replytocom=*
Disallow: /*/?replytocom
Disallow: /*?replytocom=*
Disallow: /*?replytocom
Disallow: */comment-page-*
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: endseo.ru
Sitemap: endseo.ru/sitemap.xml
Если есть вопросы, то можете их задавать. Комментировать что либо не вижу смысла.
Читайте, подписывайтесь на мой блог.
С вами был дедушка-сеошник.
Я недавно раздел wp-content полностью закрыл, так как трафик с картинок мне не нужен, а мои сайты как то взломали (а может хостеры) и положили дорвеи именно в папку с картинками — отличное место для этого!
Отличный материал, очень полезно и познавательно. На днях читала книгу SEO на экспорт Topodin, а вы слышали о ней?
Спасибо! Роботс отличный!