Правильный robots.txt для WordPress

Всем хорошего понедельника. Сегодня я представлю для вас свой вариант составления файла robots.txt для сайтов, сделанных на основе популярной CMS WordPress.

Содержимое файла robots.txt

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: /*/?replytocom=*
Disallow: /*/?replytocom
Disallow: /*?replytocom=*
Disallow: /*?replytocom
Disallow: */comment-page-*
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: endseo.ru
Sitemap: endseo.ru/sitemap.xml

Если есть вопросы, то можете их задавать. Комментировать что либо не вижу смысла.

Читайте, подписывайтесь на мой блог.

С вами был дедушка-сеошник.

Правильный robots.txt для MODx CMS

Приветствую вас на своём сайте. С вами снова добрый дед-сеошник.

Сегодня речь пойдёт о том, как составлять правильный файл robots.txt (он же «роботс») для CMS MODx Revo (Revolution) и Evo (Evolution). В этих CMS тоже существует проблема дублей, пусть и не очень существенная; тем более закрыть эти дубли от индексации при помощи robots.txt не составит абсолютно никаких проблем.

Для начала, не забываем включить ЧПУ в настройках сайта.

Составляем robots.txt для MODx Evo

User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Host: endseo.ru
Sitemap: http://endseo.ru/sitemap.xml

Теперь robots.txt для MODx Revo

User-agent: *
Disallow: /manager/
Disallow: /assets/components/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Disallow: *?
Host: endseo.ru
Sitemap: http://endseo.ru/sitemap.xml

Некоторые советы по поводу составления «роботс» для CMS MODx

  • index.php — это дубль главной страницы сайта
  • с помощью *? мы удаляем дубли для всех страниц
  • Sitemap желательно не указывать в файле robots.txt, потому существуют не очень хорошие боты, которые таким образом парсят ваши сайты, используя эту директиву. Для нормальных поисковых систем карту сайта можно, при желании, загрузить через панель вебмастера. Но и это не так важно.

С вами был дедушка-сеошник, читайте блог и подписывайтесь на обновления.

Закон Ципфа. SEO роль закона Ципфа

Здравствуйте, дорогие друзья.

Качественный контент на сайте является одним из важных условий успешного продвижения в поисковых системах. Именно контент изначально интересует пользователей, которые ищут с помощью запросов к поисковику нужную информацию (разумеется, за исключением случаев, когда задача страницы сайта — действие).

Поисковая машина — это робот. И, как любой робот, она работает по определённым алгоритмам, основываясь на определённые правила и логические действия. И, возможно, одним из правил, на которые ориентируется поисковая система при ранжировании документов, а именно в области определения естественности контента, является закон Ципфа.

Закон Ципфа — эмпирическая закономерность распределения частоты слов естественного языка: если все слова языка (или просто достаточно длинного текста) упорядочить по убыванию частоты их использования, то частота n-го слова в таком списке окажется приблизительно обратно пропорциональной его порядковому номеру n (так называемому рангу этого слова, см. шкала порядка). Например второе по используемости слово встречается примерно в два раза реже, чем первое, третье — в три раза реже, чем первое, и т. д.

Источник: Wikipedia

Существует достаточно хороший сервис для проверки нужной страницы сайта или какого-либо текста на соответствие правилу Ципфа: pr-cy.ru/zypfa

Пример проверки текста на соответствие закону Ципфа

Использование закона Ципфа в оптимизации сайтов

  1. правило Ципфа работает корректно, если его применять исключительно к объёмным текстам (от 5000 символов без пробелов);
  2. не старайтесь добиться максимальных показателей (по опыту, достаточно более 80%) — закон Ципфа не может быть панацеей;
  3. не тратьте много времени и усилий на прогон всех текстов (старых и новых) — лично я проверяю только важные и большие по объёму тексты.

За сим разрешите откланяться.

Ваш дед-сеошник

Скидки на reg.ru. 15% скидка на любые услуги от reg.ru

Всем привет. Сегодня у нас очень маленький пост, но надеюсь он придётся полезным всем: скидка 15% на любые услуги reg.ru.

REGRU-YANDEX

Чтобы воспользоваться подарком, нужно активировать пин-код (подробная инструкция: https://money.yandex.ru/doc.xml?id=526378).

Бонус-коды: скидка в Сотмаркете на 200 рублей и другое

Всех с прошедшими праздниками!

Представляю вам очередную подборку бонусов и скидок для различных сервисов.

Читать далее: «Бонус-коды: скидка в Сотмаркете на 200 рублей и другое»

Яндекс: С января 2014 года ссылки не будут влиять на ранжирование сайтов

На конференции «Интернет для бизнеса» представитель компании «Яндекс» прочитал достаточно информативный доклад. А изюминкой стало вот что:

«С января 2014 года по коммерческим запросам в Московской области выкатывает алгоритм, который перестаёт вообще использовать для ранжирования сайта в выдаче внешние ссылки. В Яндексе на данный момент существует более 800 факторов ранжирования, и часть из них отключают полностью.»

Видео интересное и познавательное. Посмотреть советую.

Влияние контекстной рекламы на продвижение сайта

Приветствую, мои дороги читатели блога дедушки-сеошника. Сегодня тема у нас маленькая и не очень важная. Но многие интересуются: «Существует какое-нибудь влияние рекламы сайта в Яндекс Директе или Google Adwords на позиции в поисковой выдаче?»

Основываясь на личном опыте, прямо скажу: «Нет!»

Контекстная реклама, максимум на что способна, так это — повлиять на внутренние поведенческие сайта. И то, при условии, что сайт привлекателен для пользователя, и ему есть смысл переходить по страницам. Но и это влияние минимально. Ведение контекстной рекламы не повышает позиции вашего сайта.

А объяснение тут может быть простое: «Зачем Яндексу давать вам позиции за деньги, которые вы вкладываете в рекламу? Ведь, если у вас будут высокие позиции в обычной выдаче, то вам и не надо будет тратить деньги на контекстную рекламу.»

Данный вывод я сделал, спустя несколько лет проверки на паре молодых сайтов, не продвигая их обычным образом. Схожие выводы сделали и некоторые другие сеошники (и написали об этом на своих блогах). Поэтому я не скажу, что мои мысли тут первые.

За сим разрешите откланяться. Ваш дед-сеошник.

Задавайте вопросы.

Влияние тИЦ и PageRank на поисковое продвижение

Здравствуйте, мои дорогие читатели. Сегодня мы поговорим о пузомерках, а именно об их воздействии на поисковую выдачу. Для начала определимся с теорией, что же такое — эти пузомерки у сайтов.

тИЦ (тематический индекс цитирования) у Яндекса, как и PR (Page Rank) у Google — цифровое значение, определяемое количественным и качественным вхождением внешних ссылок на сайт.

Так вот, легко догадаться, что чем дольше вы развиваете (продвигаете) ваш сайт, то тем более высокими будут становиться эти значения. Даже без закупки ссылок реально иметь высокие значение тИЦ и PR, если вы создадите хороший и качественный продукт, который будет иметь популярность и пользователи самостоятельно будут делиться ссылками на страницы вашего сайта. Или же на ваш сайт будут ссылаться некоторые авторитетные (в глазах поисковых систем) ресурсы, делая обзоры на ваши продукты, к примеру. Разумеется, можно наращивать пузомерки, закупая ссылки. Но это отнюдь не гарантирует вам высокие места в поисковой выдаче.

В настоящее время у поисковых систем существует огромное количество факторов, которые используются для ранжирования сайтов. И ссылки (следствие ссылочной массы и есть значения тИЦ и PR) занимают далеко не первое место в списке этих факторов влияния. Тут следует оговориться, что ссылки в поисковой системе Google имеют большее воздействие на выдачу, чем у Яндекса. Тоже самое и про пузомерки.

Пример поисковой выдачи в Яндексе и значение тИЦ и PR

Возьмём ключевой запрос «металлические двери» и регион «Санкт-Петербург» и посмотрим результат выдачи и пузомерки сайтов в топ10:

Место Сайт тИЦ PR
1 kondordveri.ru 10 0
2 dverimetal-spb.ru 0 2
3 smk24.ru 100 2
4 dvertorg.com 20 0
5 spbdveri.ru 20 1
6 nemanspb.ru 160 1
7 metadoor.ru 10 1
8 dverspb.ru 0 0
9 dverinord.ru 30 0
10 real-dveri.ru 10 1

Это коммерческая тематика. Тут должно быть сразу понятно, что этими сайтами занимаются сео-специалисты и подавляющего большинства должны быть неплохие показатели тИЦ и PR. Но также заметно, что топовые позиции занимают сайты, не имеющие больших значений пузомерок.

Аналогично вы самостоятельно можете посмотреть выдачу по какому-нибудь некоммерческому запросу в Яндексе и в Гугле. В принципе, вы увидите схожую картину.

Выводы о влиянии тИЦ и PR на продвижение сайта

Пузомерки являются следственным фактом развития сайта, а именно количества и качества внешней ссылочной массы. Такой сайт, если на него не наложены какие-либо фильтры, имеют более важный вес в глазах поисковых систем. Логично, что они должны занимать более высокие места в выдаче, но дело в том, что внешние ссылки имеют влияние на ранжирование сайта, но влияние это не основополагающее, а всего лишь дополнительное. Именно поэтому топ выдачи не забит старыми раскрученными ресурсами с тысячами ссылок с каталогов и досок объявлений.

Поисковые системы стараются сделать поиск более качественным, поэтому больше внимания надо уделять наполнению сайта хорошей, востребованной и качественной информацией.

За сим разрешите откланяться. Ваш дед-сеошник.

Задавайте вопросы.