Правильный robots.txt для mod x

Версия MODX: Все

Здравствуйте, подскажите, сильно ли отличается роботс для версий эво и рево? Надо ли разрешать в роботс индексацию картинок, яваскриптов и стилей? И влияет ли это на выдачу в google? И отличается ли данный процесс от сайтов, на которых есть регистрация и авторизация пользователей, от составления роботс на тех сайтах, где регистрация и авторизация пользователей не предусмотрена? Спасибо

Теги:
robots.txt

Viktoria
29.01.19 в 17:01

Комментарии (4)

Андрей [Aharitо́] Харитонов 30.01.2019 09:14 #

Здесь дело не только, а может быть и не столько в Эво/Рево, сколько в общих принципах индексации контента поисковиками, в структуре вашего сайта и ваших целях.

Общие принципы на сегодня такие: открыть для поисковиков все то, что на фронте (а именно то, что вы считаете нужным открыть).

CSS-стили для фронта открывать нужно, JS (который для фронта) также нужно — это помогает поисковикам «понять», как ваш сайт взаимодействует с посетителем. «Админочные» стили и скрипты открывать не надо, ведь это не общедоступный контент.

Если вы хотите, чтобы ваши картинки появлялись в поиске по Яндекс- и Гугл-картинкам, то лучше открыть. Но тогда, наверное, лучше нанести ватермарк с названием или адресом вашего сайта на картинки. А вот оригиналы без ватермарка (если таковые имеются) лучше не открывать, если конечно картинки оригинальные и представляют ценность.

Тот контент, что видят только зарегистрированные пользователи, можно и не закрывать — поисковик ведь «не зарегистрирован» и не сможет войти в аккаунт. Но это касается динамического контента. А статику (картинки и файлы и другое) — тут уж вам решать, открыть или нет, это зависит от ваших целей.

Вообще, конечно, есть стандартные роботсы как для Эво, так и для Рево, их легко найти в коде самой установки CMS, но в большинстве случаев их приходится дорабатывать под свои нужды.
Viktoria 30.01.2019 17:00 #

Спасибо за развернутый ответ, я не программист, ищу сейчас ошибки на сайте, которые привели к тому, что сайт попал под фильтр google, да еще смотрю в роботс было все закрыто.
1. Андрей [Aharitо́] Харитонов 30.01.2019 19:25 #
  
  Если вас не затруднит, и если мой ответ для вас был полезен, просьба повысить мне карму, нажав на стрелку «вверх» на моем ответе.
2. Андрей [Aharitо́] Харитонов 30.01.2019 19:28 #
  "да еще смотрю в роботс было все закрыто."
  
  Нельзя забывать и о том, что роботс — это не приказ, а лишь рекомендация для Гугл и Яндекс. Даже если страница закрыта в роботс, но на неё есть ссылка — эта страница все равно скорее всего попадет в индекс.

Для добавления комментариев вы должны авторизоваться или зарегистрироваться.