Правильный robots.txt для mod x
Версия MODX: Все
Здравствуйте, подскажите, сильно ли отличается роботс для версий эво и рево? Надо ли разрешать в роботс индексацию картинок, яваскриптов и стилей? И влияет ли это на выдачу в google? И отличается ли данный процесс от сайтов, на которых есть регистрация и авторизация пользователей, от составления роботс на тех сайтах, где регистрация и авторизация пользователей не предусмотрена? Спасибо
Комментарии (4)
Для добавления комментариев вы должны авторизоваться или зарегистрироваться.
Андрей [Aharitо́] Харитонов 30.01.2019 09:14 #
Общие принципы на сегодня такие: открыть для поисковиков все то, что на фронте (а именно то, что вы считаете нужным открыть).
CSS-стили для фронта открывать нужно, JS (который для фронта) также нужно — это помогает поисковикам «понять», как ваш сайт взаимодействует с посетителем. «Админочные» стили и скрипты открывать не надо, ведь это не общедоступный контент.
Если вы хотите, чтобы ваши картинки появлялись в поиске по Яндекс- и Гугл-картинкам, то лучше открыть. Но тогда, наверное, лучше нанести ватермарк с названием или адресом вашего сайта на картинки. А вот оригиналы без ватермарка (если таковые имеются) лучше не открывать, если конечно картинки оригинальные и представляют ценность.
Тот контент, что видят только зарегистрированные пользователи, можно и не закрывать — поисковик ведь «не зарегистрирован» и не сможет войти в аккаунт. Но это касается динамического контента. А статику (картинки и файлы и другое) — тут уж вам решать, открыть или нет, это зависит от ваших целей.
Вообще, конечно, есть стандартные роботсы как для Эво, так и для Рево, их легко найти в коде самой установки CMS, но в большинстве случаев их приходится дорабатывать под свои нужды.
Viktoria 30.01.2019 17:00 #
Андрей [Aharitо́] Харитонов 30.01.2019 19:25 #
Андрей [Aharitо́] Харитонов 30.01.2019 19:28 #
Нельзя забывать и о том, что роботс — это не приказ, а лишь рекомендация для Гугл и Яндекс. Даже если страница закрыта в роботс, но на неё есть ссылка — эта страница все равно скорее всего попадет в индекс.