Дубли страниц с окончанием в URL адресе ?start=10

Версия MODX: Все

Добрый день ребята!
Подскажите пожалуйста вчера на сайте обнаружил вот такую неприятность — дубли страниц с окончанием в URL адресе ?start=10. То есть любая страница сайта доступна по нескольким адресам, например вот эта страница — taxi-simferopol.ru/taxi-simferopol-sevastopol будет доступна по адресам taxi-simferopol.ru/taxi-simferopol-sevastopol?start=10 и taxi-simferopol.ru/taxi-simferopol-sevastopol?start=11 и так далее. Страница 404 настроена. Если убираешь часть URL адреса страницы переходит на 404, а если прибавляешь к URL адресу это окончание ?start=10 то она не переходит на 404, а получается вот такое безобразие taxi-simferopol.ru/taxi-simferopol-sevastopol?start=10

Что это такое и как с ним бороться?

Теги:
дубли страниц

Симферополь
19.01.17 в 09:01

Комментарии (18)

Павел Романов 19.01.2017 09:36 #

У Вас canonical прописан + запрет индексации в robots.txt — не заморачивайтесь )).
Симферополь 19.01.2017 10:04 #

Это понятно, но может есть какое либо решение данной проблемы?
Симферополь 19.01.2017 10:36 #

Мне в любом случае ее решать надо будет, поскольку вторая новостная страница будет иметь вот такой URL адрес taxi-simferopol.ru/goroda-crimea?start=12 и получится, что она закрыта от индексации в robots.txt
Павел Романов 19.01.2017 15:34 #
Так у Вас и с ***?page=10 выводится. Как Вы пагинацию делать будете?
Задача же, я так понимаю, в том, чтобы поисковики не индексировали страницы с GET-запросом, если они одинаковые по контенту?
Так за это у Вас и отвечает canonical, который и говорит роботу, что страница только эта.

Если хотите, чтобы "?page=10" индексировались, то уберите в robots.txt запрет индексирования таких страниц и сделайте сниппет, который в зависимости от $_GET['page'] будет подставлять в TITLE, в H1 и в тот же canonical номер страницы:
```
<?php
if(!empty($_GET['page'])){
	 if($action == 'canonical'){
	 	 $out = '?page='.$_GET['page'];
	 } else {
	 	 $out = ' (стр.'.$_GET['page'].')';
	 }
	 return $out;
}
```
И пишите в шаблоне:
```
<link rel="canonical" href="[(site_url)][~[*id*]~][!Snippet? &action=`canonical`!]"/>
<title>[*pagetitle*]][!Snippet!]</title>
<h1>[*pagetitle*][!Snippet!]</h1>
```
Вот и будут они для поисковика разными (а контент там и так отличается).
1. Симферополь 20.01.2017 09:58 #
  
  Очень бы хотелось заменить эту приставку ?start=12 например на page1 и так далее, а поскольку в robots.txt у меня прописано Disallow: /?, вторая страница пагинации taxi-simferopol.ru/goroda-crimea?start=12 не будет индексироваться (а индексация этой страницы обязательно нужна)! А если я его открою в robots.txt получится разрешу индексировать дубли страниц с окончанием ?start=12, ?start=10 и так далее.
  1. Павел Романов 20.01.2017 10:21 #
    Ок, про page забыли (у Ditto пагинация по параметру «start»).
    
    Вы же сами пишете, что они должны индексироваться — в чем проблема?
    Уберите Disallow: /? в robots.txt и поменяйте сниппет выше:
    
    <?php if(!empty($_GET['start'])){ if($action == 'canonical'){ $out = '?page='.$_GET['start']; } else { $out = ' (стр.'.$_GET['start'].')'; } return $out; }
    
    И это:
    
    <link rel="canonical" href="[(site_url)][~[*id*]~][!Snippet? &action=`canonical`!]"/> <title>[*pagetitle*]][!Snippet!]</title> <h1>[*pagetitle*][!Snippet!]</h1>
    
    пропишите только у тех страниц, которые содержат вызов Ditto с пагинацией.
    Таким образом у страниц пагинации будут уникальные canonical с GET-параметром (и они не будут дублями для поисковиков), а у всех других — прямые URL (поскольку canonical не будет меняться).
    1. Симферополь 20.01.2017 17:46 #
      
      А у Ditto пагинацию по параметру «start» возможно заменить на другую?
    2. Симферополь 20.01.2017 18:44 #
      
      А насколько правильным будет убрать с robots.txt эти значения?
      Disallow: /?
      Disallow: /*?
      У меня потом из-за этого не заиндексируются дубли страниц?
      Комментарий был изменён 20.01.2017 в 18:44
Андрей [Aharitо́] Харитонов 19.01.2017 18:31 #

— Не делайте вторую новостную страницу
— Не делайте пагинацию.

Пусть ваши Новости идут единым потоком на одной странице, и загружаются при прокрутке экрана методом LazyLoad.

JS-скрипты и CSS, ответственные за LazyLoad, надо будет открыть для индексации Яндекса и Гугла в роботс, и тогда они (Яндекс и Гугл) нормально проиндексируют и ваши новости.
Комментарий был изменён 19.01.2017 в 18:32
Симферополь 19.01.2017 20:22 #

Парни у меня две проблемы!
Первая состоит в том, что что хочется сделать человекообразные URL адреса в пагинации.
Вторая — избавиться от дублей страниц вот с таким окончанием ?start=10.

1) У меня есть новостная страница taxi-simferopol.ru/goroda-crimea (она рассчитана на 12 новостей)
taxi-simferopol.ru/taxi-aeroport-simferopol
taxi-simferopol.ru/taxi-simferopol-sevastopol
taxi-simferopol.ru/taxi-simferopol-yalta
taxi-simferopol.ru/taxi-simferopol-alushta
taxi-simferopol.ru/taxi-simferopol-kerch
taxi-simferopol.ru/taxi-simferopol-feodosiya
taxi-simferopol.ru/taxi-simferopol-sudak
taxi-simferopol.ru/taxi-simferopol-koktebel
taxi-simferopol.ru/taxi-simferopol-evpatoriya
taxi-simferopol.ru/taxi-simferopol-gurzuf
taxi-simferopol.ru/taxi-simferopol-gaspra
taxi-simferopol.ru/taxi-simferopol-mishor
когда публикуешь 13 новость появится вторая страница пагинации вот с таким URL адресом taxi-simferopol.ru/goroda-crimea?start=12 — то есть прибавляется к моему URL адресу приставка ?start=12.
Очень бы хотелось заменить эту приставку ?start=12 например на page1 и так далее, а поскольку в robots.txt у меня прописано следующее, вторая страница пагинации не будет индексироваться (а индексация этой страницы обязательно нужна)!
User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Host: taxi-simferopol.ru
Sitemap: taxi-simferopol.ru/sitemap.xml

2) Хотелось бы избавиться от дублей страниц. Если к любому URL адресу моих страниц добавить приставку ?start=12 (например к этому taxi-simferopol.ru/taxi-simferopol-sevastopol добавить приставку ?start=12 или ?start=10), то эта страница будет доступна по адресу taxi-simferopol.ru/taxi-simferopol-sevastopol?start=12 или taxi-simferopol.ru/taxi-simferopol-sevastopol?start=10, хотя необходимо что-бы этот URL адрес в идеале отдавал 404 ошибку!
В robots.txt этот параметр Disallow: /? для URL адресов закрыт, но тогда не будет индексироваться вторая страница пагинации taxi-simferopol.ru/goroda-crimea?start=12. А если я его открою получатся дубли страниц с окончанием ?start=12, ?start=10 и так далее.

Как решить эти проблемы, может кто сталкивался?
Комментарий был изменён 19.01.2017 в 20:35
Андрей [Aharitо́] Харитонов 20.01.2017 12:26 #

Сначала по пункту 2). То, что любая страница доступна и по УРЛу с прибавкой (это называется GET-параметры) типа ?start=12, само по себе не является ошибкой.

Вы можете вручную добавить к любому УРЛу хоть ?chto_ugodno=55645, и страница все равно будет доступна.

Но ПС не добавляют таких окончаний к УРЛам сами. Они внесут такие страницы в индекс, только если на УРЛы (с прибавками) есть в явном виде ссылки на сайте (и в некоторых случаях, если есть такие ссылки с других сайтов).

Чтобы напрочь убить возможность индексации таких дублей страниц, например с УТМ-метками, но в то же время дать ПС учесть вес самой ссылки — в коде страницы пишут canonical.

Это что касается вашего беспокойства насчет тех страниц, что не участвуют в пагинации.

Комментарий был изменён 20.01.2017 в 12:32
Андрей [Aharitо́] Харитонов 20.01.2017 12:29 #

Теперь по поводу комментирования. Если вы хотите, чтобы я или кто-то другой получили уведомление о вашем ответе — не просто постите коммент, а нажимайте ссылку "ответить". Иначе люди, да и я, могут просто забыть и не вернутся к диалогу.
Комментарий был изменён 20.01.2017 в 12:30
Андрей [Aharitо́] Харитонов 20.01.2017 12:31 #

Теперь по поводу пагинации.

а) на чем она у вас сделана (какое дополнение, сниппет)?
б) чем вас не устроил мой совет по поводу LazyLoad?
1. Симферополь 20.01.2017 13:05 #
  
  1) Пагинация сделана с помощью ditto, по дополнению не знаю — вроде стандартное решение.
  2) Мне очень интересно LazyLoad, но боюсь Андрей я в этом не разберусь )))
Андрей [Aharitо́] Харитонов 20.01.2017 15:08 #

Ну, под дополнением я и имел в виду сниппет. Понял вас — у вас Дитто.
Если ленивая загрузка — сложно (хотя ничего слишком сложного там нету), то типа так можете попробовать.
1. Симферополь 20.01.2017 16:05 #
  
  Думаю придется сделать, как Вы изначально посоветовали — (Не выводите эти страницы в виде блога, сделайте нормальную разводящую хабовую страницу). По сути новостные страницы для продвижения мне не нужны — они больше созданы для юзабилитти (поэтому категории ваш_домен/категория/товар мне не подойдут, поскольку название домена и является главной категорией и главной поисковой фразой). Просто я их оформлю примерно в таком в виде, как они есть сейчас (5-10 страниц с 10-15 городами на каждой) и каждую страницу в отдельности под свои TITTLE и URL адреса. Это даст возможность написать нужные мне URL адреса! По моему чем проще, тем лучше!
  1. Андрей [Aharitо́] Харитонов 20.01.2017 19:17 #
    
    «По моему чем проще, тем лучше!» — а вот это 100%! :)
    Кстати, буду рад, если за потраченное время вы поблагодарите меня плюсами на комменты :)
    1. Симферополь 20.01.2017 19:41 #
      
      Андрей подскажите, а насколько правильным будет убрать с robots.txt эти значения?
      Disallow: /?
      Disallow: /*?
      У меня потом из-за этого не заиндексируются дубли страниц?

Для добавления комментариев вы должны авторизоваться или зарегистрироваться.