• Главная
  • SEO
  • Избавляемся от дублей в поиске Яндекс и Google
Избавляемся от дублей в поиске Яндекс и Google

Избавляемся от дублей в поиске Яндекс и Google

О чем материал ?

В сегодняшнем материале мы обсудим все доступные методы борьбы с дублями для сайтов которые созданы в uCoz и uWeb. Будем избавляться от дублей страниц системного календаря, дублей переключателей страниц в модулях каталогах и других страниц которые портят вид сайта в лице поисковых систем.

Как избавиться от дублей на сайтах uCoz и uWeb ?

Избавляемся от дублей виджета календарь $CALENDAR$

На сайт где используются модули Блог и Новости и используется блок с календарем, в поиске могут возникнуть дубли с урл адресами подобно:

http://ваш-сайт/news/2020-10-22
http://ваш-сайт/news/2020-10-14
http://ваш-сайт/blog/2020-10-22
http://ваш-сайт/blog/2020-10-14

если материалов в модуле много, соответственно за каждую дату в календаре будут отметки и будет много урл дублей. 

То есть, у вас может быть 1 - 2 тысячи новостей в модуле новости, новости добавлялись в разные дни, в итоге ждите 2 тыс урл адресов дублей, подобно примерам выше. Такие дубли не приносят никакой пользы, ниже будет описано решение как с ними бороться, чтобы такие дубли не индексировались, а если уже проиндексировались, чтобы вылетели с поиска. 

Для борьбы с такими дублями перейдите в модулях блог и новости в шаблон - Страница архива материалов, далее в блоке хеад ( между тегов <head>сюда</head>) прописать следующее условие:

<?if($PAGE_ID$=='day'||$PAGE_ID$=='month'||$PAGE_ID$=='year')?>
<link rel="canonical" href="$HOME_PAGE_LINK$" /> 
<meta name="robots" content="noindex, nofollow"/>
<?endif?>

сохраните изменения, далее ждите переиндексации в поисковиках и эти дубли начнут исчезать с поиска.

Избавляемся от дублей страниц пагинации в модулях Блог и Новости

Имея в модулях блог и новости много материалов, которые распределены по своих категориях или добавлены вне категорий, в модуле материалы разделяются на страницы, в результате всего этого если заранее не настроить борьбу с дублями переключателей страниц, в поиске будет много урл адресов подобно:

http://ваш-сайт/?page2
http://ваш-сайт/?page3
http://ваш-сайт/?page4
http://ваш-сайт/?page5

такие страницы никакой пользы в поиске не приносят.

Чтобы избавиться от таких страниц в поиске, нужно отредактировать ваш файл Robots.txt и удалить с него директиву:

Allow: /*?page

далее системно в роботсе останется директива:

Disallow: /*?

она должна быть, если у вас нет, нужно добавить. Далее при переиндексации такие страницы дубли как описаны в примере выше вылетят с поиска.

Запрещаем индексацию дублей страниц в категориях блога и новостей

Дополнительный метод борьбы с таким страницами в модулях блог и новости для категорий, в шаблоне Страница архива материалов, далее в блоке хеад ( между тегов <head>сюда</head>) прописать следующее условие:

<?if($PAGE_ID$='category')?>
<?ifnot($CURRENT_PAGE$=='1')?>
<link rel="canonical" href="$HOME_PAGE_LINK$" /> 
<meta name="robots" content="noindex, nofollow"/> 
<?endif?><?endif?> 

так мы запретим индексацию страниц пагинации ( переключателей страниц ) в категориях кроме первой страницы.

То есть, мы сообщаем роботу поисковика, что в каждой из категорий модуля мы ему говорим, что нужно индексировать первую страницу категории.

Если в категории будет 5-10 и более страниц с материалами, данное условие позволит запретить их индексацию и в итоге поисковики не будут сообщать, что такие страницы являются не каноническими.

По сути поисковики на такие страницы ругаются, так как у них титл повторяется (дублируется).

Прописав это условие мы не навредим индексации материалов модуля и категорий, все будет индексироваться, мы лишь избавимся от страниц дублей (переключателей страниц).  

Как избавиться от дублей переключателей страниц в Каталогах ?

В модулях Блог и Новости метод борьбы с дублями переключателей страниц один, в каталогах (файлов, статей, сайтов, объявлений и игр), метод немного отличается. 

Перейти в шаблон Страница со списком материалов категории / раздела, далее в блоке хеад ( между тегов <head>сюда</head>) прописать следующее условие:

<?if($PAGE_ID$='category'||$PAGE_ID$='section')?>
<?ifnot($CURRENT_PAGE$=='<span class="currentPage79">1</span>')?>
<link rel="canonical" href="$HOME_PAGE_LINK$" /> 
<meta name="robots" content="noindex, nofollow"/> 
<?endif?><?endif?> 

этот способ решит проблему с дублями подобно как и в модулях блог и новости.

Условие выше запретит индексацию всех переключателей страниц в категориях и разделах каталогов кроме первой страницы. 

Как избавиться от дублей подстраниц в Интернет-магазине ?

В модуле Интернет-магазин имеются свои подстраницы:

  • Описание
  • Спецификация
  • Изображения
  • Отзывы

По сути в поиске нужно оставить лишь первую вкладку "Описание", которая отображает описание товара, другие вкладки нужны для отображения изображений товара и чтобы клиент имел возможность оставить отзывы.

Имея например на сайте 2 - 5 - 10 тыс товаров, на каждый товар прибавьте 3 страницы дубля, это тысячи страниц мусора, чтобы от него избавиться в роботс нужно прописать такие директивы:

Disallow: /shop/*comm
Disallow: /shop/*spec
Disallow: /shop/*imgs

вот так мы избавимся от возможных тысяч дублей в модуле Магазин.

Запрет индексации переключателей страниц модуля Магазин

В модуле магазин переключатели страниц работают по  таким урл:

  1. /shop/all/1
  2. /shop/all/2
  3. /shop/all/3
  4. /shop/all/4
  5. /shop/all/5

Представьте ситуацию, когда в модуле 5-10 тыс товаров или больше, сколько у вас дублей переключателей страниц будет в поиске (такие дубли пользы не несут так как все они не уникальны и положительного влияния на покупки в магазине они не дают). Чтобы решить эту проблему, в файл robots.txt пропишите директиву:

Disallow: /shop/all/

эта директива решит проблему с переключателями страниц.

Избавляемся от дублей переключателей страниц в категориях Магазина

В категориях модуля магазин вы можете столкнуться с дублями подобно:

  1. http://site.net/shop/laminat;2
  2. http://site.net/shop/laminat;3
  3. http://site.net/shop/laminat;4
  4. http://site.net/shop/laminat;5

Для решения данной проблемы, в файл robots.txt нужно прописать директиву:

Disallow: /shop/*;

она решит проблему с такими дублями и не будет мешать индексации товаров.

Дополнительное средство защиты против дублей Canonical

Важно в каждом из модулей настроить для категорий, разделов и материалов Canonical, чтобы поисковики понимали какой урл является основным для индексации и не индексировали дубли.

Если у вас на сайте оплачивается платный тариф от Оптимального и выше на выбор, можно перейти в "Премиум настройки" Seo-модуля, далее отметить пункт - "Использовать атрибут rel="canonical" для материалов". После этих настроек достаточно пройтись по всем страницам шаблонам основных модулей и в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<?$SEO_CANONICAL$?>

этого будет достаточно, чтобы поисковики понимали какая страница является канонической и не плодили дубли.

Как настроить Canonical если у вас на сайте нет оплаченного тарифа ?

В данной ситуации будет использовать каноникал с помощью внутренних операторов которые существуют в uCoz и uWeb.

Canonical для страницы материала и комментариев

Для шаблона Страница материала и комментариевСтраница с полной фотографией и комментариями основных модулей (блог, новости, все каталоги файлов, статей, сайтов, объявлений, игр, видео и фотоальбомы), в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<link rel="canonical" href="$HOME_PAGE_LINK$<?substr($ENTRY_URL$,1)?>"/>

Canonical для страницы товара в Интернет-магазине

Для шаблона Страница товара в модуле Интернет-магазин, в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<link rel="canonical" href="$HOME_PAGE_LINK$<?substr($DESC_LINK$,1)?>" />

это решит вопрос с каноникалом для товаров.

Canonical для страниц категории 

Для шаблона Страница архива материала модулей (блог и новости), в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<?if($PAGE_ID$='category')?>
<link rel="canonical" href="$HOME_PAGE_LINK$<?substr($REQUEST_URI$,1)?>" />
<?endif?>

Для шаблона Страница со списком материалов категорииСтраница со списком фотографий альбомаКаталог товаров (каталогов файлов, статей, сайтов, объявлений, игр, видео, фотоальбома и магазина), в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<?if($CAT_URL$)?><link rel="canonical" href="$HOME_PAGE_LINK$<?substr($CAT_URL$,1)?>" /><?endif?>

Canonical для страниц раздела

Для шаблона Страница со списком материалов разделаСтраница со списком фотографий раздела (каталогов файлов, статей, сайтов, объявлений, игр и фотоальбома), в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<?if($SECTION_URL$)?><link rel="canonical" href="$HOME_PAGE_LINK$<?substr($SECTION_URL$,1)?>" /><?endif?>

Canonical для модуля Гостевая книга

Если у вас модуль гостевая используется, оставляются отзывы, тогда в данном модуле можно использовать в шаблоне Страница с сообщениями свой каноникал, в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<link rel="canonical" href="<?if($REQUEST_URI$="/gb/" or $REQUEST_URI$="/gb" or $REQUEST_URI$="/gb/1")?>https://ваш-сайт/gb<?else?>https://ваш-сайт/gb/<?substr($REQUEST_URI$,4)?><?endif?>" />

Canonical для модуля Форум

Если у вас модуль Форум используется, тогда в данном модуле можно использовать в шаблоне Общий вид страниц свой каноникал, в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<link rel="canonical" href="<?if($PAGE_ID$='main')?>$HOME_PAGE_LINK$forum<?endif?><?if($PAGE_ID$='category')?>$HOME_PAGE_LINK$<?substr($CUR_SECTION_URL$,1)?><?endif?><?if($PAGE_ID$='forum')?>$HOME_PAGE_LINK$<?substr($CUR_FORUM_URL$,1)?><?endif?><?if($PAGE_ID$='threadpage')?>$HOME_PAGE_LINK$<?substr($CUR_THREAD_URL$,1)?><?endif?>"/>

Примечание! Для подфорумов в модуле форум разграничить каноникал отдельный для форума и подфорума на уровне операторов слишком сложно, в связи с этим, для подфорумов используется урл корневого форума в который подформ добавлен. Я пытался разграничить условиями $CUR_SUBFORUM_NAME$ и $CUR_SUBFORUM_URL$, но в итоге ломается каноникал и выводится два урл и для форума и подфорума. Пока лишь такое условие, далее может найдем решение и для подфорумов.

Canonical для модуля Страницы / Редактор страниц

В данном модуле можно использовать в шаблоне Страницы сайта свой каноникал, в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<link rel="canonical" href="$HOME_PAGE_LINK$<?substr($REQUEST_URI$,1)?>" />

этого будет достаточно для данного модуля.

Canonical для модуля FAQ

В данном модуле можно использовать в шаблоне Общий вид страниц FAQ'a свой каноникал, в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<link rel="canonical" href="$HOME_PAGE_LINK$<?substr($REQUEST_URI$,1)?>" />

При необходимости, данный материал будет дополняться новыми решениями для борьбы с дополнительными дублями.

Примечание

В материале выше я дал рекомендации как бороться с дублями и мусором на вашем сайте, которого не должно быть в поиске Яндекс и Google, у некоторых пользователей мнения могут расходиться и они могут считать страницы категорий (переключателей) страниц важными для их сайта. Именно на такой случай я подготовил отдельную статью, в которой рассмотрено как эти страницы чуть больше уникализировать, чтобы поисковики не ругались и не сообщали о дублируемом контенте. 

Лицензия: CC BY-SA 4.0

Автор: Юрий Герук

Похожие материалы:
Помогла ли вам статья?
Да Нет
Статья оказалась полезной для 0 человек
avatar
По моему, страницы пагинации не являются дублями. Ведь содержание их всегда разное. Например, на первой - анонсы с 1 по 5, на второй анонсы с 5 по 10 и т.д. И по поводу пользы от этих страниц, тоже сомневаюсь, если они есть в поиске и по ним приходят люди на сайт - это уже, маленькая но удача. Не говорю о меркантильной составляющей - ведь там откручивается реклама и капают монетки за это.
avatar
Яндекс и Google на эти страницы ругается с вердиктом: Малоценная или маловостребованная страница.

То есть, такие страницы на которых титл дублируется (Страница 1, Страница 2 итд). Извините, это страницы мусор в выдаче. Если вам важно лишь бы было количество в поиске, а не качество, ваше решение.

Только добавлю, посетители не придут на сайт по титлу Страница 1 или Страница 2.

Это страницы мусор и от них нужно избавляться, как это сделать, рекомендации выше.
avatar
Вы рекомендуете: цитата
После этих настроек достаточно пройтись по всем страницам шаблонам основных модулей и в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<?$SEO_CANONICAL$?>

А в других рекомендациях советуют такой код:
<?if($SEO_CANONICAL$)?>$SEO_CANONICAL$<?endif?>

Есть ли между ними критическая разница?
avatar
Разницы нет, выводят один и тот же код, работают одинаково.