Часто бывает, что в поисковой выдаче появляются страницы, которых уже не существует на сайте. Их нужно своевременно убирать, поскольку они плохо влияют на продвижение сайта. Сделать это можно несколькими способами.

1. Удаление страницы с сайта.

Чтобы позиции в поисковой выдаче успешно продвигались, очень важно поддерживать актуальность информации на сайте. Устаревшие сведения нужно удалять, а новый контент регулярно добавлять.

Что именно относится к информации, которая нуждается в обновлении? Это как сама страница, так и текст, фотографии и приложенные документы. К примеру, ваш магазин провел акцию с большой скидкой на определенный товар. Через какое-то время акция закончилась, товар распродан, но вам все еще поступают заявки на его приобретение. В таком случае страницу с информацией об акции нужно удалить, поскольку она занимает ресурсы на обработку запросов. Есть еще вариант: настроить показ похожих товаров.

Когда страница будет удалена, информация о ней будет оставаться какое-то время в индексе поисковых систем. Время наличия несуществующих страниц в поиске зависит от апдейтов поисковой системы и частоты посещения вашего сайта роботом.

2. Изменение адреса страницы

Как и в предыдущем случае, если изменить url адрес страницы, прежняя, уже несуществующая, будет какое-то время появляться в поисковой выдаче. Часто такая ситуация возникает при изменении раздела у статьи. Дело в том, что при обходе страницы робот добавил ее в выдачу, затем вы изменили ее адрес, а поисковая система будет показывать старый адрес.

Что делать? Есть два способа решить эту проблемы.

Первый — нужно настроить 301 редирект со старого адреса на новый, тогда параметры старого адреса ссылки будут автоматически переходить на новый, и сохранится позиция в поисковой выдаче. Либо можно, как и в первом случае, настроить показ похожих товаров.

3. Ссылки со сторонних ресурсов на несуществующую страницу

Кто-то оставил отзыв о вашем товаре или поделился о вас информацией, а ссылка уже не актуальна? Повлиять на такие ссылки не получится, поскольку ресурс не принадлежит вам.

Вебмастер позволяет контролировать внешние ссылки, что дает возможность своевременно настраивать редирект или показ похожих товаров.

4. Конфиденциальная информация

Страницы, которые содержат личные данные и конфиденциальную информацию, необходимо как можно скорее удалить из поисковой выдачи. Как правило, поисковые системы самостоятельно находят и удаляют неактуальные страницы, но для этого нужно достаточно времени.

Как ускорить этот процесс, и как сообщить поисковым системам о неактуальности страницы, поговорим дальше.

Как удалить страницу из выдачи Яндекса?

Яндекс.вебмастер имеет инструмент для удаления страниц из поиска – «Удалить url». Воспользоваться им можно, выполнив следующие действия:

  • В файле robots.txt закрыть от индексации необходимые страницы или группы страниц. Либо использовать мета тег.
  • Настроить ответ сервера с несуществующих страниц 404 – не найдена, 403 – доступ запрещен или 410 – удален.
  • После этого нужно войти в соответствующий раздел вебмастера и вводим адреса страниц, которые нужно удалить.

Следует отметить, что удаление страниц возможно с аккаунта с подтверждёнными правами на сайт. Подтвердить права можно в панели вебмастера.

Удаление страниц таким образом происходит не сразу – вы ставите их в очередь на удаление. Здесь есть ограничение по количеству – не более 500 в день. Также вы можете удалять сразу группы страниц, например, весь каталог или блог, а иногда и все страницы сайта. Для этого выберите пункт «По префиксу». Здесь тоже есть ограничение – не более 20 префиксов в день.

После того, как вы отправляете запрос на удаление страниц, вы можете отслеживать статус на странице: Инструменты → Удаление страниц из поиска

Удаление страниц из выдачи Google

В Google есть инструмент «Удалить url адреса», и кнопка там называется «временно скрыть». Этот инструмент позволяет заблокировать страницы на срок до 90 дней. По прошествии срока они вновь могут появиться в выдаче.

Нажав на кнопку «временно скрыть», вы увидите окно для введения адреса страницы. Здесь есть несколько правил:

  • Адрес страницы должен относиться к принадлежащему вам сайту в search console.
  • Для пункта 1 и 2 нужно ввести полный url страницы, включая расширение (например, .php или .html).
  • Анкорные ссылки типа #link нужно удалять из url.
  • Из поиска удалятся все варианты страницы с протоколами http и https, а также url с префиксом www и без.
  • Регистр символов в url имеет значение, то есть страницы site.ru/Catalog и site.ru/catalog являются разными адресами.
  • В случае, если страница имеет дубли (одна и та же страница доступна по нескольким url), нужно отправить запросы со всеми их адресами.

После того, как вы введете адрес, вам предложат 3 варианта:

В первом случае (Удалить url из кэша и временно исключить его из поиска) страница и кэшированная версия удалятся на срок до 90 дней.

Во втором случае (Удалить только из кэша) страница остается в выдаче, а удалится сохраненная копия. После следующего сканирования появится новая сохраненния версия страницы.

В третьем случае (Очистить кэш и временно скрыть все url, которые начинаются с…) удаляются все страницы и их сохраненные копии, начинающиеся с указанного вами префикса. К примеру, если вы укажете catalog/ , удалятся страницы типа catalog/1 , catalog/2 , catalog/3 и тд. В случае если необходимо исключить сайт полностью, в пункте 3 не нужно указывать путь, то есть оставить поле пустым.

Как удалить страницу из выдачи Google полностью?

Нужно удалить контент с сайта и убедиться, что отдается ответ сервера – 404 или 410.

Запретить индексирование метатегом. Очень важно использовать именно метатег, а не запрет в файле robots.txt, так как этот файл лишь рекомендация для поискового робота.

Если же контент является изображением с расширением .jpg или .png или же документом с расширением .pdf или .doc, нужно удалить этот файл с сервера. Заблокировать доступ к контенту, например, установить пароль.

А что делать, если информация находится на чужом ресурсе?

Самый быстрый способ — обратиться к владельцу с просьбой удалить личные данные. Если владелец отказывается это делать, или от него нет ответа, можно обратиться в службу поддержки Google.

Яндекс не предоставляет возможности оставить запрос на удаление личных данных.

В заключение можно сказать, что поисковые системы имеют и сходства, и различия в механизме удаления несуществующих страниц. Из основного можно выделить следующие рекомендации: закрыть от индексации подлежащие удалению страницы, настроить ответ сервера, воспользоваться сервисами вебмастеров поисковых систем.

  • 12 апреля 2019