Статьи в этой же категории
О х уж эти ошибки роста…
В моей практике был случай. Писал статьи, старался изо всех сил, написано на тот момент было статей шестьдесят и вдруг!
Нахожу такую деталь, мои настроены на блоге не совсем корректно, вы можете посмотреть как нужно в этой статье.
Ну а сами понимаете, блог в индексе и посетители приходят по запросам из выдачи поисковиками. Некоторые статьи в ТОПе на вторых –пятых позициях держатся и приводят кучу народа на блог.
И вот, засада, значит надо переделывать все ссылки? Обратился к опытным СЕОшникам, говорят этот вопрос все время в дискуссиях, а структура, как не крути, нарушена. Как бы вроде и так работает…
Но знакомый блогер сказал, что у него за 170 статей было, и стало колбасить, и он переделывал.
А всего лишь в конце URLа каждой статьи не слэш [ / ] должен быть, а [ .html ] !!!
Подумал-подумал и взялся. И переделал. Конечно, посещаемость упала, потом постепенно начала расти, но вот проблема.
Страницы со слэшем в индексе остаются и посетители из поисковиков естественно идут ко мне и натыкаются на 404 страницу. Нет мол тут такой статьи, бля… Какого хера…
Вот мы и пришли к сути статьи, надо убрать из индекса эти УРЛы.
Удаление страниц из индекса поисковых систем
Изучив этот вопрос, принялся за дело. Оказывается, что несуществующие страницы могут оказаться по многим причинам.
Почему же закрытые и удаленные страницы остаются в поиске
Причин несколько. Поясню, под закрытыми страницами подразумеваются служебные и другие страницы, запрещенные к индексации правилами robot.txt или метатэгами.
Несуществующие страницы существуют в поиске по причинам:
— Удаленные, а значит не существующие
— по причине ручного редактирования адреса вэб-страницы. Этого делать нельзя категорически, он сразу становится недоступным.
— не правильно настроена работа сервера, в связи с этим несуществующая страница будет выдавать 404 ошибку.
Лишние страницы образуются в индексе при условии:
— Страницы закрыты, но на самом деле они находятся в поиске и открыты для поисковых роботов (не правильно настроен robots.txt)
— были проиндексированы ранее, чем они были закрыты
— на эти страницы ссылаются другие сайты или на них ссылаются внутренние страницы.
Ну коли причины нам известны, диагнос поставлен, можно и приступить к лечению.
Не лишним стоит упомянуть, что сделав работу по устранению всех косяков, они еще какое-то время будут существовать в поиске. Все зависит от частоты прохода роботов по вашему сайту.
Как удалить страницу из поиска в Яндексе
Отправили и при следующем заходе робота запрос на удаление будет выполнен.
Как удалить из индекса в поисковой системе Google
В Гугле открываем инструменты вэбмастера в списке Оптимизация Удалить URL адреса по ссылке https://www.google.com/webmasters/tools/url-removal?hl=ru&siteUrl=http://www.сайт/
Или наберите в поиске Гугла «Инструмент для вебмастеров» и в верхней кликните по верхней строчке.
Откроется окно Search Console, где кликните на URL вашего сайта, если он там есть. Если нет, добавьте свой ресурс (слева кнопка).
Затем слева будет меню, на нем путь Индекс Google —> Удалить URL-адреса.
Жмите на кнопку Временно скрыть, и внесите адрес для удаления в окно. Кнопка Продолжить.
Затем выберите причину и Отправьте запрос. Запрос о статусе отобразится.
И через какое-то время страница уйдет из индекса.
Ну вот и вся история)))
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Любому вебмастеру рано или поздно может понадобится удалить сайт из поисковика , или удалить одну страницу . Несмотря на то что дело может показаться простым, возникают некоторые сложности. К примеру, при нажатии на кнопку «удалить» в панели вебмастера, Яндекс может ответить «Нет оснований для удаления». Но только вебмастеру подвластна судьба страниц.
Давайте разбираться.
Как удалить из поиска ненужные страницы?
Для начала разберем как сайт попадает в поиск.
Допустим, вы создали свой сайт, заполнили его контентом и сделали некоторую оптимизацию. Вы ждете, когда придет робот поисковика и просканирует ваш сайт. Сканирование сайта подразумевает, что робот посмотрит ваш сайт и запомнит про что он, грубо говоря. После того как сайт просканирован, он попадает в индекс. Иными словами, просканированный сайт попадает в выдачу поисковиков.
Для управления индексацей страниц вашего сайта, вам необходимо соблюсти обязательные условия:
- Вы зарегистрировали сайт в Яндекс.Вебмастер и имеете доступ к панели вебмастера;
- На сайте есть файл robot.txt.
Заходим в Яндекс.Вебмастер. Для этого нужно ввести в поиске Яндекс Вебмастер или перейти по прямой ссылке .
Выбираем вкладку «Мои сайты». Если у вас он не один, отобразиться список ваших сайтов, тут выбираем сайт, который хотите удалить из поиска
В слайдбаре, который находится справа, находим ссылку «Удалить URL».
Вводим в форме ссылку на страницу и нажимаем «удалить». Яндекс думает, что вы знаете точный адрес страницы, которую хотите удалить. Предполагается, что произойдет удаление введенной вами страницы и все. Но это срабатывает далеко не всегда. Чаще всего это происходит из-за того, что url введенный в форме не соответствует адресу страницы, которую вы хотите удалить из поиска Яндекса .
Как узнать точный URL страницы?
Для того чтобы узнать адреса всех проиндексированных страниц сайта в Яндексе есть специальная команда «host». В строке поиска нужно написать «host:site.ru». Site – здесь пишем адрес вашего сайта. После выполнения данной команды выводится список всех проиндексированных страниц введенного сайта.
А что если страниц в выдаче больше, чем есть на сайте?
Если в выдаче страниц больше, чем у вас на сайте, значит, некоторые страницы имеют дубли – это одна из самых распространенных причин. Для удаления таких страниц есть два решения:
- Закрыть в robots.txt и Яндекс со временем сам удалит ненужные страницы из поиска . Но это может затянуться надолго.
- Удалить дубли вручную.
Для того чтобы удалить страницу из поиска Яндекса вручную:
- Заходим на страницу (дубль).
- Копируем ее адрес.
- Заходим в Яндекс Вебмастер.
- Нажимаем на «Мои сайты».
- Выбираем нужный сайт.
Нажимаем в слайдбаре «Удалить URL » и вставляем в форму адрес дубля страницы.
Возможно, вы увидите такое сообщение:
Как быть в таком случае? Данное сообщение сигнализирует о том, что страница не закрыта от индексации в robots.txt или нет параметра noindex. Закрываем ее и пробуем еще раз. Если все сделано правильно вы увидите такое сообщение.
«URL добавлен в очередь на удаление». Сколько времени займет удаление трудно сказать, зависеть это может как от количества страниц на сайте, так и от самого Яндекса.
Бывает ситуации, когда нужно не быстро проиндексировать страницы, а убрать их с результатов поиска.
Например, когда вы купили доменное имя, и создаете на нем совершенно новый сайт, который никак не связан с предыдущим. Или в индекс попали страницы, которые там не должны быть. Или вы просто решили закрыть раздел на сайте, который больше не актуален.
Сегодня речь про то, как убрать страницы из индекса поисковых систем Google и Яндекс .
Мы детально рассмотрим основные способы, с помощью которых можно быстро убрать страницы из результатов поиска.
Давайте сразу перейдем к делу!
Способы убрать страницы из индекса поисковых систем:
1. Удаление в инструментах Вебмастеров
Самым простым вариантом удаления страниц из индекса является удаление через и .
Удаление страниц из поиска Google
Заходим в:
После чего отправляем запрос на удаление страницы.
Сразу возникает вопрос, а сколько ждать?
Удаление страниц происходит очень быстро. Вот тот же сайт, через 8 часов, после добавления:
Даже при не малом объеме страниц, можно убрать их из индекса крайне быстро. Например, тот же сайт, немногим ранее:
То есть было более 1200 страниц, потом стало пару десятков. А сейчас осталась практически одна главная страница.
Удаление страниц из поиска Яндекса
Добавляем нужный адрес страницы, который необходимо удалить.
В итоге можем получить такой ответ:
То есть, все равно придётся сделать ниже описанные моменты, которые ускорят процесс удаления страниц из индекса Яндекса.
За не индексацию или исключение страниц или разделов отвечает функция: «Disallow:».
Можно закрывать от индексации, как отдельные страницы, так и целые разделы сайта. То есть то, что вы не хотите индексировать поисковыми системами. Robots.txt учитывается Google и Яндекс.
Например – закрытие раздела:
Закрытие страницы:
Disallow: /stranica1.html
Закрытие страниц поиска:
Disallow: /сайт/?s*
Про robots.txt скоро будет очень объемный пост с многими техническими моментами, которые как минимум стоит знать и применять для решения задач сайтов.
3. 404 ошибка
Так же важно создать страницу 404 ошибки, чтобы сервер отдавал 404. Тогда при очередной индексации сайта поисковыми ботами они выкинут эти страницы из индекса.
Ответ сервера 404 ошибки создается по умолчанию, так как если ее не делать, на сайте может быть множество дубликатов страниц, которые плохо повлияют на рост трафика.
Хочу заметить, что удаление страниц из индекса таким способом может занять время, так как нужно дождаться ботов поисковых систем.
Это основные моменты, которые могут повлиять на удаление страниц из индекса поисковых систем.
В практике очень редко использует другое, как:
— мета тег robots
— X-robots-Tag
Но чтобы убрать нужные страницы из индекса наверняка, то лучше использовать все 3 выше описанные методы. Тогда это будет на порядок быстрее.
Так же можно просто удалить страницы и оставить лишь заглушку сайта, но не факт, что страницы пропадут из индекса очень быстро, поэтому лучше им в этом помочь.
Подстраницы, архивы, метки и пр.
Как удалить Replytocom из индекса
Если у вас на сайте древовидные комментарии, в индексе также могут быть страницы с replytocom. Вообще, у меня вместе с ними было 17 000 страниц в индексе, удалив их из индекса на данный момент в Google пока осталось около 2000 страниц. Удалялись долго, почти год. То есть ненужные страницы выпадали по-тихоньку из индекса.
Подобные страницы очень легко удалить с помощью того же самого плагина WordPress SEO by Yoast.
На некоторых сайтах вообще не нужен RSS. Там есть смысл в его отключении. С помощью RSS может попасть всякий шлак в индекс, подобие этого:
Открываем файл functions.php и туда вставляем вот этот код (вставляем перед закрывающим?>):
// Отключаем RSS ленту function fb_disable_feed() { wp_redirect(get_option("siteurl"));exit; } add_action("do_feed", "fb_disable_feed", 1); add_action("do_feed_rdf", "fb_disable_feed", 1); add_action("do_feed_rss", "fb_disable_feed", 1); add_action("do_feed_rss2", "fb_disable_feed", 1); add_action("do_feed_atom", "fb_disable_feed", 1); remove_action("wp_head", "feed_links_extra", 3); remove_action("wp_head", "feed_links", 2); remove_action("wp_head", "rsd_link");
Теперь, если мы увидим страницы вида site.ru/stranica.html/blabla/feed и перейдем на нее, нас перебросит на главную страницу сайта. И Google вскоре исключит подобные страницы из индекса.
Также можно сделать, чтобы перебрасывало не на главную страницу, а на какую-нибудь выбранную (страницу подписки, допустим). Для этого в коде вместо:
Wp_redirect(get_option("siteurl"));exit;
вставляем:
Wp_redirect("http://site.ru/podpiska");exit;
где http://site.ru/podpiska - любая страница, которую вы пропишите.
Как удалить сайт из индекса
Бывает необходимость в том, что сайт молодой и нужно поставить запрет на индексацию до того времени, пока не удалятся "стандартные посты", которые не уникальны, не поменяется шаблон на новый и не добавится десяток страниц по теме. Все это, обычно делается для того, чтобы поисковые системы "скушали" сайт и понимали какая тематика его, направление, структура и пр. с самого начала.
Чтобы исключить весь сайт из индекса, добавьте в header.php до закрывающегося head вот этот код:
Это подойдет, если нужно скрыть определенную html страницу тоже. Например, у вас сверстан какой-либо , отдельно от Вашего шаблона и вам не нужно, чтобы он попал в индекс.
Как ускорить удаление страниц из индекса поисковых систем
Сделанные выше манипуляции исключат появление ненужных страниц в будущем. Старые тоже будут сами "отваливаться" с индекса, но не так быстро, как хотелось бы, если кто-то хочет ускорить процесс и ненужных страниц в дополнительном индексе не так много, то можно поработать немного ручками.
- Заходим в панель инструментов Google. Там переходим на наш сайт, вкладка "Индекс Google" -> "Статус индексирования":
- Здесь можно увидеть, как ненужные страницы выпадают из индекса. То есть общее количество страниц в индексе регулярно уменьшается. Чтобы ускорить процесс удаления страниц из индекса, просто переходим во вкладку "Удалить URL-адреса":
- Там нажимаем на кнопку "Создать новый запрос на удаление":
Обратите внимание, в robots.txt обязательно должно быть прописано правило, которое запрещает индексировать данное содержимое. То есть то, если вы хотите что-то удалить, URL должен стоять под запретом в robots.txt, иначе страница не удалится из индекса. - Например, у меня в индексе была страница сайт/category/lichnoe/page/5, ее вставляю в поле и нажимаю "Продолжить":
- В следующем окне, можно выбрать между: удаление только 1 страницы или целого каталога:
- Если требуется удалить только страницу, выбираем "Удалить страницу из результатов поиска и из кеша" и нажимаем "Отправить запрос". Вы увидите подобное уведомление:
- Повторюсь, должно быть прописано , который запрещает индексировать данную страницу. В моем случае это вот это правило:
- Также вы можете удалить сразу каталог ненужных страниц из индекса. Для этого вставляем не конкретный URL, а к примеру что-то подобное со "звездочкой":
- Тем самым, удалится целая рубрика и то, что в ней содержится. Обычно страницы пропадают из индекса в течении 1-х суток. Сроки могут достигать и до 1-ой недели.
Яндекс
В Яндексе принцип такой же. Заходим в "Удалить URL" и там вбиваем URL ненужной страницы, которая попала в индекс Яндекса:
Чтобы страница удалилась из индекса, необходимо, чтобы страница была удалена физически (то есть отдавала , к примеру), либо также была запрещена к индексации с помощью robots.txt или другими способами. Яндекс также удалит страницу из индекса, правда у нее это происходит обычно дольше, чем с Google.
С помощью программы ComparseR
Все эти "ускорения" по удалению страниц с индекса можно сделать с помощью великолепной и не нужно будет сидеть и забивать по одному URL в панели вебмастеров. Программа может позволить удалить ненужные страницы за 1-2 минуты. Очень удобно.
Вывод
В этом уроке я продемонстрировал то, как удалить "мусорные" страницы из индекса, их еще называют "сопли". Их удаляться рекомендуется, но не стоит делать целую драму из этого. А то я помню, как многие истерили по поводу replytocom, мол это какая-то ну ОЧЕНЬ серьезная проблема, грубейшая ошибка в SEO. Я бы это так не назвал, это слишком сильное преувеличение. Просто стремитесь к чистоте поиска, чтобы у Вас на сайте было все пушисто и гладко.
Спасибо за внимание, до скорой встречи! Будут вопросы - с радостью отвечу в комментариях. Пока!
P.s. Нужно продвинуть сайт? Компания Pro Studio - продвижение сайта от профессионалов.
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Часто при создании и функционировании сайта возникают страницы удаленные или с изменившимися адресами. Проблема в том, что если до удаления поисковик успел их проиндексировать, при запросе система выдаст пользователю всю информацию, содержащуюся на странице. Или страницы служебные становятся достоянием общественности - а ведь на них может быть расположена информация, не предназначенная для чужих глаз. Так как же избежать подобной неприятности, как удалить страницу в Google и других поисковиках и сделать видимое невидимым?
Казусы с устаревшими страницами встречаются в сети сплошь и рядом. Поиск может выдать личную информацию клиентов, все их заказы в подробностях. Ведь сплошь и рядом нас просят заполнить формы с очень личной информацией, которая должна быть скрыта ото всех. Как избежать подобных ошибок мы и расскажем в этой статье.
Причины, по которым поисковики выводят нас на несуществующие страницы
Самая распространенная причина - страница удалена, не существует. И веб-мастер забыл убрать ее из индекса Яндекса (или других ПС) или сайт поддерживает новичок, который просто не знает, как удалить страницу в поисковике. Или вследствие редактирования сайта вручную страница стала недоступна. Этим часто грешат начинающие администраторы веб-сайтов, относясь пренебрежительно к работе своего ресурса.
Продолжим разговор о структуре сайта. Часто системы управления контентом (так называемые CMS) изначально настроены не оптимально. Например, при установке сайта на хостинг широко известного блогового движка WordPress, ресурс не удовлетворяет требованиям оптимизации, так как url состоит из цифровых и буквенных идентификаторов. Веб-мастеру приходится вносить изменения в структуру страниц на ЧПУ, вследствие чего может появиться множество нерабочих адресов, на которые и будет выводить поисковик при запросе.
Поэтому не забывайте отслеживать изменившиеся адреса и используйте редирект 301, который будет направлять запросы со старого адреса на новые. В идеале все настройки сайта должны быть завершены до его открытия. А здесь поможет локальный сервер.
Изначально неправильная настройка работы сервера. При запросе несуществующей страницы должен выдаваться код ошибки 404 или 3xx.
Причины появления в индексе, казалось бы, удаленных страниц
Иногда вам кажется, что все ненужные или лишние страницы закрыты от посторонних глаз, но они тем не менее отлично отслеживаются поисковиками без каких-либо ограничений. Возможно, это при:
- неправильном написании файла robots.txt;
- администратор слишком поздно удалил лишние страницы из индекса - поисковики уже успели их проиндексировать;
- если сторонние сайты или другие страницы этого же сайта ссылаются на страницы с адресами до их изменения веб-мастером.
Итак, казусов может быть великое множество. Рассмотрим варианты решения проблемы.
Как удалить страницу из индекса Яндекса и других поисковиков
- robots.txt
Любимый многими способ удаления страниц из индекса - применение файла robots.txt. Написано множество опусов на тему правильной настройки этого файла. Переписывать их здесь не будем, но этот файл поможет удобно скрыть от поиска целый раздел сайта или отдельный файл.
Этот способ также требует ожидания - пока робот поисковика прочтет файл и вычеркнет страницу, раздел из поиска. Как уже говорилось ранее, наличие внешних ссылок на закрытые страницы делают их доступными для просмотра, будьте внимательны. - Мета-тег robots
Этот тэг задается в самом HTML - коде страницы. Метод удобен своей простотой. Рекомендую начинающим веб-мастерам, создающим свой сайт страничку за страничкой. Тэг с легкостью добавляется на все необходимые страницы, содержимое которых необходимо скрыть от посторонних глаз. При этом не засоряется излишними указаниями файл robots.txt, оставаясь простым и понятным. У этого способа удаления из видимости поисковиков есть один недостаток - сложность применения к динамическому сайту. Подобные ресурсы, благодаря шаблонному подключению модулей, могут закрыть все страницы ресурса вместо нескольких выбранных - здесь надо быть внимательным! - X-Robots-Tag
Метод пока что годится только для зарубежных поисковых систем, таких как Google. Яндекс этот тэг пока что не поддерживает, может быть в будущем что-то изменится. Очень похож на мета-тег robots, основное его отличие его то, что пишем тэг в самих http-заголовках, скрытых в коде страницы. Иногда использование данного способа очень удобно, но не забывайте что страницы закрываются только частично. Поисковик Яндекса будет по прежнему их находить без проблем. Этим приемом частенько пользуются мастера «черного SEO», скрывающие от поисковиков страницы со ссылками.
Как удалить страницу в поисковике Google и Yandex
- 404 ошибка.
Простейший способ удалить страницы из индекса поисковиков - это фактически удалить ее и применить правило, чтобы по этому адресу сервер выдавал ошибку 404, извещающая нас что запрашиваемая страница не существует. Большинство CMS, не исключение и WordPress, при удалении страницы корректно сообщают роботу что документ отсутствует и необходимо его выкинуть из индекса поисковика.
Однако код 404 начнет действовать только после посещения ресурса роботом. Все зависит от того, когда страница была проиндексирована, это может иногда занимать довольно значительное время.
Этот метод не подходит, если страница еще нужна для работы сайта, к примеру, это служебная информация. Рекомендую использовать приведенные ниже способы. - Ручное удаление.
Надежный, быстрый и простой способ, а вместе с тем всем доступный - это ручной. Ссылки для веб-мастеров, по которым можно удалить страницы из Яндекса и Google:
- Яндекс ;
- Google .
Только здесь есть условие - для работы этого метода нужные страницы должны быть предварительно закрыты от робота любым из уже перечисленных выше способов. Если ресурс большой, то этот метод недостаточно быстр по исполнению. Придется удалять каждую страницу в отдельности. Зато он прост и понятен даже новичкам. Из практики Google затрачивает на обработку запроса несколько часов, Яндекс действует чуть помедленнее, придется ждать обновления. И все же, если сравнивать с предыдущими методами удаления страниц в поисковике - этот самый быстрый.
Правильно составленная структура сайта облегчает его работу, улучшает видимость для поисковых систем и составляет о сайте положительное впечатление у его посетителей. Ведь что может быть важнее для ресурса, чем репутация и доверие к нему.
