Статии в същата категория
О, тези грешки в растежа...
Имаше случай в моята практика. Писах статии, дадох всичко от себе си, имаше шестдесет статии, написани по това време и изведнъж!
Намирам такава подробност, моите не са настроени правилно в блога, можете да видите как трябва да бъде в тази статия.
Е, разбирате, блогът е в индекса и посетителите идват по заявки от резултатите на търсачката. Някои статии в ТОП на втора-пета позиция се задържат и привличат куп хора в блога.
И сега, засада, така че трябва да преработите всички връзки? Обърнах се към опитни SEO специалисти, те казват, че този въпрос винаги се обсъжда, но структурата, каквото и да се каже, е нарушена. Сякаш работи така...
Но познат блогър каза, че е имал 170 статии и започна да наденица, и той го преработи.
И само в края на URL адреса на всяка статия не е наклонена черта [ / ] трябва да бъде и [.html] !!!
Мисли, мисли и взе. И го преработи. Разбира се, посещаемостта падна, след това постепенно започна да расте, но тук е проблемът.
Страници с наклонена черта в индекса остават и посетителите от търсачките естествено идват при мен и се натъкват на страница 404. Тук няма такава статия, по дяволите ... Какво, по дяволите ...
Така стигнахме до същността на статията, трябва да премахнем тези URL адреси от индекса.
Премахване на страници от индекса на търсачката
След като проучи този въпрос, той се зае с работа. Оказва се, че несъществуващи страници могат да се появят по много причини.
Защо затворени и изтрити страници остават в търсенето
Има няколко причини. За да поясним, затворени страници означават услуги и други страници, които са забранени за индексиране от robot.txt правила или мета тагове.
В търсенето съществуват несъществуващи страници поради следните причини:
— Премахнато и следователно несъществуващо
- поради ръчна редакция на адреса на уеб страницата. Това не може да се направи категорично, веднага става недостъпно.
- сървърът не е конфигуриран правилно, във връзка с това несъществуваща страница ще генерира грешка 404.
В индекса се формират допълнителни страници, ако:
— Страниците са затворени, но всъщност се търсят и са отворени за търсещи роботи (robots.txt не е конфигуриран правилно)
— бяха индексирани по-рано, отколкото бяха затворени
Тези страници са свързани с други сайтове или са свързани с вътрешни страници.
Е, ако причините са ни известни, диагнозата е поставена, можем да започнем лечение.
Не е излишно да споменем, че след като свършихме работата по премахването на всички задръствания, те все още ще съществуват в търсенето известно време. Всичко зависи от честотата на преминаване на роботи през вашия сайт.
Как да премахнете страница от търсенето в Yandex
Изпратено и следващия път, когато роботът влезе, заявката за изтриване ще бъде изпълнена.
Как да премахнете от индекса в търсачката Google
В Google отворете инструментите за уеб администратори в списъка за оптимизация Премахнете URL адреси, като използвате връзката https://www.google.com/webmasters/tools/url-removal?hl=ru&siteUrl=http://www.site/
Или напишете в Google търсене "Инструмент за уеб администратори" и щракнете върху горния ред в горната част.
Ще се отвори прозорецът на Search Console, където щракнете върху URL адреса на вашия сайт, ако е там. Ако не, добавете своя ресурс (ляв бутон).
След това ще има меню вляво, в него пътят Google Index -> Remove URLs.
Кликнете върху бутона Временно скриване и въведете адреса за изтриване в прозореца. Бутон за продължаване.
След това изберете причина и изпратете заявка. Ще се покаже запитване за състояние.
И след известно време страницата ще напусне индекса.
Е, това е цялата история)))
Издадохме нова книга „Маркетинг на съдържание в социалните медии: Как да влезете в главата на абонатите и да ги накарате да се влюбят във вашата марка.“
Всеки уеб администратор, рано или късно, може да се нуждаепремахнете сайта от търсачката, или изтрийте една страница . Въпреки че въпросът може да изглежда прост, има някои трудности. Например, когато щракнете върху бутона „изтриване“ в панела за уеб администратори, Yandex може да отговори „Няма причина за изтриване“. Но само уеб администраторът контролира съдбата на страниците.
Нека да го разберем.
Как да премахнете нежеланите страници от търсенето?
Първо, нека да разгледаме как сайтът попада в търсенето.
Да приемем, че сте създали своя сайт, напълнили сте го със съдържание и сте извършили известна оптимизация. Чакате робота на търсачката да дойде и да обходи вашия сайт. Обхождането на сайта предполага, че роботът ще разгледа вашия сайт и ще запомни за какво става дума, грубо казано. След като сайтът бъде обходен, той попада в индекса. С други думи, обходеният сайт попада в резултатите на търсачката.
За да управлявате индексирането на страниците на вашия сайт, трябва да отговаряте на следните предпоставки:
- Регистрирахте сайта си в Yandex.Webmaster и имате достъп до панела за уеб администратори;
- Сайтът има файл robot.txt.
Отиваме в Yandex.Webmaster. За да направите това, трябва да въведете Yandex Webmaster в търсенето или да следвате директната връзка.
Изберете раздела „Моите сайтове“. Ако имате повече от един, ще се покаже списък с вашите сайтове, тук избираме сайта, който искатепремахнете от търсенето
В плъзгача, който се намира вдясно, намираме връзката „Изтриване на URL“.
Въведете връзка към страницата във формуляра и щракнете върху „изтриване“. Yandex смята, че знаете точния адрес на страницата, която искате да изтриете. Предполага се, че въведената от вас страница ще бъде изтрита и това е всичко. Но това не винаги работи. Най-често това се дължи на факта, че url-ът, въведен във формата, не съвпада с адреса на желаната от вас страницапремахнете от търсенетоЯндекс.
Как да разберете точния URL адрес на страница?
За да разберете адресите на всички индексирани страници на сайта, Yandex има специална команда „host“. В лентата за търсене трябва да напишете "host:site.ru". Сайт - тук пишем адреса на вашия сайт. След изпълнение на тази команда се извежда списък с всички индексирани страници на въведения сайт.
Но какво ще стане, ако в резултатите от търсенето има повече страници, отколкото има на сайта?
Ако в резултатите от търсенето има повече страници, отколкото на вашия сайт, значи някои страници имат дубликати – това е една от най-честите причини. Има две решения за премахване на такива страници:
- Затворете в robots.txt и самия Yandex с течение на времетопремахнете нежеланите страници от търсенето. Но това може да отнеме много време.
- Изтрийте дубликати ръчно.
За да премахване на страница от търсенето в Yandexръчно:
- Отиваме на страницата (дубликат).
- Копираме адреса й.
- Отиваме в Yandex Webmaster.
- Кликнете върху „Моите сайтове“.
- Изберете желания сайт.
Щракнете в плъзгача " Изтриване на URL"И поставете адреса на дублираната страница във формуляра.
Може да видите съобщение като това:
Как да бъдем в такъв случай? Това съобщение показва, че страницата не е затворена от индексиране в robots.txt или няма параметър noindex. Затворете го и опитайте отново. Ако всичко е направено правилно, ще видите такова съобщение.
„URL адресът е поставен на опашка за изтриване.“ Трудно е да се каже колко време ще отнеме изтриването, може да зависи както от броя на страниците на сайта, така и от самия Yandex.
Има ситуации, когато не е необходимо бързо да индексирате страници, а да ги премахнете от резултатите от търсенето.
Например, когато купувате име на домейн и създавате изцяло нов сайт на него, който по никакъв начин не е свързан с предишния. Или в индекса има страници, които не би трябвало да са там. Или просто сте решили да затворите раздел в сайта, който вече не е актуален.
Днес говорим за как да премахнете страници от индекса на търсачките Google и Yandex.
Ще разгледаме по-подробно основните начини, по които можете бързо да премахвате страници от резултатите от търсенето.
Да пристъпим към работа!
Начини за премахване на страници от индекса на търсачката:
1. Изтриване в Инструменти за уеб администратори
Най-лесният начин да премахнете страници от индекса е да ги премахнете с помощта на и .
Премахване на страници от търсенеGoogle
Отиваме на:
След това изпращаме заявка за изтриване на страницата.
Веднага възниква въпросът колко време да чакаме?
Изтриването на страница е много бързо. Ето същия сайт, 8 часа след добавянето:
Дори и с малък брой страници, можете да ги премахнете от индекса много бързо. Например, същия сайт, малко по-рано:
Тоест имаше повече от 1200 страници, след това имаше няколко дузини. И сега остава почти една главна страница.
Премахване на страници от търсенето в Yandex
Добавете адреса на желаната страница, който трябва да бъде изтрит.
В резултат на това можем да получим следния отговор:
Тоест, все още трябва да направите точките, описани по-долу, което ще ускори процеса на премахване на страници от индекса на Yandex.
За неиндексиране или изключване на страници или секции отговаря функцията: "Disallow:".
Можете да затворите от индексиране както отделни страници, така и цели раздели на сайта. Тоест това, което не искате да бъде индексирано от търсачките. Robots.txt се счита от Google и Yandex.
Например затваряне на раздел:
Затваряне на страницата:
Забрана: /page1.html
Затваряне на страниците за търсене:
Disallow: /site/?s*
Скоро ще има много обемна публикация за robots.txt с много технически точки, които поне трябва да знаете и да прилагате за решаване на проблеми със сайта.
3. 404 грешка
Също така е важно да създадете страница за грешка 404, така че сървърът да върне 404. След това следващия път, когато сайтът бъде индексиран от ботове за търсене, те ще изхвърлят тези страници от индекса.
Отговорът на сървъра за грешка 404 се генерира по подразбиране, защото ако не бъде направено, сайтът може да има много дублирани страници, което ще има лош ефект върху нарастването на трафика.
Искам да отбележа, че изтриването на страници от индекса по този начин може да отнеме време, тъй като трябва да изчакате ботовете на търсачката.
Това са основните точки, които могат да повлияят на премахването на страници от индекса на търсачката.
На практика много рядко използва нещо друго, като:
- мета таг роботи
— X-robots-Tag
Но за да премахнете със сигурност необходимите страници от индекса, по-добре е да използвате всичките 3 метода, описани по-горе. Тогава ще бъде много по-бързо.
Можете също така просто да изтриете страниците и да оставите само мъниче на сайта, но не е факт, че страниците ще изчезнат от индекса много бързо, така че е по-добре да им помогнете с това.
Подстраници, архиви, тагове и др.
Как да премахнете Replytocom от индекса
Ако имате дървовидни коментари на вашия сайт, може да имате и страници с replytocom в индекса. Като цяло имах 17 000 страници в индекса с тях, след като ги премахнах от индекса, в момента в Google са останали около 2000 страници. Бяха премахнати за дълго време, почти година. Тоест ненужните страници тихо изпаднаха от индекса.
Такива страници са много лесни за премахване с помощта на същия плъгин за WordPress SEO от Yoast.
Някои сайтове изобщо не се нуждаят от RSS. Логично е да го изключите. С помощта на RSS всяка шлака може да влезе в индекса, нещо подобно:
Отворете файла functions.php и поставете този код там (поставете преди затварянето?>):
// Деактивиране на функцията за RSS канал fb_disable_feed() ( wp_redirect(get_option("siteurl")); изход; ) add_action("do_feed", "fb_disable_feed", 1); add_action("do_feed_rdf", "fb_disable_feed", 1); add_action("do_feed_rss", "fb_disable_feed", 1); add_action("do_feed_rss2", "fb_disable_feed", 1); add_action("do_feed_atom", "fb_disable_feed", 1); remove_action("wp_head", "feed_links_extra", 3); remove_action("wp_head", "feed_links", 2); remove_action("wp_head", "rsd_link");
Сега, ако видим страници като site.ru/stranica.html/blabla/feed и отидем на нея, ще бъдем пренасочени към главната страница на сайта. И Google скоро ще премахне такива страници от индекса.
Можете също така да го пренасочите не към главната страница, а към някоя избрана (например страница за абонамент). За да направите това в кода вместо:
wp_redirect(get_option("siteurl"));изход;
паста:
Wp_redirect("http://site.ru/podpiska");изход;
където http://site.ru/podpiska е всяка страница, която посочите.
Как да премахнете сайт от индекса
Има нужда, че сайтът е млад и трябва да поставите забрана за индексиране, докато не се изтрият "стандартните публикации", които не са уникални, шаблонът се промени на нов и се добавят дузина страници по темата. Всичко това обикновено се прави така, че търсачките да "изядат" сайта и да разберат от самото начало каква е неговата тематика, посока, структура и т.н.
За да изключите целия сайт от индекса, добавете този код към header.php преди затварящата глава:
Това е добре, ако искате да скриете и определена html страница. Например, имате някакъв вид , отделен от вашия шаблон и не ви е необходим, за да влезете в индекса.
Как да ускорите премахването на страници от индекса на търсачката
Извършените по-горе манипулации ще изключат появата на ненужни страници в бъдеще. Старите също ще "паднат" от самия индекс, но не толкова бързо, колкото бихме искали, ако някой иска да ускори процеса и няма толкова много ненужни страници в допълнителния индекс, тогава можете да поработите малко с химикалки.
- Отидете на Google Toolbar. Там отиваме на нашия сайт, раздел „Индекс на Google“ -> „Статус на индексиране“:
- Тук можете да видите как ненужните страници изпадат от индекса. Тоест общият брой страници в индекса намалява редовно. За да ускорите процеса на премахване на страници от индекса, просто отидете в раздела „Премахване на URL адреси“:
- Там щракнете върху бутона „Създаване на нова заявка за изтриване“:
Моля, обърнете внимание, че robots.txt трябва да съдържа правило, което забранява това съдържание да бъде индексирано. Тоест, ако искате да изтриете нещо, URL трябва да бъде забранен в robots.txt, в противен случай страницата няма да бъде премахната от индекса. - Например имах сайт/категория/личное/страница/5 страница в индекса, вмъквам го в полето и натискам „Продължи“:
- В следващия прозорец можете да избирате между: изтриване само на 1 страница или цялата директория:
- Ако искате да изтриете само страницата, изберете „Премахване на страницата от резултатите от търсенето и кеша“ и щракнете върху „Изпращане на заявка“. Ще видите подобно известие:
- Повтарям, трябва да бъде написано, че забранява индексирането на тази страница. В моя случай това е правилото:
- Можете също така незабавно да премахнете директорията с ненужни страници от индекса. За да направите това, вмъкваме не конкретен URL адрес, а например нещо подобно със звездичка:
- Това ще изтрие цялата рубрика и това, което съдържа. Обикновено страниците изчезват от индекса в рамките на 1 ден. Сроковете могат да достигнат до 1 седмица.
Яндекс
В Yandex принципът е същият. Отиваме на „Изтриване на URL“ и там въвеждаме URL адреса на ненужна страница, попаднала в индекса на Yandex:
За да бъде премахната страница от индекса, е необходимо страницата да бъде премахната физически (т.е. да бъде дадена, например) или също така да бъде забранено индексирането с помощта на robots.txt или по друг начин. Yandex също ще премахне страницата от индекса, въпреки че обикновено отнема повече време, отколкото при Google.
Използване на програмата ComparseR
Всички тези "ускорения" за изтриване на страници от индекса могат да бъдат направени с помощта на страхотен и няма да се налага да седите и да отбелязвате един URL в панела за уеб администратори. Програмата може да ви позволи да изтриете ненужни страници за 1-2 минути. Много удобно.
Заключение
В този урок демонстрирах как да премахнете „нежеланите“ страници от индекса, те също се наричат „сополи“. Препоръчително е да ги премахнете, но не трябва да правите цяла драма от това. Иначе си спомням колко хора изпадаха в истерия за replytocom, че това е някакъв МНОГО сериозен проблем, груба грешка в SEO. Не бих го нарекъл така, прекалено е преувеличено. Просто се стремете към чисто търсене, така че всичко на вашия сайт да е пухкаво и гладко.
Благодаря ви за вниманието, до скоро! Ще има въпроси - ще се радвам да отговоря в коментарите. Чао!
P.s. Трябва да популяризирате сайта си? Компания Pro Studio - промоция на уебсайт от професионалисти.
Издадохме нова книга „Маркетинг на съдържание в социалните медии: Как да влезете в главата на абонатите и да ги накарате да се влюбят във вашата марка.“
Често при създаването и работата на сайта страниците се появяват изтрити или със сменени адреси. Проблемът е, че ако търсачката успее да ги индексира преди изтриването, при поискване системата ще даде на потребителя цялата информация, съдържаща се на страницата. Или страниците на услугите стават публични - и всъщност те могат да съдържат информация, която не е предназначена за любопитни очи. И така, как да избегнете такава неприятност, как да изтриете страница в Google и други търсачки и да направите това, което е видимо, невидимо?
В мрежата непрекъснато се срещат инциденти с остарели страници. Търсенето може да даде лична информация на клиентите, всичките им поръчки в детайли. В края на краищата често ни се иска да попълним формуляри с много лична информация, която трябва да бъде скрита от всички. Как да избегнем подобни грешки, ще кажем в тази статия.
Причини, поради които търсачките ни водят до несъществуващи страници
Най-честата причина е, че страницата е изтрита, не съществува. И уеб администраторът е забравил да го премахне от индекса на Yandex (или друг PS), или сайтът се поддържа от начинаещ, който просто не знае как да премахне страницата в търсачката. Или поради ръчно редактиране на сайта, страницата стана недостъпна. Начинаещите администратори на уебсайтове често грешат с това, пренебрегвайки работата на своя ресурс.
Нека продължим да говорим за структурата на сайта. Често системите за управление на съдържанието (т.нар. CMS) първоначално не са конфигурирани оптимално. Например, когато инсталирате сайт на хостинг на добре познатия двигател за блогове WordPress, ресурсът не отговаря на изискванията за оптимизация, тъй като URL адресът се състои от цифрови и буквени идентификатори. Уеб администраторът трябва да направи промени в структурата на страницата на CNC, в резултат на което могат да се появят много неработещи адреси, на които търсачката ще се покаже при поискване.
Затова не забравяйте да следите променените адреси и използвайте пренасочване 301, което ще насочва заявките от стария адрес към новите. В идеалния случай всички настройки на сайта трябва да бъдат завършени, преди да се отвори. И тук локалният сървър ще помогне.
Първоначално неправилна конфигурация на сървъра. Заявката за страница, която не съществува, трябва да върне код за грешка 404 или 3xx.
Причини за появата на привидно изтрити страници в индекса
Понякога ви се струва, че всички ненужни или излишни страници са затворени от любопитни очи, но въпреки това те се проследяват перфектно от търсачките без никакви ограничения. Може би това е когато:
- неправилно изписване на файла robots.txt;
- администраторът премахна излишните страници от индекса твърде късно - търсачките вече успяха да ги индексират;
- ако сайтове на трети страни или други страници от същия сайт се свързват към страници с адреси, преди те да бъдат променени от уеб администратора.
Така че може да има много инциденти. Обмислете варианти за решаване на проблема.
как премахване на страница от индекса на Yandex и други търсачки
- robots.txt
Любим начин за мнозина за премахване на страници от индекса е използването на файла robots.txt. Много опуси са написани по темата за правилната конфигурация на този файл. Няма да ги пренаписваме тук, но този файл ще ви помогне удобно да скриете цял раздел от сайта или отделен файл от търсенето.
Този метод също изисква изчакване - докато роботът на търсачката прочете файла и зачертае страницата, секцията от търсенето. Както споменахме по-рано, наличието на външни връзки към затворени страници ги прави достъпни за преглед, бъдете внимателни. - роботи мета таг
Този таг е зададен в HTML кода на самата страница. Методът е удобен поради своята простота. Препоръчвам го на начинаещи уебмастъри, които създават своя сайт страница по страница. Етикетът се добавя лесно към всички необходими страници, чието съдържание трябва да бъде скрито от любопитни очи. В същото време файлът robots.txt не е задръстен с ненужни инструкции, като същевременно остава прост и разбираем. Този метод за премахване от видимостта на търсачките има един недостатък - сложността на прилагане към динамичен сайт. Такива ресурси, благодарение на шаблонната връзка на модулите, могат да затворят всички страници на ресурса вместо няколко избрани - трябва да внимавате тук! - X-Robots-Tag
В момента методът е подходящ само за чужди търсачки като Google. Yandex все още не поддържа този маркер, може би нещо ще се промени в бъдеще. Той е много подобен на мета тага robots, основната му разлика е, че записваме тага в самите http заглавки, скрити в кода на страницата. Понякога използването на този метод е много удобно, но не забравяйте, че страниците са само частично затворени. Търсачката Yandex пак ще ги намери без проблеми. Тази техника често се използва от майстори на "black hat SEO", които скриват страници с връзки от търсачките.
Как да изтриете страница в търсачката Google и Yandex
- 404 грешка.Най-лесният начин да премахнете страница от индекса на търсачката е да я премахнете и да приложите правило, така че сървърът да върне грешка 404 на този адрес, като ни информира, че исканата страница не съществува. Повечето CMS и WordPress не са изключение, когато изтриват страница, правилно информират робота, че документът липсва и че трябва да бъде изхвърлен от индекса на търсачката.
Кодът 404 обаче ще влезе в сила едва след като роботът посети ресурса. Всичко зависи от това кога страницата е била индексирана, това понякога може да отнеме доста дълго време.
Този метод не е подходящ, ако страницата все още е необходима, за да работи сайтът, например това е служебна информация. Препоръчвам да използвате методите по-долу. - Ръчно премахване.Надежден, бърз и лесен начин, и в същото време достъпен за всеки, е ръчният. Връзки за уеб администратори за премахване на страници от Yandex и Google:
- Яндекс;
- Google.
Само тук има условие - за да работи този метод, необходимите страници трябва да бъдат предварително затворени от робота по някой от вече изброените по-горе методи. Ако ресурсът е голям, тогава този метод не е достатъчно бърз в изпълнение. Ще трябва да изтриете всяка страница поотделно. Но това е просто и разбираемо дори за начинаещи. От практиката Google прекарва няколко часа в обработка на заявка, Yandex действа малко по-бавно, трябва да изчакате актуализация. И все пак, в сравнение с предишните методи за изтриване на страници в търсачката, това е най-бързият.
Добре проектираната структура на сайта улеснява работата с него, подобрява видимостта за търсачките и създава положително впечатление за сайта на неговите посетители. В крайна сметка, какво може да бъде по-важно за един ресурс от репутацията и доверието в него.
