Индексация сайта в поисковой системе. Как проиндексировать сайт, как запретить индексацию сайта, как ускорить индексацию сайта и другие полезные вопросы.

Друзья всем привет. Сегодня давайте поговорим про индексацию сайта.

Тема нашего разговора:

Индексация сайта в поисковой системе. Как проиндексировать сайт, как запретить индексацию сайта, как ускорить индексацию сайта и другие полезные вопросы.

Содержание статьи у нас будет таковым:

  1. Что такое индексация сайта/страницы.
  2. Какую информацию поисковая система индексирует
  3. Для чего необходима индексация сайта/страницы.
  4. Для чего запрещают индексацию сайта/страницы.
  5. Как проверить индексацию сайта/страницы.
  6. Как ускорить индексацию сайта/страницы.
  7. Как запретить индексацию сайта/страницы.

Уиии, поехали.

1.  Что такое индексация сайта

Индексация сайта – это процесс, в результате которого, страница веб сайта показывается в поисковой выдаче. Что бы страница попала в индекс, она сначала сканируется, потом скачивается на сервер поисковой системы и после добавляется (или не добавляется) в поисковую выдачу. Т.е. проиндексированная страница – эта страница, которую мы видим в поиске, которая ранжируется!

 

2. Какую информацию поисковая система «любит» индексировать

Друзья это очень важный пункт, которые в целом отвечает на вопрос, почему мой супер классный сайт не попадает в индекс или почему мою информацию поисковая система долго не видит.

Поисковая система постоянно ищет свежую, уникальную и полезную информацию.

  • Свежая – т.е. новая или недавно добавленная
  • Уникальная – это информация, которая до этого не встречалась в сети. Термин очень абстрактный, но предполагается, что набор слов и их порядок в тексте не повторяется. Как правило уникальность проверяется программой Advego Plagiatus (другие сервисы, работают значительно хуже).
  • Полезная – то есть, чтобы страница, которую мы «заточили» под запросы, давала релевантный ответ.

Например, если человек ищет «купить дешевый рюкзак» то на нашем сайте рюкзаки действительно дешевле чем у других

Если человек ищет ремонт мебели, то у нас на странице действительно он может заказать услугу по ремонту мебели.

Пользователь в каждом запросе обозначает свою потребность (что он ищет) и необходимо, что бы сайт мог решить эту потребность, если этого не будет, то как следствие снижение поведенческих факторов и понижение сайта в выдаче. Это очень важно понимать для долгосрочного продвижения.

 

3. Для чего необходима индексация сайта?

Индексация сайта необходима для того, что бы пользователь смог найти ваш сайтстраницу в поиске. Т.е. если вы создали страницу на сайте, но она еще не проиндексирована, то это значит, что пользователь не сможет вашу страницу найти в поиске, пока поисковая страница ее не проиндексирует.

Индексация нужна при:

  • Добавлении новых страниц
  • Обновлении старых страниц

В Google, Yandex и других поисковиках есть «кеш страницы» или версия данной страницы, которая хранится у них в базе. Например, если в кеше гугла будет версия страницы за 22 марта, а вы изменили страницу, допустим, 25 марта, то гугл это «не увидит» пока снова не переиндексирует страницу и не добавит себе в кеш. А пока этого не произошло, в поиске будет ранжироваться версия страницы от 22 марта.

Версия страницы влияет на ранжирование по ключевым словам, поэтому это нужно учитывать.

 

4. Для чего запрещают индексацию сайта

Запрет индексации – это набор команд, целью которых запретить индексацию страниц или всего сайта в целом для недопущения показа страницы или сайта в поисковой системе.

Роботы поисковых систем, постоянно обходят сайты в интернете, в поисках новой информации и скачивают к себе на сервера всю информацию, которую видят, и затем, ту информацию, которую они считают полезной, они отображают в поисковой выдаче.

Запрет к индексации нужен для того, что бы роботы поисковой системы не могли получить доступ к странице или в целом к сайту и следовательно эти страницы или сам сайт не показывался в поиске, т.е. не был проидексирован.

Случаи, в которых используют запрет к индексации:

  1. Сайт находится на стадии разработке, поэтому мы ограничиваем доступ поисковым роботам, для того, чтобы не показывать поисковой системе «сырую разработку»
  2. Мы создали домен для разработок, и там подняли копию основного сайта, для того, что бы вносить правки на тестовом домене, а потом переносить на основной сайт. Для того, чтобы не вредить основному сайту (привет дублирование контента), мы тестовый сайт закрываем к индексации.
  3. Некоторые страницы содержат ненужную или личную информацию (например профиль пользователя, страница оформления заказа в интернет магазине, другие данные, которые мы не хотим, чтобы были доступны через поиск Google, Yandex и т.д.)
  4. Любые другие ситуации, в которых надо ограничить поисковой системе доступ к информации на сайте

5. Как проверить индексацию сайта:

  • С помощью плагина rds –bar
  1. Можем узнать про индексацию страницы в Google и Yandex
  2. Можем узнать про индексацию всего сайта в Google и Yandex

 width=

  • С помощью команд в поисковой строке:

Индексация страницы сайта

  • Для Google – info:https://yoursite.com/,
  • Для Yandex – url:www. yoursite.com / | url: yoursite.com /

Где http или https – указываем протокол на котором ваш сайт (наш сайт был на https)

Вместо yoursite.com – подставляем доменное имя вашего сайта

Индексация всего сайта

  • Для Google – site:yoursite.com
  • Для Yandex – url:www.yoursite.com/* | url:yoursite.com/* | url:yoursite.com | url:www.yoursite.com

Где http или https – указываем протокол на котором ваш сайт (наш сайт был на https)

Вместо yoursite.com – подставляем доменное имя вашего сайта

6. Как ускорить индексацию страницысайта

Для ускорения индексации страницы или сайта существует несколько способов. Важно отметить, что эти способы могут применяться в не зависимости друг от друга и это не гарантирует, что поисковая система проиндексирует ваш сайт, но шансы достаточно высоки. Для понимания как это работает, необходимо понимать, как поисковая система индексирует, и какую информацию любит индексировать, поэтому рекомендую еще раз внимательно прочесть раздел Какую информацию поисковая система индексирует.

 

Способы ускорения индексации:

Ускорение индексации очень актуально потому, что, как правило, поисковики индексируют сайт через 1-4 недели, после обновления информации. Это означает, что вы добавили новую страницу, а в поиске ее еще месяц может не быть. А если, допустим, злоумышленник скопирует вашу страницу и проиндексирует ее раньше вас, то поисковые системы решат, что это вы скопировали инфу у злоумышленника и накажут вас, т.к. у него раньше страница проиндексировалась, а у вас позже.

1. Панель вебмастеров Google.

  • Для Google webmaster в разделе «Посмотреть как Googlebot»
  • мы указываем url, который планируем отправить на индексацию
  • нажимаем «Сканировать»
  • Нажимаем «Запросить индексирование»
  • После во всплывающем окне указываем «Сканировать только этот URL». (В месячная квота таких нажатий составляет 500 url)

 width=

Соль в том, что если вы отправите в индекс новую страницу или внесете значимые изменения на текущую страницу, то в индексе новаяобновленная страница появится через 5-10 мин (как правило) после того, как вы отправите ее на переиндексирование, хотя бывает в индексе страница появляется не сразу (например через сутки).

Если же вы отправите на переиндексирование страницу, но она в индексе не появится, то это значит, что гугл не считает изменения на странице значимыми, чтобы сразу их отображать в индексе!

 width=

Второй вариант «Сканировать этот URL и прямые ссылки» обычно не использую. Он, по идее, применяется в случаях, когда надо переиндексировать весь сайт целиком, но на практике гугл, почему то, не добавляет страницы в индекс сразу и в итоге их проще переиндексировать по одной «вручную».

2. Панель вебмастеров Yandex

  • Для переиндексации вам необходимо перейти в раздел «Переобход страниц»
  • В соответствующее поле добавить url и нажать отправить
  • Внизу увидим, что страница в очереди и будет указана дата, когда отправлен запрос на переобход
  • Дневной лимит – 20 запросов в день.

 width=

3. Ускорить индексацию сделав ретвит страницы.

например, заказать услугу, в которой другие люди в twitter поставят ссылку на вашу страницусайт в своем twitter сообщении. Поисковые системы часто сканируют twitter, и если увидят ссылку на ваш сайт, то перейдут по ней и быстро вас переиндексируют, правда это не гарантирует, что в таком случае ваши страницы попадут в индекс, но шансы значительно повышаются

4. Регулярное обновление информации

Тоже помогает более частой индексации сайта. Дело в том, что для оптимизации работы поискового бота, поисковики отлеживают частоту обновления информации на сайте, поэтому если вы долго не обновляете сайт, то и поисковый бот к вам будет редко заходить. Поэтому сайты новостников, соц сети, поисковики часто посещают, ведь там появляется много нового контента.

5. Создав карту сайта «Sitemap.xml» и отправив ее на переобход поисковыми системами.

Sitemap(карта сайта) – это древовидный список важных url структуры сайта. Технически у сайта может быть тысячи страниц из которых только 50 информативны, а остальные, некие технические или малозначимые страницы, которые несут мало или не несут ценности вообще. Поисковая система сканируя сайт, прыгает от одного url к другому и может в процессе просканировать кучу не нужных страниц, а нужные нам страницы оставить «на потом» в результате чего, нужные страницы будут долго индексироваться. Для избежания подобной ситуации и нужна sitemap.xml

Для создания карты сайта, в сети есть множество сервисов, например, мы в практике часто использовали вот этот сервис для генерации карты сайта. https://www.xml-sitemaps.com/

Далее карту сайта надо добавить в файл robots.txt дерективой sitemap, где указываем путь к нашей карте сайта

Для сайта capitan-seo.com эта дериктива выглядит так

Sitemap: https://capitan-seo.com/sitemap.xml

Можете посмотреть набрав в браузерной строке https://capitan-seo.com/robots.txt

Так же карту сайта можем добавить в Google webmaster:

 width=

И Yandex webmaster

 width=

7. Как запретить индексацию сайта:

Запретить индексацию сайта можно несколькими способами

a) С помощью мета тегов

Для Google и для Yandex– используется мета тег – meta name=”robots” content=”noindex” и размещается он в блоке head. Более подробно описано в справке Google и в справке Yandex

Для яндекс также можно запретить индексирование служебных участков текста используя тег текст, индексирование которого нужно запретить.

Важно: Для Google такая команда не будет работать, Google индексирует или всю страницу целиком, наоборот страницу не будет индексировать!

b) Запрет к индексации в файле robots.txt

Robots.txt – это файл, содержащий инструкции для поисковых ботов. В этом файле можем запрещать к индексации, разрешать для индексации, прописывать дерективу Host (указываем основное зеркало сайта) и путь к sitemap

Для запрета к индексации используется команда Disallow. Например для запрета индексации всего сайта надо прописать Disallow: /

Друзья подводя итог, скажу, что индексация сайта это очень важный процесс в результате которого будет

  • Хорошая или плохая посещаемость сайта
  • Наличие или отсутствие нежелательных страниц в поиске

Что в конечном итоге выражает на вашем доходе с сайта.

Как обычно я очень жду комментариев и фидбек на статью. Выключайте режим стесняшки и присоединяйтесь к обсуждениям.

Оставьте Ваш комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *