Поисковый индекс

Поисковый индекс — это огромная база данных поисковой системы, в которой хранятся обработанные и проанализированные страницы со всего интернета. Именно из индекса, а не из «живого» веба, поисковик подбирает результаты под запрос. Если страницы нет в индексе — в выдаче она не появится в принципе.

Простыми словами: это гигантский каталог библиотеки. Google не бегает каждый раз по всем полкам — он ищет в своём каталоге, куда заранее занесли все «книги».

Что такое поисковый индекс и зачем в него попадать

Попадание в индекс — обязательное условие ранжирования. Сначала краулер находит страницу, потом система её анализирует и решает, добавлять ли в индекс и в каком виде. Только после этого страница участвует в выдаче. Поэтому «меня нет в Google» почти всегда означает одно из двух: страницу не просканировали или не проиндексировали (например, из-за noindex, дублей или низкого качества).

Как формируется индекс

Сканирование — краулер обходит страницу и загружает её содержимое.
Обработка — система разбирает текст, ссылки, разметку, рендерит страницу.
Индексация — страница (если прошла фильтры качества) добавляется в базу.
Обновление — при повторных обходах данные в индексе перезаписываются.

Как проверить, в индексе ли страница

Оператор site:адрес-страницы в поиске Google.
Отчёт «Индексирование страниц» в Google Search Console — самый точный способ.

Пример

Вы опубликовали 100 страниц, а в Search Console видите, что в индекс попало лишь 60. Остальные — «просканирована, но не проиндексирована»: часто это дубли, тонкие или технические страницы, которые система решила не хранить. Это сигнал поработать над их качеством или сознательно закрыть от индексации.

Часто путают с…

Индексация — это процесс добавления страницы в индекс; сам индекс — это база-результат этого процесса.
Сканирование (crawling) — это обход страницы роботом; он предшествует индексации, но не гарантирует её.

Вопросы и ответы