Пользователь во время поиска информации или товара вводит в строку поисковый запрос. Боты анализируют запрос и выдают релевантные страницы, которые собраны в базе. Однако все не так просто, ведь страница предварительно должна быть добавлена в базу – происходит индексация, после которой сайт принимает участие в ранжировании. Если сайт или веб-страница были созданы недавно, то они не будут отображаться в выдаче до тех пор, пока не проиндексируются. Однако нередки случаи, когда сайт не индексируется на протяжении длительного времени. Поэтому сегодня мы поговорим о том, как происходит индексация сайта, почему он не отображается в выдаче и как это исправить.
Почему сайт не индексируется, на какой срок стоит ориентироваться?
Если ресурс был создан позавчера или новая страница была добавлена несколько дней назад, то не стоит ожидать быстрой индексации сайта в «Яндекс». Например, ресурс, состоящий из многочисленных разделов и подразделов, полностью проиндексируется в течение 1-2 месяцев, хотя срок может растянуться на 3-4 месяца, что зависит от индивидуальных особенностей. Средний срок индексации в Google достигает 1 недели, в «Яндекс» – 2-3 недели, однако эти показатели усреднены. Если срок истек, но сайт не индексируется, то можно подождать еще 3-5 дней, после чего нужно начинать бить тревогу.
Как ускорить процесс добавления сайта в индекс?
Обратите внимание на то, что в панели вебмастера есть инструмент, который поможет ускорить процесс добавления в индекс отдельных веб-страниц. Вы можете найти этот инструмент в панели вебмастера Яндекс, заглянув в раздел «Индексирование». В панель можно добавить около 20 страниц в сутки, лучше выбирать те, которые имеют самый высокий вес и значимость. Эксперты рекомендуют обратить внимание на следующие веб-страницы, если речь идет о ресурсе под электронную коммерцию:
- категории самых важных товаров;
- популярные продукты.
При наполнении панели ссылками не добавляйте главную страницу. Она и так индексируется первой, поэтому можно использовать слот под другую ссылку на товар или раздел каталога. Срок обработки заявки достигает 72 часов. Аналогичный инструмент есть и в панели вебмастера в Google, раздел называется «Проверка URL».
Если вы желаете еще больше ускорить процесс подключения к индексу, то повышайте количество бэклинков. Размещайте ссылки на свой сайт на популярных, авторитетных и высокотрастовых ресурсах. Чем больше ссылок будет размещено, тем лучше. В это же время стоит добавить сайт в разнообразные каталоги, справочники и агрегаторы, на карты поисковых систем и в социальные сети – используйте все каналы, ведь большое количество упоминаний и бэклинков существенно ускорит процесс индексации. Обращайте внимание на авторитетные ресурсы, для молодого сайта хороший ссылочный профиль имеет колоссальное значение. Привлекая ссылки с непроверенных ресурсов, вы рискуете подвести свой под фильтры поисковых систем.
Почему поисковик не видит сайт, как исправить ситуацию?
Во время индексации страниц поисковые боты могут обработать определенное количество данных, что называется краулинговый бюджет. Поэтому важно исключить из индекса страницы, которые поисковый бот может оставить без внимания. Рассмотрим инструменты, которые помогут решить все эти задачи.
Работа с файлом robots.txt
Файл Robots.txt – это гайд для поисковых ботов, в котором размещена инструкция о том, какие страницы нужно индексировать, а какие можно пропустить. Также в нем есть другие полезные сведения:
- адрес карты сайта;
- страницы, которые должны быть скрыты от индекса (личные кабинеты пользователя, панель администратора, другие);
- страницы, не принимающие участия в продвижение и т. д.
Правильное заполнение этого файла поможет избежать распространенных проблем, с которыми можно столкнуться во время продвижения. Если файл заполнен неверно или содержит путаную информацию, то негативный результат не заставит себя долго ожидать.
Подготовка карты сайта
Карта сайта представлена в форме файла или страницы. Она содержит информацию о разделах, контенте, каталоге – это ваш ресурс, но в миниатюре. Карта в формате xml содержит информацию обо всех веб-страницах, которые должны быть проиндексированы. Если вы регулярно или периодически добавляете новые страницы, то карту нужно корректировать, иначе боты не узнают о внесенных обновлениях и правках.
Внутренняя оптимизация с помощью перелинковки
Осуществляя индексацию, поисковые боты выполняют переходы между страницами, попутно проводя анализ содержимого, структуры и т. д. Наличие внутренних ссылок существенно ускорит и облегчит процесс работы поисковых ботов. На этом этапе важно применять хлебные крошки, дополненные микроразметкой – такой подход оптимизирует процесс индексации. Рекомендация особо актуальна для страниц, которые имеют вложенность выше 2-х.
Если вы работаете с карточками товаров, то добавляйте блоки рекомендаций. Информационные страницы в блогах дополняют ссылками на релевантные статьи, а также разделы, позволяющие оформить заказ. Обратите внимание на то, что перелинковка и хлебные крошки не только облегчают работу ботов, но и делают сайт более привлекательным для людей. Повышается глубина просмотра, переходы по внутренним страницам и, как результат, позиции в поисковых системах и конверсия.
Как проверить индексацию сайта в Яндексе?
Индексации сайта предшествует добавление в «Вебмастер», создание карты сайта и ее загрузка во все тот же «Вебмастер». После этого остается только ожидать результата, а также периодически проверять индексацию сайта.
Короткие запросы
Провести проверку можно через поисковые запросы с пометкой «site: URL-адрес вашего ресурса». При запросе используйте адрес сайта с HTTPS или HTTP, после чего вы увидите количество проиндексированных страниц. Для проверки одной страницы применяется аналогичная схема, но с пометкой «url:».
Помните о том, что количество результатов в разных поисковых системах должно быть одинаковым. Если в Google количество страниц достигает 1000, а в Яндекс – 300 штук, то что-то пошло не так. Такая разница может указывать на то, что ресурс или отдельные страницы находятся под фильтрами или наблюдаются другие проблемы. В этом случае целесообразно прибегнуть к помощи специалистов, которые устранят ошибки и помогут добиться корректной индексации всех страниц.
Панель вебмастера
В поисковых системах предусмотрены панели для вебмастеров, с помощью которых можно проверить индекс. В Яндекс – это раздел «Индексирование». Откройте этот раздел, потом перейдите во вкладку «Страницы в поиске» и анализируйте информацию. В Google – это раздел «Индекс» и вкладка «Покрытие».
Страница исключена из поиска – в чем причина?
В панели вебмастера можно найти раздел, посвященный страницам, которые были исключены из индекса:
- «Исключенные страницы» – раздел в панели Яндекс;
- «Исключено» – в панели вебмастера в Google.
В этих разделах также размещена информация о причинах, из-за которых произошло исключение. Причины разные, рассмотрим их:
- контент является дублирующим;
- наблюдается низкое качество;
- наблюдается ошибка в ответе сервера, иные.
Например, исключение может произойти в случае, если страница наполнена чужим контентом, не является релевантной и не соответствует запросу, ее давно не посещали реальные пользователи. Исключение временное, возможно, при следующем обходе боты вновь вернут страницу в ранжирование. Избежать этой проблемы поможет наполнение качественным контентом, своевременное обновление и применение релевантных запросов без переспама.
Стоит контролировать показатели отдельных страниц, используя потенциал панели вебмастера и метрику. Сведения в метрике Яндекс можно найти в разделе «Отчеты» и подразделе «Страницы входа». На этом этапе просмотрите статистику по каждой странице, чтобы проверить количество отказов. Если этот показатель превышает 25%, то стоит разобраться в сложившейся ситуации. Если 1 пользователь из 4 покидает сайт, то что-то не в порядке. Обратите внимание на укрепление сниппета, ведь если показов много, но кликов нет, то ваших посетителей забирают конкуренты.
Почему нет трафика, если страница попала в индекс?
Добавление страниц в индекс – лишь начало пути, ведь ей придется конкурировать с миллионами аналогичных сайтов. Для привлечения максимального количества трафика нужно поработать над SEO, повысить релевантность, провести перелинковку, создать информационный блог. Стоит устранить все технические ошибки на сайте, а также не использовать черное SEO.
Теперь вы знаете о том, почему поисковик не видит сайт, поэтому можете выполнять продвижение правильно и без ошибок. При выявлении проблемы нужно проанализировать и проверить качество перелинковки, файл robots.txt, хлебные крошки, карту сайта – все рассмотренное выше. В некоторых случаях причина может крыться глубже, поэтому обнаружить ее самостоятельно будет очень и очень сложно. Неправильные действия могут повлечь за собой попадание под фильтры или полное исключение из индекса. Если после всех работ и проверок ситуация не изменилась, то стоит обратиться к опытным специалистам, которые проведут полный аудит и выявят причины, мешающие развитию.