Во время разработки или редизайна нередко возникает вопрос о том, как скрыть сайт от индексации. Если вы скроете страницу от индекса или закроете весь ресурс, то они не будут доступны для поисковых ботов – их никто не сможет увидеть. Сегодня мы расскажем о том, как скрыть сайт от индексации и не допустить распространенные ошибки.
Зачем это необходимо?
Отвечая на вопрос о том, как скрыть сайт от индексации, необходимо рассмотреть основные причины, из-за которых может потребоваться выполнение этой работы:
- ресурс находится на стадии доработки или разработки. В этом случае целесообразно скрыть его от поисковых ботов, чтобы «сырой» проект с ошибками не принимал участие в ранжировании и не портил общую статистику. К индексу рекомендуется подключать завершенные ресурсы, которые готовы принимать посетителей и корректно обрабатывать запросы;
- целесообразное распределение краулингового бюджета. Такой бюджет – это лимит страниц, которые проверяют поисковые боты. Речь идет о том, чтобы в индекс как можно быстрее попали самые важные и конверсионные страницы;
- ресурс должен быть недоступен для посторонних глаз. Например, вы создали сайт для узкого круга сотрудников или клиентов, ведете личный блог или используете площадку для решения других задач. В этом случае целесообразно скрыть страницы от индексации;
- переезд. Если вы решили осуществить переезд сайта или изменяете формат на аффилированный, то старый домен стоит скрыть от индекса, исправив главное зеркало.
Эксперты рекомендуют скрывать от индексации:
- ресурсы на стадии разработки;
- версии для печати;
- копии (с предварительной настройкой редиректа 301);
- полезные, но малоинформативные документы (прайс-листы, меню, карты напитков, другие файлы в формате PDF, DOC и т. д.);
- страницы пагинации и сортировки;
- клиентские страницы: корзины, личные кабинеты, формы регистрации, иные;
- технические элементы, представляющие интерес для вебмастера, но не для посетителя.
Мы рассмотрели распространенные причины, однако их больше. В некоторых случаях требуется скрытие определенной страницы от индексации, например, она не несет в себе важную смысловую нагрузку и не предназначена для глаз пользователей/клиентов.
Как скрыть сайт от индексации?
Существует несколько способ, которые помогут скрыть ресурс от индекса. Мы рассмотрим самые популярные, надежные и простые. Обратите внимание на то, что каждая поисковая система имеет собственного робота, у Яндекс – Yandex, у Google – Googlebot и AdsBot-Google, у Yahoo! – Slurp и т. д. Роботов много, к ним нередко прибегают при снятии с индексации через строку <meta name = "robots" content = "noindex, nofollow" />.
Как скрыть сайт от индексации через robots.txt?
Это самый простой и распространенный инструмент, который позволяет скрыть весь ресурс или отдельные страницы. Работа выполняется так:
- найдите или создайте файл robots.txt, который должен быть размещен в корне сайта;
- пропишите в нем код, предупреждающий индекс.
Код выглядит так, если вы хотите скрыть ресурс от определенной поисковой системы:
- User-agent: * Google. Можно использовать название любой поисковой системы
- Disallow: /
Если вы хотите скрыть отдельную страницу, то код будет выглядеть так:
- User-agent: * Google
- Disallow: /catalog/URL-страницы
Если нужно полностью закрыть ресурс для всех ПС, то в первой строке напишите User-agent: *. Для скрытия картинок используется комбинация:
- User-Agent: *
- Disallow: *.jpg (или любой другой необходимый формат)
Для скрытия папки первую строку оставьте неизменной, во вторую добавьте Disallow: /folder/. С помощью этих рекомендаций вы сможете быстро скрыть сайт от индексации в robots.txt, возвращение в индекс выполняется в обратном порядке.
Как проверить индексацию сайта или страницы в поисковых системах?
Проверка осуществляется через панели вебмастера, предусмотренные в поисковых системах Google и Яндекс. Например, в Google нужно зайти в панель вебмастера, открыть вкладку «Обзор», а потом – «Покрытия». Еще одно хорошее решение – использование операторы поисковых запросов:
- «site: адрес» для всего сайта;
- «url: адрес» для одной страницы.
После ввода запроса страница не должна отображаться, если она появится в выдаче, то скрытие было выполнено некорректно или с ошибками. Также для проверки можно использовать сторонний платный и бесплатный софт. Robots.txt несет рекомендательный характер, бывали случаи, при которых закрытый сайт/страница принимали участие в индексации. Поэтому рекомендуется применять сразу несколько инструментов для проверки, чтобы получить максимально точный и развернутый результат.
В заключение
Теперь вы знаете о том, как скрыть от индексации главную страницу сайта, папку, картинки или весь ресурс. Правильное выполнение этой работы оказывает прямое влияние на успешность продвижения. Неполезные, ненужные, технические и другие виды страниц должны быть обязательно скрыты, это же правило актуально для недоработанных сайтов. Если вы самостоятельно не можете закрыть главную страницу сайта или весь ресурс, то обязательно обратитесь к профессионалам, которые помогут выполнить работу правильно!