Noindex или robots.txt - когда какой инструмент подходит? - SEO Юго-Запад

1. Как работают поисковые системы: сканирование и индексирование
2. Когда страницы должны блокироваться файлом robots.txt, а когда - noindex?
3. Неправильное использование файла robots.txt может привести к нежелательным последствиям.
4. вывод

Чтобы контролировать, какие страницы Google и другие поисковые системы сканируют и индексируют, вы можете использовать файл robots.txt и атрибут Meta Robots. Многие веб-мастера неясно, когда использовать какой инструмент. Чтобы понять это, прежде всего функции поисковых систем должны быть известны.

Это один из вечных вопросов в SEO: нужно ли блокировать страницы с помощью robots.txt или атрибута noindex? Часто забывают, что эти два метода не имеют ничего общего друг с другом, потому что robots.txt относится к сканированию страниц, в то время как атрибут noindex утверждает, что рассматриваемая страница не должна индексироваться. Чтобы прояснить это немного, следует сначала описание основных функций поисковых систем.

Как работают поисковые системы: сканирование и индексирование

В принципе, принцип работы поисковых систем довольно прост: из большого количества веб-страниц некоторые страницы выбираются в качестве отправной точки. Начиная с этих страниц, дополнительные страницы вызываются по доступным там ссылкам. Найденное там содержимое, такое как тексты и метаданные, считывается и корректируется. Все это делает такой гусеничный робот, как Googlebot.

Найденные данные хранятся в базе данных. Захваченные URL-адреса будут помещены в список ожидания, и эти страницы будут просмотрены позднее.

Этот процесс может использоваться для выяснения, где применяются robots.txt и «noindex»: страницы, заблокированные в файле robots.txt, вообще не вызываются сканером. Содержимое там, включая ссылки, скрыты от поисковой системы.

Если установлен атрибут «noindex» для мета-роботов, содержимое, найденное на странице, сканируется, но не индексируется. К тому же ссылки найденные там рано или поздно больше не оценивается ,

Когда страницы должны блокироваться файлом robots.txt, а когда - noindex?

На рисунке показано, что блокировка с помощью robots.txt и «noindex» имеет совершенно разные эффекты. В зависимости от желаемого поведения поисковой системы, один или другой инструмент должен быть выбран. Вам следует задать себе следующие вопросы:

• Хотите сканировать страницу и индексировать ее содержимое? В этом случае не должно быть никаких блокировок через robots.txt или мета-роботов.
• Вы хотите сканировать страницу, не позволяя ее содержимому попасть в индекс? В этом случае выполняется только блокировка по «отсутствию индекса».
• Разве страница не должна быть просканирована или проиндексирована? Это особый случай, потому что это зависит от того, находится ли страница уже в индексе или нет. Смотрите следующий раздел.

Неправильное использование файла robots.txt может привести к нежелательным последствиям.

Особенно распространенная ошибка, допущенная во взаимодействии с файлом robots.txt, заключается в следующем: страница уже проиндексирована в Google, но ее следует удалить из индекса. Вместо того, чтобы отмечать страницу как «noindex», она будет заблокирована в robots.txt через «disallow». Это приводит к тому, что страница остается в индексе, но Google больше не отображает описание во фрагменте, а просто намек на то, что страница заблокирована файлом robots.txt:

В этом случае правильной процедурой было бы сначала установить для страницы значение noindex с помощью мета-роботов. Если страница была удалена из индекса, ее можно «запретить» в robots.txt для сканеров.

вывод

Сканирование отдельных страниц поисковыми системами контролируется файлом robots.txt, индексируемым атрибутом Meta Robots. При блокировке уже проиндексированных страниц с помощью файла robots.txt рекомендуется соблюдать осторожность - в этом случае нежелательные эффекты могут возникнуть на страницах результатов поиска.

Изображение на обложке: Google

из Кристиан Кунц

SEO эксперт. Вам нужен совет для вашего сайта? щелчок здесь ,

Дисплей Clixado

Публикации статей в сильных журналах и блогах

Мы сотрудничаем с бесчисленным количеством издателей и блоггеров и поэтому можем предложить статьи в более чем 4000 блогах практически на все темы:

- Устойчивое создание ссылок, нет SEO сети

- Значения высокой видимости, нет просроченных доменов

- Единовременный платеж, без контракта

Для каждой публикации статьи мы создаем высококачественный контент, содержащий не менее 400 слов, и публикуем статью с помощью ссылки DoFollow на вашу страницу в журнале или блоге по вашему выбору.

Спросите нас без обязательств для примеров

Похожие

Комментарии