• Павел Чертов

Для чего нужны файлы robots.txt


Чтобы ваш сайт оказался в выдаче поисковой системы, робот поисковика должен их найти. Однако не все страницы должны проходиться по ссылкам. Один из способов повлиять на проход сайта по ссылкам - файлы robots.txt.

Что такое robots.txt?

Это простой текстовый файл, в котором написаны рекомендации для поисковых машин как нужно переходить по ссылкам на сайте, чтобы найти те страницы, которые ему нужны. Файлы robots.txt не должны быть больше 500 КБ. Файлы должны содержать только ASCII символы (не должно быть кириллических символов), все кириллические адреса указываются как punycode.

Для чего нам может пригодиться этот файл?

  • Чтобы прекратить хождение по бесконечным копиям одной и той же страницы

  • Чтобы робот не проходил контент, который не нужен посетителям сайта (в том числе статические файлы: картинки, стили, скрипты итд.)

В каком случае он нам не поможет (а казалось бы...)?

  • Чтобы страница не показывалась в поиске (роботс на это повлияет, но проблему не решит)

  • Спрятать что-то от поисковика

  • Повлиять на что-то кроме внутренних ссылок на самом сайте - если на страницу ссылаются другие сайты, она может быть проиндексирована даже если закрыта в роботс

Важно понимать!

  • robots.txt - это внутренний файл сайта. Все рекомендации в таких файлах влияют только на внутренние ссылки. Если на страницу есть ссылка с другого сайта (даже если роботс рекомендует не переходить на такие страницы) робот на неё заглянет. Если ссылка ведет не на ваш сайт - описать такую ссылку в роботсе невозможно

  • robots.txt - это рекомендация. Робот не обязан её выполнять

  • robots.txt - это стандарт, который не всегда надо понимать буквально. Некоторые поисковые системы, в том числе Yandex, могут не понимать некоторых правил стандарта или иметь свои правила для файлов robots.txt, которых в стандарте нет

  • адрес (и название файла, которое в него входит) важен. https://example.com/SEO/robots.txt или даже https://example.com/Robots.txt не будут пониматься как файлы роботс

Синтаксис robots.txt не очень сложен, но его описание получилось довольно длинным, поэтому мы посвятили ему отдельную статью. Примеры использования файлов роботс мы также описали в посте про синтаксис, но ознакомиться с ними мы настоятельно вам рекомендуем.

#robotstxt #SEO

© 2019 Рекламная студия X-Project
Онлайн-маркетинг и реклама в интернете

Москва, Бережковская наб.

д. 16 к. 2

+7 495 783 86 20

  • Facebook Social Icon
  • in_sta_main
  • Vkontakte Social Иконка