Для чего нужны файлы robots.txt

September 20, 2018

Please reload

Недавние посты

Как писать объявления для контекстной рекламы - основы основ

June 4, 2018

1/1
Please reload

Избранные посты

Для чего нужны файлы robots.txt

 

 


Чтобы ваш сайт оказался в выдаче поисковой системы, робот поисковика должен их найти. Однако не все страницы должны проходиться по ссылкам. Один из способов повлиять на проход сайта по ссылкам - файлы robots.txt.


Что такое robots.txt?


Это простой текстовый файл, в котором написаны рекомендации для поисковых машин как нужно переходить по ссылкам на сайте, чтобы найти те страницы, которые ему нужны.
Файлы robots.txt не должны быть больше 500 КБ. Файлы должны содержать только ASCII символы (не должно быть кириллических символов), все кириллические адреса указываются как punycode.

 

Для чего нам может пригодиться этот файл?

  • Чтобы прекратить хождение по бесконечным копиям одной и той же страницы

  • Чтобы робот не проходил контент, который не нужен посетителям сайта (в том числе статические файлы: картинки, стили, скрипты итд.)

В каком случае он нам не поможет (а казалось бы...)?

  • Чтобы страница не показывалась в поиске (роботс на это повлияет, но проблему не решит)

  • Спрятать что-то от поисковика

  • Повлиять на что-то кроме внутренних ссылок на самом сайте - если на страницу ссылаются другие сайты, она может быть проиндексирована даже если закрыта в роботс

 

Важно понимать!

 

  • robots.txt - это внутренний файл сайта. Все рекомендации в таких файлах влияют только на внутренние ссылки. Если на страницу есть ссылка с другого сайта (даже если роботс рекомендует не переходить на такие страницы) робот на неё заглянет. Если ссылка ведет не на ваш сайт - описать такую ссылку в роботсе невозможно

  • robots.txt - это рекомендация. Робот не обязан её выполнять

  • robots.txt - это стандарт, который не всегда надо понимать буквально. Некоторые поисковые системы, в том числе Yandex, могут не понимать некоторых правил стандарта или иметь свои правила для файлов robots.txt, которых в стандарте нет

  • адрес (и название файла, которое в него входит) важен. https://example.com/SEO/robots.txt или даже https://example.com/Robots.txt не будут пониматься как файлы роботс

 

Синтаксис robots.txt не очень сложен, но его описание получилось довольно длинным, поэтому мы посвятили ему отдельную статью. Примеры использования файлов роботс мы также описали в посте про синтаксис, но ознакомиться с ними мы настоятельно вам рекомендуем.

 

Share on Facebook
Share on Twitter
Please reload

Мы в соцсетях
Please reload

Поиск по тегам