27 10 2011
Никита Мифтахов Поисковая оптимизация (SEO)

Все основные поисковые боты при посещении сайта начинают искать файл robots.txt.

Каждый вебмастер должен знать синтаксис составления файла robots.txt и зачем вообще он создается.

Файл robots.txt – это файл, который размещают в корне вашего сайта, в него записывают специальные команды для ботов поисковых систем. Эти  команды способны запретить индексировать некоторые страницы или разделы вашего сайта, указать правильное зеркало домена, и т.д.

Зачем вообще нужно что-то закрывать от поисковых систем?

Создание robots.txt

Чтобы создать файл robots.txt, в обычном блокноте создаем текстовый файл. Прописываем необходимые команды, например:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/*
Disallow: /component/search/
Disallow: /component/content/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: ваш_домен без http:// и www
Sitemap: http://адрес_сайта/sitemap.xml

*Приведен пример Роботс.тхт для CMS Joomla.

Разберем команды, которые были использованы в данном примере:

Пример создания файла можете наблюдать на этом видео.