Все основные поисковые боты при посещении сайта начинают искать файл robots.txt.

Каждый вебмастер должен знать синтаксис составления файла robots.txt и зачем вообще он создается.

Файл robots.txt – это файл, который размещают в корне вашего сайта, в него записывают специальные команды для ботов поисковых систем. Эти  команды способны запретить индексировать некоторые страницы или разделы вашего сайта, указать правильное зеркало домена, и т.д.

Зачем вообще нужно что-то закрывать от поисковых систем?

• Как правило закрывают от индексации административную часть, так как там вряд ли найдется что-то "вкусное" для поисковиков, и индексация такого материала не принесет вам никаких преимуществ, зато может навредить.
• Часто закрывают от индексации страницы с различными вариантами сортировок, так как материал дублируется, и ПС все-равно с большой вероятностью такие страницы склеит, и опять же это оставит темный след на вашем сайте в глазах поисковых систем что негативно влияет на продвижение интернет сайтов.

Создание robots.txt

Чтобы создать файл robots.txt, в обычном блокноте создаем текстовый файл. Прописываем необходимые команды, например:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/*
Disallow: /component/search/
Disallow: /component/content/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: ваш_домен без http:// и www
Sitemap: http://адрес_сайта/sitemap.xml

*Приведен пример Роботс.тхт для CMS Joomla.

Разберем команды, которые были использованы в данном примере:

• User-agent: – указание бота поисковой системы, для которого прописаны команды, например:
  • User-agent: * {Команды прописаны для ботов всех поисковиков}
  • User-agent: Googlebot {Команды даны для робота Гугла}
• Disallow: – команда, запрещающая добавлять в индекс страницу сайта/директорию/файл..
• Sitemap: – адрес карты сайта (sitemap.xml)
• Host: – главное зеркало сайта.

Пример создания файла можете наблюдать на этом видео.