X
Подпишитесь на ежемесячную рассылку
  • самые полезные статьи по интернет-маркетингу;
  • акционные предложения от компании "Prodex".
Уже подписались 4837 человек
Запросите коммерческое предложение
Раскрутка сайтов Prodex Блог Создание Robots.txt

Создание Robots.txt

27 Октябрь
2011 года
Никита Мифтахов
27 Октябрь
2011 года
Никита Мифтахов, SEO-оптимизатор
Рубрики: Поисковая оптимизация (SEO)

Все основные поисковые боты при посещении сайта начинают искать файл robots.txt.

Каждый вебмастер должен знать синтаксис составления файла robots.txt и зачем вообще он создается.

Файл robots.txt – это файл, который размещают в корне вашего сайта, в него записывают специальные команды для ботов поисковых систем. Эти  команды способны запретить индексировать некоторые страницы или разделы вашего сайта, указать правильное зеркало домена, и т.д.

Зачем вообще нужно что-то закрывать от поисковых систем?

  • Как правило закрывают от индексации административную часть, так как там вряд ли найдется что-то "вкусное" для поисковиков, и индексация такого материала не принесет вам никаких преимуществ, зато может навредить.
  • Часто закрывают от индексации страницы с различными вариантами сортировок, так как материал дублируется, и ПС все-равно с большой вероятностью такие страницы склеит, и опять же это оставит темный след на вашем сайте в глазах поисковых систем что негативно влияет на продвижение интернет сайтов.

Создание robots.txt

Чтобы создать файл robots.txt, в обычном блокноте создаем текстовый файл. Прописываем необходимые команды, например:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/*
Disallow: /component/search/
Disallow: /component/content/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: ваш_домен без http:// и www
Sitemap: http://адрес_сайта/sitemap.xml

*Приведен пример Роботс.тхт для CMS Joomla.

Разберем команды, которые были использованы в данном примере:

  • User-agent: – указание бота поисковой системы, для которого прописаны команды, например:
    • User-agent: * {Команды прописаны для ботов всех поисковиков}
    • User-agent: Googlebot {Команды даны для робота Гугла}
  • Disallow: – команда, запрещающая добавлять в индекс страницу сайта/директорию/файл..
  • Sitemap: – адрес карты сайта (sitemap.xml)
  • Host: – главное зеркало сайта.

Пример создания файла можете наблюдать на этом видео.

268
X
Подпишитесь на ежемесячную рассылку
Уже подписались 4837 человек
Контакты
+38 (044) 238 8475
02002, Украина, Киев
ул. Раисы Окипной, 4, офис 81