+38 (044) 238 8475
Украина
Отправить заявку
рус
укр pol
X
Подпишитесь на ежемесячную рассылку
  • самые полезные статьи по интернет-маркетингу;
  • акционные предложения от компании "Prodex".
Уже подписались 4837 человек
Запросите коммерческое предложение
ГлавнаяНаш блогСоздание Robots.txt

Создание Robots.txt

27 Октябрь
2011 года
Никита Мифтахов
27 Октябрь
2011 года
Никита Мифтахов, SEO-оптимизатор
Рубрики: Поисковая оптимизация (SEO)

Все основные поисковые боты при посещении сайта начинают искать файл robots.txt.

Каждый вебмастер должен знать синтаксис составления файла robots.txt и зачем вообще он создается.

Файл robots.txt – это файл, который размещают в корне вашего сайта, в него записывают специальные команды для ботов поисковых систем. Эти  команды способны запретить индексировать некоторые страницы или разделы вашего сайта, указать правильное зеркало домена, и т.д.

Зачем вообще нужно что-то закрывать от поисковых систем?

  • Как правило закрывают от индексации административную часть, так как там вряд ли найдется что-то "вкусное" для поисковиков, и индексация такого материала не принесет вам никаких преимуществ, зато может навредить.
  • Часто закрывают от индексации страницы с различными вариантами сортировок, так как материал дублируется, и ПС все-равно с большой вероятностью такие страницы склеит, и опять же это оставит темный след на вашем сайте в глазах поисковых систем что негативно влияет на продвижение интернет сайтов.

Создание robots.txt

Чтобы создать файл robots.txt, в обычном блокноте создаем текстовый файл. Прописываем необходимые команды, например:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/*
Disallow: /component/search/
Disallow: /component/content/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: ваш_домен без http:// и www
Sitemap: http://адрес_сайта/sitemap.xml

*Приведен пример Роботс.тхт для CMS Joomla.

Разберем команды, которые были использованы в данном примере:

  • User-agent: – указание бота поисковой системы, для которого прописаны команды, например:
    • User-agent: * {Команды прописаны для ботов всех поисковиков}
    • User-agent: Googlebot {Команды даны для робота Гугла}
  • Disallow: – команда, запрещающая добавлять в индекс страницу сайта/директорию/файл..
  • Sitemap: – адрес карты сайта (sitemap.xml)
  • Host: – главное зеркало сайта.

Пример создания файла можете наблюдать на этом видео.

11

Смотрите также:

Пожалуйста, оставьте ваш комментарий:

Нет комментариев для “Создание Robots.txt”

Комментирование запрещено.

X
Подпишитесь на ежемесячную рассылку
Уже подписались 4837 человек
Украина
Киев 04116,
ул. Ванды Василевской, 7, офис 501
Карта проезда