Skip to content


Зачем и какой нужен файл robots.txt

Создав блог или сайт, мы хотим его раскрутить и начинаем всем сообщать о нём, в том числе и различным поисковым системам…

У поисковых систем есть такие роботы, которые как паучки бегают по сети (всемирной паутине Интернет) и смотрят где появился какой либо новый сайт, блог, магазин и т.д. их называют «поисковые роботы» или «пауки».

Они встречают новый ресурс, либо прочитывают старые, проверяя на предмет обновлений, и всю информацию складируют в специальные списки поисковых систем, что бы потом любой пользователь смог найти интересующую их информацию.

Посещая ресурсы в сети «Пауки» считываю всё что им попадается и то что видят люди (тексты, картинки и т.д.) и то что не видят (различная техническая информация на специальном языке — условия настроек, правил и всяческую другую инфу записанную в виде специальных символов).

Зачастую большая часть информации просто не нужна для раскрутки, продвижения, индексации и прочих вещей, а иногда даже и вредна, так как может вызвать понижение в рейтингах и даже полный бан в поисковиках, и вот для этого для поисковых роботов делается этакий специальный список правил, что они должны читать и как им поступать при прочтении информации записанной на вебресурсе (конечно не все роботы действуют согласно правил. но всё-таки).

Данный список записывается в виде специальных команд в простом текстовом файле, который помещают через панель управления или специальные програмки по FTP-протоколу в корневой папке вебресурса на хостинге.

Файл называется — robots.txt (именно так и именно в таком регистре), более подробно о файле можно почитать на сайте — http://robotstxt.org.ru.

Если вы не собираетесь ничего запрещать «паукам» или же Вы просто не хотите заморачиваться с написанием данного файла, то можете сделать пустой файлик, назвав его — robots.txt и закачать его в корневую папку ресурса, но иметь такой файлик (даже если в нём ничего не написанно) желательно, именно этот файлик первое что читают поисковые роботы зайдя на Ваш сайт, а потом уже делают свою работу в соответствии с указанными в нём правилами поведения……

На блогосервисах такие файлы уже существуют и их настройкой занимается техническая служба, на некоторых блогплощадках, например работающих на движке WordPress, установлены плагины, позволяющие редактировать файл robots.txt, называется плагин «KBRobots TXT», благодаря которому можно вносить изменения для разрешений и запретов «паукам» посещающим ваш блог на этой блогплощадке, да и впринципе если вам удобней редактировать файлик из админ-панели, то тоже можно использовать данный плагин.

Я использую для своего блога файл со следующей информацией:

# new
# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.nikolaysidoryuk.com/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed/
Disallow: /comments
Disallow: */trackback
Disallow: */feed/
Disallow: */comments
Allow: /wp-content/uploads

User-Agent: Yandex
Host: nikolaysidoryuk.com
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed/
Disallow: /comments
Disallow: */trackback
Disallow: */feed/
Disallow: */comments
Allow: /wp-content/uploads

# — говорит что запись после него и до конца строки является коментарием и поисковыми роботами игнорируется

Sitemap: http://www.nikolaysidoryuk.com/sitemap.xml.gz — указание для роботов о месте расположения карты сайта

User-agent: — эта строка предназначена для обозначения робота для которого будут идти следующие после него правила.

* — звёздочка в User-agent: говорит что следующие правила предназначены для любых роботов

Yandex — после записи User-Agent: обозначает наименование поискового робота

Disallow: /wp-admin — запрещена к индексации директории «wp-admin» и файла

Host: nikolaysidoryuk.com — говорит что мой сайт в таком написании является главным зеркалом есть разные мнения на счёт такого вида записи, поэтому эта запись относится только к роботу Яндекса

Вобщем то данный тип файла закрывает к индексации служебные разделы блога во избежании различных траблов с поисковиками — дубликация содержимого и прочих…

Коментируем, делимся своими находками, советуем…

Поделиться в соц. сетях



Нравится



* Задай Свой Вопрос на Бесплатной Индивидуальной Онлайн Консультации

*
Перевод шаблонов WordPress Самостоятельно, Легко и Просто!

* Подпишись на RSS-обновления моего блога по E-mail, что бы быть в курсе последних обновлений.





Рубрика: Настройка блога.

Метки: , , , , .


Комментарии: 18    Оставьте свой комментарий!


  1. Татьяна Васильева

    Коля,информация полезная и нужная, но это уже высшая математика, по крайней мере для меня . Надеюсь, не надолго. Это ты уже так далеко ушёл? Ничего себе. Молодец. А мне ещё учиться, учиться и учиться ! Хорошо, что есть у кого. Спасибо тебе.

  2. Ирина Щербаня

    Здорово написано! Очень доступно (то что простым языком) написано, а вот остальная абракадабра еще не до конца понятна. Надеюсь, что за октябрь мы и это одолеем. Не просто скопируем, а сможем объяснить себе и другим, что здесь к чему и почему именно так, а не иначе. Хотя, в принципе, половина этой абрыкадабры уже доступна мозгу. Будем развиваться дальше. Спасибо,Николай!

  3. Роза

    Коля, Это нужно для автономного блога или и для тех блогов, что на блогплощадке Интвей и с доменами третьего уровня?
    Этот материал ты давал по-моему на прошлом ШИМе. Очень нужный урок..
    Удачи. Роза.

  4. Артём Тимофеев

    Коля, спасибо за материал!

    Думаю это будет полезно многим, кто не был знаком с этими тонкостями.

  5. Tatiana Prekup

    Николай как всегда очень полезно! Скажи пожалуйста, значит можно тупо скопировать твой файл, кроме естественно ссылок на твой блог и вставить в наш?

  6. Николай Сидорюк

    Можно конечно и скопировать целиком и использовать, но на разных блогах может использоваться и разная информация, так что если вдруг что-то запретите,… 🙂

    Это я говорю, для того, что лучше всё-таки посидеть и разобраться, что к чему и для чего закрыто…

  7. Ирина Красикова

    Спасибо, Николай, информация интересная! Но разобраться с ней поначалу — не так просто. Это все касается, наверное, блогов не на интвеевской платформе? У нас там внутри вроде все стоит и настроено, я пока ничего не меняла!

  8. Георгий Ефремов

    Николай! А на блог площадке Интвей это нужно учитывать?

  9. Николай Сидорюк

    Можно на Интвеевской площадке и не менять, но постарайтесь понять что там и за что отвечает, и если Вас это не устраивает, то можно и поправить, но сначала скопируйте в отдельный текстовый файлик всю инфу и потом что-то делайте

  10. Tatiana Prekup

    Николай! Создаю урок по граватару и для практики оставляю комментарий уже с фото.

  11. Tatiana Prekup

    Николай! Создаю мой урок по граватару. Надеюсь мой комментарий останется с фото.

  12. Сергей Сляднев

    Николай, разбери плагин Subscribe to Comments, пожалуйста. По идеи должны приходить уведомления на почту о том, что появились коменты на моем блоге или на блогах на которых я оставляю комментарии, но ни с одного блога, кроме блога Анастасии Витковской мне не приходят уведомления о появлении новых записей в комментариях. Хотелось бы знать — почему? Как нужно настроить этот плагин?

  13. Алла Синькова

    Для меня еще не очень понятно про этот Robots TXT. Поэтому буду помаленьку разбираться в ходе наших последующих занятий. Хотя если от него зависит посещаемость блога, то нужно шевелиться быстрее.

  14. Николай Сидорюк

    Скажем так, в моём понимании, посещаемость от файла не зависит, люди либо заходят либо не заходят (всё зависит как вы их привлекаете и на сколько интересную информацию выдаете в своем блоге), а вот индексация поисковиками тех или иных мест в блоге — зависит напрямую и что индексировать, а что нет, вы сообщаете роботам в этом файле (примерно дословно, индексировать — читать с целью внесения данных в поисковик и проведения анализа ресурса поисковиками, спецы не судите строго, пытаюсь объяснить на пальцах 🙂 )

  15. Тehni

    Спасибо за подробное объяснение! Вот только маленький вопросик остался — Вы пишите — (Если …. не хотите заморачиваться с написанием данного файла, то можете сделать пустой файлик, назвав его — robots.txt и закачать его в корневую папку ресурса… )-Вот это не ясно. куда именно закачать, я новичок в использовании личного хостинга и не пойму все эти фразы….закачать в папку с плагинами или в папку с темами? пожалуйста подскажите 😳

  16. Николай Сидорюк

    @ Тehni:
    Корневая папка — это папка на хостинге (на разных хостингах она может называться по разному — public_html, docs и т.д.) где лежит сам WordPress (файл настроек — wp-config.php, где Вы прописываете параметры Вашей базы данных, например там же лежит)

  17. Тehni

    @ Николай Сидорюк:
    Большое спасибо за ответ! Буду искать… 🙄

  18. Тehni

    Ура!!! Получилось! Сделала файлик robots.txt и загрузила в папку public_html!!! буду ждать результатов…а то блогу уже третий месяц, а он никак не попадёт в выдачу по топам на blogs.yandex.ru/top/
    СПАСИБО за помощь! ❗ ❗ ❗ ❗ ❗ ❗ ❗



HTML

или ответить на этот пост через trackback.



Rambler's Top100 Рейтинг@Mail.ru Участник Blograte.ru   Анализ сайта Яндекс.Метрика