Создав блог или сайт, мы хотим его раскрутить и начинаем всем сообщать о нём, в том числе и различным поисковым системам…
У поисковых систем есть такие роботы, которые как паучки бегают по сети (всемирной паутине Интернет) и смотрят где появился какой либо новый сайт, блог, магазин и т.д. их называют «поисковые роботы» или «пауки».
Они встречают новый ресурс, либо прочитывают старые, проверяя на предмет обновлений, и всю информацию складируют в специальные списки поисковых систем, что бы потом любой пользователь смог найти интересующую их информацию.
Посещая ресурсы в сети «Пауки» считываю всё что им попадается и то что видят люди (тексты, картинки и т.д.) и то что не видят (различная техническая информация на специальном языке — условия настроек, правил и всяческую другую инфу записанную в виде специальных символов).
Зачастую большая часть информации просто не нужна для раскрутки, продвижения, индексации и прочих вещей, а иногда даже и вредна, так как может вызвать понижение в рейтингах и даже полный бан в поисковиках, и вот для этого для поисковых роботов делается этакий специальный список правил, что они должны читать и как им поступать при прочтении информации записанной на вебресурсе (конечно не все роботы действуют согласно правил. но всё-таки).
Данный список записывается в виде специальных команд в простом текстовом файле, который помещают через панель управления или специальные програмки по FTP-протоколу в корневой папке вебресурса на хостинге.
Файл называется — robots.txt (именно так и именно в таком регистре), более подробно о файле можно почитать на сайте — http://robotstxt.org.ru.
Если вы не собираетесь ничего запрещать «паукам» или же Вы просто не хотите заморачиваться с написанием данного файла, то можете сделать пустой файлик, назвав его — robots.txt и закачать его в корневую папку ресурса, но иметь такой файлик (даже если в нём ничего не написанно) желательно, именно этот файлик первое что читают поисковые роботы зайдя на Ваш сайт, а потом уже делают свою работу в соответствии с указанными в нём правилами поведения……
На блогосервисах такие файлы уже существуют и их настройкой занимается техническая служба, на некоторых блогплощадках, например работающих на движке WordPress, установлены плагины, позволяющие редактировать файл robots.txt, называется плагин «KBRobots TXT», благодаря которому можно вносить изменения для разрешений и запретов «паукам» посещающим ваш блог на этой блогплощадке, да и впринципе если вам удобней редактировать файлик из админ-панели, то тоже можно использовать данный плагин.
Я использую для своего блога файл со следующей информацией:
# new
# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.nikolaysidoryuk.com/sitemap.xml.gz
# END XML-SITEMAP-PLUGINUser-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed/
Disallow: /comments
Disallow: */trackback
Disallow: */feed/
Disallow: */comments
Allow: /wp-content/uploadsUser-Agent: Yandex
Host: nikolaysidoryuk.com
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed/
Disallow: /comments
Disallow: */trackback
Disallow: */feed/
Disallow: */comments
Allow: /wp-content/uploads
# — говорит что запись после него и до конца строки является коментарием и поисковыми роботами игнорируется
Sitemap: http://www.nikolaysidoryuk.com/sitemap.xml.gz — указание для роботов о месте расположения карты сайта
User-agent: — эта строка предназначена для обозначения робота для которого будут идти следующие после него правила.
* — звёздочка в User-agent: говорит что следующие правила предназначены для любых роботов
Yandex — после записи User-Agent: обозначает наименование поискового робота
Disallow: /wp-admin — запрещена к индексации директории «wp-admin» и файла
Host: nikolaysidoryuk.com — говорит что мой сайт в таком написании является главным зеркалом есть разные мнения на счёт такого вида записи, поэтому эта запись относится только к роботу Яндекса
Вобщем то данный тип файла закрывает к индексации служебные разделы блога во избежании различных траблов с поисковиками — дубликация содержимого и прочих…
Коментируем, делимся своими находками, советуем…
Коля,информация полезная и нужная, но это уже высшая математика, по крайней мере для меня . Надеюсь, не надолго. Это ты уже так далеко ушёл? Ничего себе. Молодец. А мне ещё учиться, учиться и учиться ! Хорошо, что есть у кого. Спасибо тебе.
Здорово написано! Очень доступно (то что простым языком) написано, а вот остальная абракадабра еще не до конца понятна. Надеюсь, что за октябрь мы и это одолеем. Не просто скопируем, а сможем объяснить себе и другим, что здесь к чему и почему именно так, а не иначе. Хотя, в принципе, половина этой абрыкадабры уже доступна мозгу. Будем развиваться дальше. Спасибо,Николай!
Коля, Это нужно для автономного блога или и для тех блогов, что на блогплощадке Интвей и с доменами третьего уровня?
Этот материал ты давал по-моему на прошлом ШИМе. Очень нужный урок..
Удачи. Роза.
Коля, спасибо за материал!
Думаю это будет полезно многим, кто не был знаком с этими тонкостями.
Николай как всегда очень полезно! Скажи пожалуйста, значит можно тупо скопировать твой файл, кроме естественно ссылок на твой блог и вставить в наш?
Можно конечно и скопировать целиком и использовать, но на разных блогах может использоваться и разная информация, так что если вдруг что-то запретите,… 🙂
Это я говорю, для того, что лучше всё-таки посидеть и разобраться, что к чему и для чего закрыто…
Спасибо, Николай, информация интересная! Но разобраться с ней поначалу — не так просто. Это все касается, наверное, блогов не на интвеевской платформе? У нас там внутри вроде все стоит и настроено, я пока ничего не меняла!
Николай! А на блог площадке Интвей это нужно учитывать?
Можно на Интвеевской площадке и не менять, но постарайтесь понять что там и за что отвечает, и если Вас это не устраивает, то можно и поправить, но сначала скопируйте в отдельный текстовый файлик всю инфу и потом что-то делайте
Николай! Создаю урок по граватару и для практики оставляю комментарий уже с фото.
Николай! Создаю мой урок по граватару. Надеюсь мой комментарий останется с фото.
Николай, разбери плагин Subscribe to Comments, пожалуйста. По идеи должны приходить уведомления на почту о том, что появились коменты на моем блоге или на блогах на которых я оставляю комментарии, но ни с одного блога, кроме блога Анастасии Витковской мне не приходят уведомления о появлении новых записей в комментариях. Хотелось бы знать — почему? Как нужно настроить этот плагин?
Для меня еще не очень понятно про этот Robots TXT. Поэтому буду помаленьку разбираться в ходе наших последующих занятий. Хотя если от него зависит посещаемость блога, то нужно шевелиться быстрее.
Скажем так, в моём понимании, посещаемость от файла не зависит, люди либо заходят либо не заходят (всё зависит как вы их привлекаете и на сколько интересную информацию выдаете в своем блоге), а вот индексация поисковиками тех или иных мест в блоге — зависит напрямую и что индексировать, а что нет, вы сообщаете роботам в этом файле (примерно дословно, индексировать — читать с целью внесения данных в поисковик и проведения анализа ресурса поисковиками, спецы не судите строго, пытаюсь объяснить на пальцах 🙂 )
Спасибо за подробное объяснение! Вот только маленький вопросик остался — Вы пишите — (Если …. не хотите заморачиваться с написанием данного файла, то можете сделать пустой файлик, назвав его — robots.txt и закачать его в корневую папку ресурса… )-Вот это не ясно. куда именно закачать, я новичок в использовании личного хостинга и не пойму все эти фразы….закачать в папку с плагинами или в папку с темами? пожалуйста подскажите 😳
@ Тehni:
Корневая папка — это папка на хостинге (на разных хостингах она может называться по разному — public_html, docs и т.д.) где лежит сам WordPress (файл настроек — wp-config.php, где Вы прописываете параметры Вашей базы данных, например там же лежит)
@ Николай Сидорюк:
Большое спасибо за ответ! Буду искать… 🙄
Ура!!! Получилось! Сделала файлик robots.txt и загрузила в папку public_html!!! буду ждать результатов…а то блогу уже третий месяц, а он никак не попадёт в выдачу по топам на blogs.yandex.ru/top/
СПАСИБО за помощь! ❗ ❗ ❗ ❗ ❗ ❗ ❗