Как создать robots.txt для WordPress?
Все мы прекрасно знаем о существовании поисковых систем, таких как Яндекс, Google, Yahoo, более того уже не представляем Интернет без них. Миллионы людей каждый день прибегают к их услугам, для поиска интересующей информации, даже не задумываясь о том, как они находят эту самую информацию.
“Да это им и не нужно”, – скажите вы и будете совершенно правы.
Зато нас с вами, как блоггеров, этот вопрос очень, даже должен интересовать. Если конечно мы не хотим чтобы наши блоги читали только наши родственники и друзья.
Так вот если еще кто не знает, поисковики с помощью поисковых роботов (их еще называют пауками) индексируют сайты и скачивают их в свою базу данных. От того как роботы проиндексируют наши блоги и сайты и что они скачают, в немалой степени зависит тот факт какое место у блога будет в поисковой выдаче после того или иного поискового запроса.
Для того чтобы корректировать действие роботов, а именно показать им какие страницы и файлы блога нужно индексировать, а какие нет, необходим файл robots.txt. Он играет очень важную роль в поисковой оптимизации, и роботы поисковой машины сначала ищут ваш robots.txt и если не находит его, то индексирует все подряд.
К сожалению, у большинства владельцев интернет ресурсов файл robots.txt отсутствует, чаще всего по незнанию. Давайте будем отличаться от этого большинства и создадим свой robots.txt для блога на движке WordPress:
1. Для создания файла robots.txt нам понадобится простой блокнот. Создаем новый текстовый документ.
2. Вставляем в этот документ следующую информацию:
________________________________
User-agent:*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?s=
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /out/
Disallow: /xmlrpc.php
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?s=
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /out/
Disallow: /xmlrpc.php
Host: biznes-start.ru
Sitemap: http://biznes-start.ru/sitemap.xml
___________________________________
Это стандартный набор команд для поисковых роботов, запрещающий индексацию вспомогательных файлов WordPress не несущих никакой информативной нагрузки. Если вы заметили, то информация состоит из двух блоков.
Первый User-agent:* – для всех роботов.
Второй User-agent: Yandex – для роботов Яндекса. Кроме того для Яндекса также используются параметры Host – для указания главного зеркала сайта и Sitemap – указания пути к карте сайта, если таковая имеется. Обратите внимание Host и Sitemap в данном примере указан для нашего блога, вы же должны указать свои ссылки.
3. Сохраняем документ под именем robots (txt в имени не указываем это расширение файла).
4. Через ftp-соединение заливаем полученный файл на сервер в корневую папку, как правило, это папка «Public_html».
Ну, вот и все! Как видите ничего сложного. Времени много не займет, а польза большая. Так что если вы еще не создали свой robots txt быстренько делайте это!
Хорошей вам раскрутки!
Автор: Сергей Довбыш
www.biznes-start.ru
Преврати свои мечты о виртуальном бизнесе
в реальные деньги!
Приветствуется свободное распространение статьи с сохранением авторства и ссылки на сайт
Поделиться в соц. сетях
Ольга (354)
Игорь (284)
Lyudonka (111)
Анна (87)
Елена (85)
Наталья (84)
Татьяна (39)
Сергей (35)
LUTERRR (29)
Светлана (29)
Здравствуйте. А в чем все-таки различия команд для всех поисковых роботов и робота Яндекса? Т.е. зачем их разделять?
Я у себя использую такой robots.txt и все работает…
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Host: mechta1470.info
Sitemap:
[Ответить]
Хороший вопрос, Вячеслав!
Согласен с вами, можно использовать только директиву User-agent:*. Она будет работать одинаково для всех роботов.
Директива User-agent: Yandex предназначена только для роботов Яндекса. Ее удобство заключает лишь в том, что для роботов Яндекса можно указать индивидуальные параметры.
[Ответить]
можно такой вариант
User-agent: *
Disallow: /tag
Disallow: /archive
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /?s=
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Allow: /wp-content/uploads/
[Ответить]
Спасибо большое реально помогло. Я просто начинающий вебмастер и никак не мог етот файл создать..
[Ответить]
Сергей Довбыш Reply:
декабря 28, 2010 at 13:16
Пожалуйста! Заходите еще!
[Ответить]
Сергей, а есть у вас на блоге статья о файле .htaccess для WordPress и разьяснения о нем? Хотелось бы побольше узнать об этом.
[Ответить]
А я не поняла зачем это надо.
Что означает что НУЖНО индексировать, а что НЕТ?
Объясните, пожалуйста, блондинке)))
[Ответить]
Игорь Reply:
января 22, 2011 at 7:07
У вас, Елена, хорошее чувство юмора!
Если для робота поисковика не написать инструкции, куда ему ходить, куда совать свой нос,а куда нет, он на радостях, что объявился новый блог в Интернете, проиндексирует его от макушки до подошвы ног, не только страницы с контентом, но и технические, административные и т.д.
Но это пол беды. Плохо то, что поисковик проиндексирует одну и ту страницу с разных углов своего ненасытного зрения.
То есть, например, данная страница может попасть в индекс сама по себе, затем по тегу, по категории и по архиву.
Таким образом, вместо имеющихся 100 в поиске будет, например, 400 и триста из них – это дублированный контент. А раз так, ждите штрафных санкций!
Во избежания таких печальных последствий, роботу на его языке объясняют: “Туда, не ходи. Ты – сюда ходи”.
[Ответить]
…снег башка попадет…
Мне внук тоже комплименты делает по поводу чувства юмора.
Гран мерси.
Хорошо. А КУДА не надо пускать этого всепроникающего робота?
Или это автоматом сделает плагин, о котором идет речь, я правильно поняла?
В таком случае нужно срочно его установить, ес?
[Ответить]
Игорь Reply:
января 22, 2011 at 12:12
Да вроде бы в статье речь о плагине не идет. Просто нужно создать текстовый файл robots.txt и вставить в него директивы отмеченные в статье пунктом 2.
Но тот вариант, который Алекс написал, более обширный, так как запрещает индексировать архивы, теги, фиды и комментарии.
Только у него не прописаны директивы для Яндекса отдельно, а он знаете ли “Цаца”, любит, чтобы к нему по имени и персонально.
Я бы взял за основу то, что Сергей написал и добавил бы ещё кое-что из варианта Алекса. Например:
Allow: /wp-content/uploads/ –
разрешает индексацию картинок вашего блога, а если картинки уникальны, то это может быть дополнительный трафик от поиска по картинкам (ищут же люди)
Disallow: /tag
Disallow: /archive
Запрет на индексацию тегов и архивов.
Вот такие соображения…
[Ответить]
Елена Reply:
января 22, 2011 at 12:28
Спасибо. Полезно.Учту!
Кстати, у Вас тоже неплохо с чувством юмора.
“Цаца” – порадовала
[Ответить]
Ольга Reply:
января 31, 2011 at 20:29
Похоже у меня этого файла тоже нет. Игорь поможете, если что скомбинировать?
Да, бывает, появляется. Спасибо.
[Ответить]
А этот файл нужно спец. создавать или он в тему должен входить?
[Ответить]
Игорь Reply:
января 31, 2011 at 22:12
Вот Ваш файл
[Ответить]
Ольга Reply:
января 31, 2011 at 22:26
Это 2 короткие строчки и все? Я их видела в Вебмастере, просто в корневой не могу найти уже 2-й день.
[Ответить]
Игорь Reply:
января 31, 2011 at 22:37
Если бы не было, я не открыл бы этот файл.
Ольга Reply:
января 31, 2011 at 22:50
Да и я о том, но не вижу в корневой, где он там запрятался. Завтра еще раз просмотрю…
Здравствуйте! у меня такая же ситуация как у Ольги. в Вебмастере я вижу файл robots.txt, а в корневой папке(даже по поиску) не вижу. есть только “google51abf2a3424d20ea.html” и “yandex_76e5a7d1e6020031.html”. и ещё “sitemap.xml”. и как мне исправить в файле robots.txt всего две строчки на правильный файл. пожалуйста. а то роботы сканируют все подрят
[Ответить]
спасибо, я не знала
[Ответить]
Спасибо большое! То что надо =)
[Ответить]
Спасибо огромное. Недавно создал сайт и не мог понять в чем дело, почему не видит яндекс. Вы реально помогли!
[Ответить]