Загрузка...
Файл robots.txt для WordPress
Сразу хочу Вам сказать, что если у Вас отсутствует файл robots.txt или стоит какой-нибудь другой, который позволяет индексировать все подряд, то у Вас могут выпасть страницы из индекса Яндекса и Google, но это полезная процедура, так как все страницы будут проходить правильную переиндексацию и в скором времени все станет на свои места. После того, как поисковики проиндексируют заново, все что нужно, страницы постепенно попадут в индекс и все станет на свои места. У меня этот процесс занял не более недели. Кстати, много полезного по SEO-продвижению, Вы сможете найти на данном seo-блоге.
Файл берем здесь robots.txt разархивируем архив и получаем файл robots.txt он должен называться так как есть, менять ни чего не надо, иначе пользы от него не будет ни какой. Теперь покажу на примере что Вам нужно заменить в данном файле. В самом низу файла необходимо заменить адрес моего сайта на Ваш и все больше ничего делать не надо, после чего необходимо сохранить Ваш файл robots.txt. Итак, вот пример красным выделено то, что Вам надо заменить на свой адрес:
Host: sovetywebmastera.ru
Sitemap: http://sovetywebmastera.ru/sitemap.xml.gz
Sitemap: http://sovetywebmastera.ru/sitemap.xml
Меняем только адрес Вашего сайта и все!!!
После сохранения, файл robots.txt необходимо загрузить на Ваш хостинг в корневую папку Вашего сайта, для этого заходим в панель управления хостингом и находим там «файловый менеджер» либо для тех кто пользуется Total commander, можно загрузить при помощи данной программы, но я Вам покажу на примере своего любимого хостинга Timeweb.
Заходим в «Файловый менеджер» и попадаем в данное окно:
Для того, чтобы попасть именно в корневую папку, надо найти папку с названием Вашего сайта, нажать на нее и далее нажать на папку public_html, это корневая папка по умолчанию для WordPress, после этого нажимаем на кнопку «Файл» далее «Закачать», затем выбираем наш файл robots.txt и закачиваем его в данную папку. Все, файл установлен и будет приносить нашему сайту пользу и постоянное продвижение. Еще необходимо будет составить карту Вашего сайта для поисковиков, но об этом уже в следующей статье.
Вот мы и сделали одно из самых важных дел для наших сайтов. Также как всегда жду Ваших комментариев к данной статье и конечно задавайте вопросы, я обязательно постараюсь на них ответить. Все Вам удачи и роста Вашим ресурсам и помните главное, никто не сделает лучше, чем мы сами. Обязательно прочтите дополнение о ЧПУ ссылках по данной ссылке.
P.S. Внимание!!! На данный момент алгоритмы поисковых систем поменялись и файл тоже теперь совсем другой, поэтому скачайте, а затем разархивируйте правильный файл по ссылке ниже и замените название своего домена.
Правильный файл robots.txt скачивать здесь >>>
В завершении предлагаю посмотреть видео, что такое robots.txt, видео для ознакомительных целей, не стоит менять предложенный файл, если у Вас недостаточно для этого знаний. Файл который представлен в моей статье, также установлен и на моем блоге, отлично работает и не вызывал никаких проблем.
статья полезная и важная. не каждый знает такие подробности сайтостроения! :)))
Спасибо, надеюсь мой сайт принесет Вам пользу.
Класс, пошла устанавливать)
Рад помочь.
Привет Евгений!Читал про этот файл ,но смелости всё не хватало проделать это самому.Спасибо тебе за доступное и понятное объяснение.Всё сделал.Единственное что меня смутило это то что при добавлении в корневую папку файла,у меня не было названия моего сайта.Но думаю это не проблема потому что фафикон я тоже так добавлял и он у меня высвечивается.
Привет, Михаил. Я думаю все будет нормально, зарегистрируйся в Яндекс Вебмастер и сможешь проверить, работает файл или нет.
Статья полезная,написана понятно и хорошо, но для меня это пройденный этап, сейчас больше интересует как сделать карту сайта, так что буду ждать следующую статью. Спасибо.
Статья будет сегодня вечером.
привет, Михаил. Кликаю по ссылке,как написано -/Файл берем здесь robots.txt/выходит таблица-список , где надо менять ваш адрес сайта на мой,но к сожалению ваши данные не стираются, а мои соответственно не вставляются.Что-то здесь не так???
Скопируйте все в блокнот и назовите robots.txt, а затем замените на свои нужные строки.
Добавил архив, скачайте, разархивируйте и меняйте все что нужно.
Евгений, простите меня, но и дальше мне непонятно — /Для того, чтобы попасть именно в корневую папку, надо найти папку с названием Вашего сайта/ — я дошла до этого пункта и опять я в ступоре, как же мне найти эту папку? я сейчас нахожусь в «файловом менеджере», но в браузере такие данные cp.timeweb.ru/fileman/ Видимо надо вставить свои?
я смотрю, что написано у вас, вставляю со своими данными, но мне отвечают, что гугл не может меня найти,нэма меня!! вот печаль!во засада! Как всегда, с уважением...
Вы находитесь там где нужно, ниже расположены папки, найдите папку с название вашего сайта и нажмите на нее, должна появиться папка public_html нажимаете на нее и далее файл , загрузить, выбрать вообщем все по тексту.
К сожалению папок никаких нет — поле пустое, как небо в дождь... — ни звёздочки, ни папочки.если бы были папки, ясный пень, что я свою бы нашла.Может это оттого, что я заплатила за хостинг только за 2 м-ца, так сказать «пробный этап». что-то я в раздумьи, похоже у меня ничё не получится.С уважением...
Если хостинг закончится, то Ваш сайт работать не будет, сейчас он работает, значит все нормально. Папки есть у всех иначе бы Ваш сайт не работал, только там хранится информация и все файлы, возможно Вы смотрите технический домен или еще что нибудь. Поверьте мне, в интернете чудес не бывает.
Спасибо, Евгений! Вселяете надежду.Завтра займусь этим. Очень благодарна вам за помощь!Надеюсь получится.
А я когда захожу в файловый менеджер, там только папка public_html и больше ничего нет.
Нажимайте на зеленую стрелку вверх и папки будут появляться, но Вам нужна именно эта папка, нажмите на нее и далее файл, загрузить и далее по тесту. Если не понятно, пишите.
Евгений, спасибо! Файл установила, как всегда очень полезная статья!
Всегда пожалуйста, рад помочь.
Спасибо вам Евгений за подробное описание. Файл установила как у вас описано, теперь буду ждать следующие ваши статьи.
Пожалуйста, Ирина, всегда рад помочь.
Евгений сделала все как описано, все получилось,теперь буду ждать результата.И еще если возможно, поясните пожл.что значат ошибки валидации.При анализе сайта в cy-pr выдает информацию , что есть ошибки,что это такое и как с ним бороться?
Все нормально, не надо обращать на них внимания. Они Вам ничем не навредят.
Евгений и еще вопрос .Запустила анализ сайта в dinews. Если раньше при анализе на это сервисе у меня файл robots.txt не показывался, то теперь сразу же виден прямо на странице в рамочке со всеми надписями .Это нормально? И сколько должно быть внутренних ссылок, а то у меня по моему их очень много, что сними делать?
Все нормально, так и должно быть, а сколько внутренних ссылок?
123 ссылки.
Нормально, не много больше чем положено, но не страшно.
Спасибо Евгений,вроде все прошло гладко с установкой, но вот как проверить?
Файл не изменился, что-то не так сделали, удалите файл, а далее сделайте все так сказано в моей статье и файл тоже возьмите с моей статьи.
Спасибо Женя!Я уже написала в службу поддержки, дело в том, что у меня корневая папка public_html пустая. Подожду ответа.
Женя! Мне ответили в тех. поддержке хостинга:попробуйте воспользоваться FTP-клиентом для загрузки файлов на сайт, например FileZilla. Я не совсем поняла, о чем речь... Что мне делать, может попробовать опять по новой установить, следую рекомендациям вашей статьи?
Татьяна, когда Вы заходите в файловый менеджер, что у Вас отображается? Есть ли какие-нибудь папки?
В том то и дело, что раньше открывала корневую папку и там было много папок и файлов, а сейчас одна папка и файл((( cgi-bin, index.html. В службе тех. поддержки не могут ничего ответить((
Татьяна, надо писать в службу поддержки. Я просто на днях занимался чужим сайтом и там вообще не было папок. Я написал в службу поддержки письмо, почему в файловом менеджере не отображаются папки с файлами и указал адрес сайта и через час пришел ответ о том что ошибка исправлена и все папки появились и я удачно разместил файл.
Женя, пишу им в третий раз, вот последний ответ:"На вашем аккаунте нет файлов кроме папки public_html. Уточните, какие файлы там должны быть? Папка public_html корень вашего сайта." А я то откуда помню, какие были папки и файлы, там больше страницы.
Татьяна, если есть данная папка, загрузите туда robots.txt и напишите мне, я проверю.
Все сделала.
У вас старый файл, удалите его и поставьте новый, который у меня в статье.
Хорошо,сейчас заново все сделаю, хотя и брала ваш. По-моему у меня двойной аккаунт, сейчас пытаюсь разобраться. Извините, что заняла у вас столько времени(((. Вы Женя может удалите мою переписку, а то людям будет неудобно свои вопросы писать)))я пол страницы уже заняла со своей проблемой.
Да места всем хватит, не переживайте.
Все, закачала заново, у меня каким то образом вышло два аккаунта на хостинге, поэтому тех.поддержка была в ступоре. Сейчас перезашла и у меня отображаются все мои папки и файлы.
Татьяна, я Вас поздравляю, Вы его победили, все отлично, теперь ждите переиндексацию и пишите побольше статей. Удачи, всегда рад помочь. Можете обращаться в любое время.
еееееессссссссс!)))) СПАСИБО ВАМ ЖЕНЯ ОГРОМНОЕ!!!
На хостинге, после нажатия «файловый менеджер», я не вижу папку с названием моего сайта, но папка public_html есть. Я туда и закачала. Как думаете, работать будет?
Работает, я Вас поздравляю! Я проверил, файл есть, теперь будет переиндексация.
Евгений, я два дня назад сделала файл робот тхт, вроде бы правильно все. Но у меня почему-то в некоторых статьях перестала отображаться реклама от гугл, в новых вообще не отображается. Зашла в гугл в «инструменты для вебмастеров», там написано что обнаружена ошибка и некоторые важные страницы блокируются роботом. И в эти два дня я иногда не могу выйти на сайт, показывает «ошибку 512». Это может быть связано с файлом «робот тхт»?
Екатерина, обязательно прочтите статью заново, я добавил внизу дополнение, если есть в названиях ? это будет плохо, надо убирать или менять файл. А по-поводу http:// все верно сделали.
Все, я вроде бы нашла ошибку. В поле Host я написала название сайта с http://, а не надо было-:)
Ну конечно у меня есть в названиях знак ?, попробую поменять тип ссылки в панели инструментов. Но все дело в том, что я уже очень много где своих ссылок наоставляла, да и на самом сайте у меня много внутренних ссылок. Если я сейчас поменяю тип ссылки, то прошлые ссылки перестанут работать? Извините за глупый вопрос...
Вопрос не глупый, да перестанут, поэтому лучше поменять сейчас, чем когда пройдет время, но все это на Ваше усмотрение, можете просто закачать другой файл или убрать строку, о которой я писал.
Я поменяла тип ссылки, потом проверила через некоторые источники, где я эту ссылку оставляла, все работает! Но гугл в инструментах для вебмастеров все равно сообщает мне об ошибках, что некоторые важные страницы блокируются роботом, так и должно быть? У меня в плагине All in One SEO Pack стоит запрет на индексацию архивов и тегов...
В роботе прописана блокировка ненужных файлов, это темы, плагины, кэш и так далее, у меня тоже многие страницы закрыты, всякий мусор и дублирование контента плохо влияет на индексацию сайта.
Женя все правильно...это мой случай, уже второй раз после опубликования статьи у меня в панели админа, показывает все ссылки в разделе неправильные ...с вопросами что тогда лучше удалить тот файл из корневой папки или вручную редактировать в панели все ссылки?
Надо настроить постоянные ссылки ЧПУ в панели инструментов, в настройках, надо чтобы было без вопросов.
Спасибо, Вам, большое, Евгений! Вы очень помогаете. Все установила, и хочу уточнить, знак вопроса нужна убрать в названии страниц или в названиях статей? Спасибо.
Женя! Подскажи, пожалуйста, по следующему вопросу: У меня практически во всех статьях и на страницах сайта исчезла реклама Google. Я зашла на главную страницу моего аккаунта Google AdSense — Настройки аккаунта — Доступ и авторизация — Доступ для робота — Ошибки сканирования. И там заблокированный URL, причина блокировки — файл robots.txt. А заблокированный URL — перечислены все мои статьи и страницы. Я думаю, может быть реклама исчезла из -за этого?
У вас в ссылках есть знак вопроса, а все ссылки со знаком вопроса блокируются, это прописано в данном файле. Прочитайте внимательно статью, надо заменить в настройках ссылок ЧПУ на числовой или использовать плагин, все это описано в статье.
Женя! Я, честно говоря, не понимаю, что значит: заменить в настройках ссылок ЧПУ на числовой?
В панели управления, находите Настройки, а далее вкладка Постоянные ссылки ЧПУ и в настройках выбираете числовой, но старые ссылки работать не будут, те ссылки которые Вы оставляли на других сайтах на свои статьи, если все оставите так как есть, то удалите файл robots.txt и или замените его на другой в конце статьи есть другой файл, его надо будет поставить, в противном случае у Вас выпадут из индекса все страницы и почему никто ни читает до конца и внимательно, все делают, а потом начинают исправлять ошибки, я же написал что ссылки со знаком ? закрыты от индексации.
Евгений, а я ссылку заменила уже несколько дней назад, но у меня все равно страниц в индексе значительно убавилось. Исчезла третья часть моих статей. Я вот думаю, может все статьи через Аддурилку прогнать, что бы они вернулись в индекс? И ошибку мне гугл все равно каждый день показывает, что робот блокирует важные страницы.
Все нормально, надо ждать переиндексацию, это примерно две недели или чуть более.
Евгений, большое спасибо! Я заменила на ссылку со словом archives, то есть, например архив 123 и так далее, а сейчас подумала, может надо было заменить на название поста? Ссылки со словом «архив» нормально индексируются? Уже всего боишься, и лучше исправить сразу, я думаю, пока не так много статей...
Все будет нормально индексироваться, главное чтобы в ссылках не было знака ? в данном файле ссылки со знаком ? закрыты от индексации.
Поясню,этот тип ссылки называется «числовой»...
Спасибо еще раз, Евгений, за ваши оперативные ответы! А я перестраховалась дважды получается — я и ссылки сменила, и сам файл робот тхт тоже, удалила старый и закачала новый, который внизу статьи...на всякий случай-:)
Скажите пожалуйста,если я случайно закачала в корневой каталог файл robot.zip как его теперь удалить? Что-то у меня он никак не удаляется.Или ничего страшного ,может можно сюда же еще и robot.txt просто добавить?
Найдите его в папке, выделите и удалите. Можно закачать и новый, но лишний мусор не нужен, все на Ваше усмотрение.
У меня стоит плагин AII in SEO Pask где закрыты архивы и теги, разрешены только категории, это не помешает переиндексации?
Нет, дублированный контент это очень плохо для сайта, поэтому и тэги и архивы должны быть закрыты, у меня заблокировано более 800 страниц и это нормально.
Ладно, ничего не буду делать, буду ждать переиндексации, может странички, все-таки, вернутся в индекс, а то очень хочется уже попроситься в Ротапост.
Здравствуйте, Евгений! С Рождеством! Я на днях сделала второй сайт, опять буду вам надоедать-:) Я закачала сегодня робот тхт, подтвердила права на сайт, но сайт не индексируется. В Яндексе написано, что сайт не проиндексировался, так как DNS сервер не вернул роботу адрес сайта. Я проверила через форму проверки, там написано что если сервер отдает HTTP код 200, то сайт начнет индексироваться в течение 2-х недель. Что это обозначает? Мой первый сайт был быстро проиндексирован...
2 недели для индексации сайта это нормально, тем более что Яндекс с каждым днем удивляет все больше и больше, а с кодом 200 я не знаком, к сожалению всего знать не могу.
А чем Яндекс удивляет? У меня основной поток посетителей именно с Яндекса.
Этим и удивляет, люди оптимизируют месяцами свои сайты, а Вашему сайту пару месяцев и такой трафик с поисковиков, с такой посещаемостью сайт должен приносить 15-20 т рублей минимум в месяц, если это так, то я Вас поздравляю.правда у Вас слишком мало просмотров для такой посещаемости и это наводит на определенные мысли.
На какие? У меня сегодня первый день столько посетителей по одному единственному запросу — рождественские гадания. А так, в среднем, у меня 150-200 посетителей. И я продвигаю свой сайт только лишь своими статьями, не зря же я два года работала копирайтером на биржах-:)Евгений, я ни разу не купила ни одной ссылки, честно! Но вот по трастовой базе свой сайт я прогнала. Сидела буквально ночами. Да и на написание и оптимизацию статей у меня уходит много времени. И заработка пока особого нет, так как я только пробую пока разные виды и зарегистрировалась только в РотаПост.
Конечно Ваша совесть чиста и я вообще не собирался Вас в чем-то обвинять, я всегда отношусь с уважением ко всем своим посетителям, а определенные мысли, я имею ввиду выдачу Яндекса, её на данный момент его очень тяжело понять и предугадать с точки зрения оптимизатора, а Ваша статья попала в выдачу и я Вас с этим поздравляю, если она там задержится, то будет хорошо, хотя этот запрос временный, пойду гляну сколько выдает посетителей.
Так что моя совесть чиста. Я ничего не вкладывала в свой сайт, кроме своего труда.
И это главное, свой труд, это и дает основной заработок.
Да ну и что, что временный...А дальше будет Крещение, день Валентина и 8 марта-:) Главное вовремя написать и что бы статья попала в индекс...
Да все верно, удачи Вам и Вашему сайту.
Спасибо, Евгений! Вам я тоже желаю Процветания, тем более в волшебную ночь перед Рождеством все мечты и пожелания осуществляются!-:)
Огромное спасибо, надеюсь что Ваши пожелания сбудутся.
Привет!!!
Файл ТХТ обязательно нужен для сайта ,но он также блокируе некоторые системы ((
Какие именно, что Вы имеете в виду.
Вопрос: если у меня несколько сайтов на одном хосте с разной тематикой,можно ли установить этот файл?
Файл robots.txt должен стоять на всех сайтах без исключения, именно этот файл разработан и идеально подходит для всех сайтов на движке WordPress.
Евгений, спасибо вам огромное за помощь! И статья нужная и интересная. Еще раз спасибо.
Дарья, всегда рад помочь. Тебе конечно тоже большое спасибо.
Здравствуйте!
Мне все понравилось!
Желаю для всех Вам здоровье и счастье!
Ваш незнакомьi друг Цветан.
Цветан, спасибо Вам. Рад буду Вас видеть на своем сайте.
Искал по роботу тхт и попался ваш,попробовал по вашим советам-получилось,правда у моего сайта все сырое еще,и данные по робату высветились 4 строки User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: anisimow5.tmweb.ru/sitemap.xml.gz, как перевелось запрещен в админ и в себе,и карта сайта.
Борис, если Вы все правильно сделали, то должен отображаться файл тот, который Вы закачали и тогда будет все работать правильно.
Евгений добрый день,извиняюсь за назойливость,но с роботом тхт ничего не получается.Я уж и домен поменял и в названии сайта изменения,при в вводе на УРЛ высвечивается только самые первые 4строки.Не могу понять в чем дело? Хостинк у меня тоже TimeWeb.
Борис, файл нужно скачать и изменить название моего сайта на Ваш и загрузить его в папку public данного сайта и все. Возможно Вы загрузили файл в другую папку или он называется не robots.txt
Евгений спосибо за ответ,файл скачал ваш robots.txt.Названии сайта вставил свои, согласно доменного имени,но вот где зеленая стрелка указател на файлы после на
клонной / мой сайт не написан?
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/ вот все что высвечивается!
Борис, пока Вы не поместите файл в в папку public, то он отображаться не будет.
Евгений приветствую ВАС!Начал с вами с робота,вот что на сегоднешний день имею а?б?аДаЕаЛаИб?б? аВб?аЕ,квадратики буквы на всех записях,все перерыл,не нашел ни одной подсказки,как исправить.Бекап сайта сделал в архив на всякий случай!Главно так выглядит только в Opere, в Mazille и в Crome все нормально за исключением деталей,в записях пропал редактор.Евгений что посоветуете? Переустоновить WordPress? Или все же есть выход.
Борис, у Вас все нормально, только что был на Вашем сайте. Проблема наверное с браузером, в настройках браузера надо очистить кеш.
Да Евгений чуть не забыл,главное на счетчике,показывает что есть посетители? Им эти каракули не видно что ли?
СПОСИБО Евгений,Завтра попробую!