Загрузка...
Файл robots.txt и настройка ссылок ЧПУ. Видеоурок
Всем привет! Рад снова Вас приветствовать на своем блоге «Советы веб-мастера» и сегодня я решил написать более подробно о файле robots.txt и о правильных настройках ссылок ЧПУ (человеко-понятных урлах). Я уже писал статью о настройках ЧПУ, а также статью о настройке файла robots.txt для WordPress, но сегодня я хочу Вам представить свой видеоурок, в котором все показано наглядно и Вам не составит большого, настроить все правильно.
Файл robots.txt
Данный видеоурок входит в бесплатный курс «Как сделать сайт легко и просто», для тех кто еще не ознакомился с моим курсом, как раз будет возможность посмотреть о чем речь и понять, что даже если курс и бесплатный, то это не значит, что там бесполезная информация.
Сам файл нужен для того, чтобы показать поисковым роботам, что можно индексировать, а что нет. Это нужно для того, чтобы поисковые роботы не индексировали страницы с дублирующимся контентом, а также страницы админки и так далее, для поисковиков это называется мусором и если роботы индексируют все подряд, то такие сайты имеют меньше шансов подняться в поисковой выдаче, так что поисковикам надо показывать для индексации, только полезные страницы, а не все подряд, для этого и используется файл robots.txt.
P.S. Внимание!!! На данный момент алгоритмы поисковых систем поменялись и файл тоже теперь совсем другой, поэтому скачайте, а затем разархивируйте правильный файл по ссылке ниже и замените название своего домена.
Правильный файл robots.txt скачивать здесь >>>
Настройка ссылок ЧПУ
Настройка ссылок ЧПУ делается для более удобной индексации, красоты самих ссылок и для того чтобы ссылки выглядели в глазах поисковых систем привлекательно и понятно, также правильные ссылки понятны и для человека. Здесь все просто, есть несколько видов названия ссылок, выбираете подходящий и делаете так, как Вам удобно, один из примеров я покажу в видеоуроке. На самом деле все гораздо проще, чем кажется, главное знать как это делается. Иногда мелочи не дают нашим блогам подняться в выдаче и получить хороший трафик с поисковых систем.
Много расписывать не буду, я уже писал об этом, так что Вы можете прочитать обе статьи, ссылке есть в начале статьи, а все прочитанное закрепляем видеоуроком о том как сделать правильные названия ссылок и настроить файл robots.txt.
Смотрим видеоурок.
Надеюсь что информация изложенная в видеоуроке, поможет Вам разобраться с настройками и принесет огромную пользу Вам и Вашим блогам. Если будут вопросы, Вы всегда можете задать их в комментариях к данной статье. И как всегда жду Ваших отзывов о данном видео. Не забывайте о конкурсе комментаторов, простые условия и денежные призы.
Кто хочет сделать свой блог легко и просто, предлагаю пройти мой бесплатный курс «Как сделать сайт легко и просто», доступ можно получить по ссылке ниже.
Получить Курс Бесплатно
С уважением, Евгений Вергус.
Спасибо за информативную статью и видеоурок. Поучительно и очень ценно для блоггеров:-)
Евгения, всегда пожалуйста, ведь мой блог сделан именно для того, чтобы помогать блоггерам. 🙂
А файл robots.txt одинаков для всех сайтов, ну не считая того,что заменили в самом низу?
С уважением, СергеЙ.
Их много, но который предлагаю я, он идеально подходит для вордпресс и я сам использую именно его.
Очень хороший человекопонятный урок! Пожамкала кнопки социальные 🙂 Евгений, ты просто человечище, что БЕСКОРЫСТНО и БЕСПЛАТНО делишься такой полезной информацией!
За кнопочки спасибо!
Да, многим делюсь бескорыстно, читателям хорошо и мне тоже 🙂
Роботс сам писал или где-то готовый брал?
Нет, это уже готовый, работает отлично. Хотя и написать не сложно уже, раньше бы я об этом даже и не думал бы, сейчас можно, но и этот работает отлично.
Я помню брал готовый, но там не было запрета на индексацию ссылок с комментов — пришлось дописывать
Ну, насколько я знаю, в WordPress ссылки с комментов и так закрыты или нет?
Нет, ну нофолоу то есть конечно, а вот директива replytocom, которая появляется при ответе на комментарий просто создает дубли страниц, прописываясь в конце урл
Спасибо! Замечательный урок!
Пожалуйста.
Женя я только начала смотреть урок и сразу вопрос. Еще в школе Старт Ап говорили, что файл robots.txt настраивается один раз и больше к нему возвращаться не стоит. А вот не так давно вышел обновленный файл и все его изменяли. Я не знаю, чем он отличался от предыдущего, но по рекомендации обновила. Выходит забывать про этот файл не стоит?
Татьяна, я ничего не менял, знаю что у многих были с новым проблемы, у меня и этот работает отлично, поэтому его и рекомендую.
Спасибо Женя. Для новичков очень нужный и доступно изложенный урок! Посмотрела на всякий случай, чтоб освежить память)))
Всегда пожалуйста 🙂
Я роботс тоже готовый взял. А плагином другим пользуюсь, впрочем тоже доволен. Этот урок из твоего курса, как я понимаю?))))
Спасибо все очень доступно и понятно.Хотелось бы узнать как вставить код партнерки на сайт что подсчитывались все переходы по ней.
О партнерских программах у меня есть курс sovetywebmastera.ru/kak-z...rskih-programmah
А на сайт свою ссылку вставить очень просто, взять ее и разместить там где надо или в банере или в статье или в картинке, а за переходами можно следить в кабинете партнера.
Очень хороший урок!поставил плагин и robots.txt.
Владимир, спасибо.
Женя спасибо.
Вопрос о «?» оказывается очень немаловажен.Уже исправил.
Удачи.
Да, именно из-за этой дерективы у многих бывают проблемы, так что все надо делать как положено и все будет работать идеально.
Евгений!!!Еще раз посмотрела это видео. я все установила, думаю , что правильно. Но у меня вот такой вопрос. Возможно, что он не по теме. я называю рубрику, с названием которой пишу запись. и совсем недавно случайно написала в поисковике яндекса вопрос по теме и, попала на свой сайт. Но когда я названия рубрик перекопировав стала вставлять в поисковик, то некоторые мои темы, например «О редисе» , «Черный рак яблонь» сразу находят мой сайт. А скопировав другие темы и разместив их в поисковике, я не нахожу упоминания о сайте???
Почему???
Татьяна, я не совсем понял вопрос. Что у Вас рубрик стольже, сколько и статей?
Нет. У меня записей столько же сколько и рубрик. Просто название записей, если их скопировать — тему и вставить в поисковик Яндекса или Гугла, то некоторые темы там отражаются. К примеру О редисе. Скопировав ее и вставив в строку, попадаешь на данные темы . и среди авторов находится и мой сайт. а другие названия записей, скопируешь, вставишь в поисковик и они не показывают мой сайт. Каким образом названия записей попадают в поисковик Гугла, Яндекса и Мира???
Названия попадают в поисковые системы после их индексации и даже если страница проиндексирована, это не значит что она будет в выдаче и тем более это не значит что она будет показываться на первых страницах поиска, если бы все было так просто, то мы уже все были бы очень богаты, о том как правильно все настроить и продвигать свой сайт, можно узнать из моих платных курсов. Я Вам уже об этом говорил или же можно еще долго читать статьи и разбираться что к чему, это довольно сложный процесс, который требует подробного изучения.
Спасибо!!!!
Да, не за что.
Классно! А я думала почему у меня ссылки неправильные.Исправила теперь.Спасибо.И хотела попросить,чтобы не искать в просторах интернета, пригодится не только мне: Как исправить чтобы на главной были статьи? Установить Метки,или облако меток? Что такое тэги и как это сделать7
Инна, для того чтобы сделать на главной странице анонсы статей, надо зайти в настройки, затем в чтение и выбрать в самом верху «Ваши последние записи», после чего сохранить.
А метки, облако меток выводится виджетом, но это уже не актуально и я не советую это делать.
Извините, Евгений, может, немного не в тему вопрос: а файл robots.txt, по-моему, изменился с тех пор, как мы первый раз его ставили на продвинутом курсе? У Вас ссылка на архив нового или старого файла? Я просто не помню где слышала эту информацию.
И ещё насколько важно иметь именно новый robots файл?
Спасибо заранее!
Файл старый, именно он у меня и работает, да и вообще менять данный файл не рекомендуется, лучше поставить и забыть, а с новым у многих были проблемы, я это точно знаю.
Отличное сообщение по теме. Удачного продвижения Вашему сайту!
Я как раз изучаю 7 урок по этой теме.Застряла,застряла,ползу как черепаха, а хочется быстрее.Спасибо, Женя.
Татьяна, не стоит торопиться, надо делать все по порядку и все получится.
Женя, спасибо за предложение.Я опять нашла в чем ошибки были.Опять все работает , открывается пост по ссылке.У меня закрыто от поисковиков.Я хочу сделать что-то , а потом индексироваться.Когда сочту ,что готова, приглашу посмотреть.
Хорошо!
Пошла учиться дальше. Если не устанавливать Cur-To- Lat то придется в ручную делать ссылки ?
Не надо вручную, надо поставить плагин и все. 🙂
Ошибка, вручную.
Поставила, получилось. Теперь одолеваю robots.txt.
Отлично и с роботом получится 🙂 Все просто!
Просто для тех, кто уже все это прошел и знает.Спасибо,Женя.
Конечно! Но я стараюсь объяснять максимально подробно!
Получается и хорошо.В прошлом не преподаватель?
Нет, просто стараюсь делать так, как было бы понятно любому человеку, без особых знаний разных терминов и так далее 🙂
Никак не могу уйти с сайта, тут так много есть чего посмотреть...
Я зачем уходить, оставайтесь здесь! 🙂 Здесь весь мой путь практически, так что много интересного.
А robots кто мне сделает ?
Так там в статье есть ссылка на статью о фйле, а там можно и скачать его, а потом заменить пару строк, в общем там все написано.
Женя, я спросила кто сделает, если я не уйду с сайта, а не как делать.Я уже изучила седьмой урок.Я сделала этот роботс.
Ну здесь уже придется часть прав делегировать фрилансерам, а то на моем сайте можно долго просидеть 🙂 ))))))))))))
Я разорюсь на фрилансеров еще не начав зарабатывать.Где взять мордочку грустную,мне не до улыбок будет.Вопрос: «Почему обязательно почта Гугла?» Меня Яндекс пока устраивает.С чем связана эта обязаловка?
Да нет никакой обязаловки, это рекомендация и все, можно и Яндексом пользоваться.
Уже легче.Благодарю,Вас,сэр.
Да не за что 🙂
Здравствуйте, Евгений! Поздравляю Вас с наступающим Новым годом. Желаю вам успехов во всех сферах вашей жизни! Удачи!!!
У меня сайт молодой, с августа, сейчас я обучаюсь на продвинутых курсах Твой старт. Когда я стала писать статьи каждый день, то посещаемость увеличилась до 100 посетителей в день. А сейчас сайт падает просто на глазах, что делать я не понимаю?
С Уважением, Галина.
Галина, что значит падает на глазах? Пишите статьи, это самое важное. Спасибо за поздравления!!!
Спасибо, за статьи:robot.txt и внутрення переленковка, они мне помогли.
Всегда пожалуйста, рад что статьи принесли Вам пользу.
Много инфо перевернул в интернете, и понял что файл robot.txt который ты даешь людям,один из лучших.
Да, он и у меня стоит, работает отлично!
Я делаю сайт по вашему курсу, но вот тему сделал сам на программе Artisteer 4, а файл robot.txt пришлось добавить некоторые строчки.
В моем курсе нет ничего об Artisteer, я показываю так, как показываю.
Евгений, у меня в Яндекс.вебмастер при анализе robot.txt моего сайта выдает синтаксическую ошибку в строке 33:/sitemap.xml.gz
Что это значит?
Индексируется ли мой сайт из-за ошибки или нет?
Это ошибка связанная с картой сайта, может ты допустил ошибку при создании карты или вообще не сделал ее. Но сайт и так будет индексироваться.
Я проверил ссылки всех статей через поисковик Яндекса, Яндекс в поиске выдает только главную страницу beshenyeprodaji.ru, остальные ссылки нигде не встречаются. Что делать?
Торопиться не надо, это главное. Подробности можно посмотреть в вебмастере и уже дальше потом анализировать. Может просто страницы еще не прошли индексацию.
Яндекс.вебмастер пишет, что индексирование страниц запрещено в вашем файле robots.txt и нужно убрать запрещающие правила. Как это сделать?
Миша, надо сделать так, как сказано в статье и все будет отлично. Не надо ни чего править в файле. У меня такой же файл. Файл закрывает ненужные страницы, но это так и должно быть, это же вордпресс и тут есть много ненужного.
Здравствуйте Евгений! В вашем видео файл robots.txt содержит много строк а в том который я скачал по вашей ссылке всего штук 12-13.какой файл правильный?
Тот который скачали, тот и правильный. На данный момент файл изменился и отличается от предыдущего, просто в видео показан старый.