1. Правильний robots.txt для wordpress: що це?
2. Критична помилка багатьох вебмайстрів при створенні файлу robots.txt
3. Отже, як у файлі robots.txt звернутися до робота Яндекс?
4. Завдання, де я плачу гроші за правильну відповідь на запитання!
5. Серйозний, робочий файл robots.txt для wordpress
6. Як просто скласти файл robots.txt для сайту wordpress - новачкові
7. Урок, як зробити самостійно правильний robots.txt без особливих навичок
8. Перевірка файлу robots на коректність заповнення і працездатність
9. відповідь конкурсу
10. відповідь конкурсу

Всім привіт! Будь-сайт повинен мати файл роботс.тхт, щоб пошукові машини змогли швидко проіндексувати їх ресурс і веб-майстер отримував відвідувачів з пошукової видачі в подальшому. У статті я розповім, як просто зробити robots.txt для wordpress, використовуючи нехитрі способи його складання, а також що допускають 95% вебмайстрів складаючи цей файл неправильно.

Правильний robots.txt для wordpress: що це?

Краще, ніж цей короткий ролик ніхто не розповість, що це за файл.

Серед «бувалих» вебмайстрів з давно відомо, що файл robots.txt на сайті, будь то движок wordpress або joomla, обов'язковий.

Саме його в першу чергу відвідувачі заходять, а не як не корінь вашого сайту //сайт.ru/.

Файл robots.txt, повинен розташовуватися за адресою // ваш сайт / robots.txt і ні в якому разі його не можна перейменовувати, як-то інакше від robots.txt.

robots.txt - кореневої файл, який вказує пошуковим машинам, що індексувати, а чого не відображати в пошуковій видачі.

Критична помилка багатьох вебмайстрів при створенні файлу robots.txt

Перш ніж озвучити помилку, давайте розберемося, як правильно налаштувати robots.txt для сайту wordpress.

В інтернеті є ряд пошукових систем, але найбільш популярні з них це Google і Яндекс. Решта ми в цій статті розглядати не будемо, так як вони практично ідентичні з лідерами інтернету.

Отже, як у файлі robots.txt звернутися до робота Яндекс?

Це зробити дуже просто потрібно всього лише прописати рядок нижче в файл robots.txt і всі інші правила будуть діяти тільки для робота Яндекс. При зверненні до Яндексу, пишемо:

User-agent: Yandex

Рядок User-agent: звернення до певного пошуковику, як вгорі до Яндексу,
а якщо поставити *, буде означати до всіх пошукових машин будуть ставитися ці
правила нижнього регістра.

Для того, щоб закрити від індексації будь-яку папку або файл досить в robots.txt

прописати цей код: «Disallow: \ папка», для того, щоб відкрити доступ до файлу «allow: \ ім'я файлу»

Завдання, де я плачу гроші за правильну відповідь на запитання!

Ви добре розбираєтеся в цій темі? Вам нудно і хочеться грошей? Тоді пропоную відповісти в коментарях на питання: як надійде Яндекс в цьому випадку, буде він індексувати папку / wp-admin чи ні?

User-agent: Yandex Allow: / wp-admin Disallow: / wp-admin Sitemap: https://seovpmr.ru/sitemap_index.xml

Якщо ви правильно відповісте, розгорнуто, на питання, вас чекає грошовий приз на гаманець webmoney. Всі бажаючі взяти участь в конкурсі, пишіть свій номер гаманця WMR. Переможця ми оголосимо в кінці цього поста.

Серйозний, робочий файл robots.txt для wordpress

Що повинно входити в правильний robots.txt для wordpress

• Звернення до пошуковому роботу
• Правильну адресу сайту HOST: Більше не актуально
• Адреса карти сайту
• Disallow: / - місця, що заборонено індексувати
• Allow: / - місця, які потрібно індексувати

Що таке allow і Disallow ми розглянули вище, тепер я хочу поговорити про атрибут HOST, і розповісти вам для чого він потрібен у файлі robots.txt.

Хост - дзеркало вашого сайту, точніше, те, як пошуковому роботу видавати сайт в пошуковій видачі з WWW. або БЕЗ WWW.

Серед оптимізаторів у свій час існувало повір'я, що сайти з WWW більш клікабельні, ніж без WWW, як це насправді ви, можете перевірити провівши власний експеримент, для цього досить прописати рядок ХОСТ в файлі robots.txt:

Host: ваш сайт.ru / ** без www

або

Host: www.Ваше сайт.ru / ** c www

Сайт в результатах пошуку БЕЗ WWW.

Загалом, проводите експерименти і не забувайте ділитися з ними в коментарях до цієї статті.

Залишається розповісти про ще одному рядку:

Sitemap: // ваш сайт.ru / sitemap.xml

Загалом, ця сторінка, де зберігаються всі посилання на доступні роботу сторінки. Сильно не заморачивайтесь просто скопіюйте готовий файл robots.txt, так як ця окрема стаття, яку я обов'язково напишу на блозі.

Тепер пару слів про помилку, як і обіцяв. Забороняючи пошуковому роботу, ту чи іншу папку або файл до індексації це не говорить про те, що він її не бачить просто не покаже в результатах пошукової видачі, але обов'язково там побуває.

Пам'ятайте про це, товариші! І максимально захищайте сайти, щоб не поширювати небажану конфіденційну та іншу інформацію. Просто вкажіть роботу, яку папку не потрібно публічно демонструвати в файлі robots.txt.

Як просто скласти файл robots.txt для сайту wordpress - новачкові

Хлопці, я тут не буду палити фішки та інше, так як це має знати кожен мало-мальськи поважаючий себе веб-майстер. Загалом, якщо ви хочете завантажити готовий правильний файл robots.txt для wordpress, то копіюємо код нижче:

User-agent: Yandex Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / feed / Disallow: * / feed Disallow: * / trackback Disallow: * / comments Disallow: / *? Disallow: / *? * Disallow: / tag Sitemap: https: // ваш сайт / sitemap.xml User-agent: Googlebot-Image Allow: / wp-content / uploads / User-agent: YandexImages Allow: / wp-content / uploads /

(Не забувайте міняти поле «ваш сайт» на свій «РІДНИЙ»)

Порада: якщо ваші статті закінчуються на зразок

// ваш домен /? p = 123,

щось не прописуйте це правило:

11 Disallow: / *? 12 Disallow: / *? *

Так як воно заборонить індексацію вашого сайту! Просто видаліть ці два рядки або виправте адреси статей на ЧПУ (людини зрозумілі урли).

Виправляємо: переходимо в консоль адмін панелі wordpress в розділ налаштування - постійні посилання і вибираємо поле довільно, де прописуємо наступне:

/% Category% /% postname% /

Ось і все, тепер потрібно дочекатися переиндексации і стаття відкривається за адресою:

// ваш сайт / categor / kak-sdelat-pravilnyj-robots-txt-dlya-wordpress /

Нагадаю раніше було так:

// ваш сайт / optimization /? = 25689

User-agent: Googlebot-Image - робот Google, індексує картинки
User-agent: YandexImages - робот Яндекс, індексує картинки

Увага! Щоб не створювати дублі, читайте статтю цілком і ви дізнаєтеся, як позбутися від дублів сторінок в пошуковій видачі Яндекс і Google.

Урок, як зробити самостійно правильний robots.txt без особливих навичок

Ну а тепер шедевр світового створення файлу robots.txt з нуля, без особливих знань і досвіду.

Для початку беремо і реєструємося по цьому посиланню, як це робити ви вже напевно давно вмієте, так що хто не знає, тому домашнє завдання.

Переходимо на цю сторінку (дивимося скріншот нижче), після реєстрації на сайті вище.

Як ви розумієте ми потрапили на онлайн-генератор файлу robots.txt

Тепер давайте по кожному рядку окремо.

1. Адреса вашого сайту - просто пропишіть свій домен. На скріншоті відзначено червоною рамкою.

2. Адреса XML - карти сайту - прописуємо // ВАШ САЙТ / sitemap.xml (на скріншоті відзначено зеленою рамкою).

Далі нам потрібно заборонити відображення папок і файлів, але питання в тому, які саме варто закривати від індексації?

Задумалися?

Все дуже просто, якщо ви не знаєте, які саме файли і папки потрібно закрити, то нічого ні робіть протягом однієї - трьох тижнів, а потім заходимо в пошукову систему Google або Яндекс і прописуємо наступне:

site: seovpmr.ru/ - відобразить всі проіндексовані сторінки.

site: seovpmr.ru/& - відобразить тільки основну видачу.

Я вам покажу свою статистику, яку мені потрібно терміново виправляти, так як я провів експеримент, але про це не в цій статті.

Дивимося показник Google, вбиваючи в пошук

<Strong> site: ваш сайт / і & nbsp; site: ваш сайт / & </ strong>

Як можна побачити на скріншоті у видачі 273 сторінки, але якщо взяти основну видачу Google, то можна відразу зрозуміти, той факт, що robots.txt заповнений некоректно для Google. Так як сказати Google, що він «не правий»? Ми пам'ятаємо, що правила, які ми вказали відносяться тільки до Яндексу, так як ми звернулися в файлі robots.txt до нього:

User-agent: Yandex

При бажанні можна написати правила і для Google, а також решти пошукових роботів:

User-agent: *

Я не буду писати правила для Google в файл robots.txt, а винесу ці правила в окремий спеціальний файл .htaccess, де і склею ці дублі.

Але якщо вам, наприклад, потрібно приховати певну папку або файл, то допишіть в файл robots.txt:

User-agent: * Disallow: / ім'я вашої папки

Також дуже рекомендую скористатися спеціальним інструментом для створення файлу robots.txt для вашого сайту, в тому числі і joomla і wordpress.

Просто в рядку:

Заборонити всі сторінки, що містять символи:

Вкажіть, що не потрібно індексувати роботу, наприклад, всі сторінки, де є знак питання,
і пишіть «?», без лапок.

А в рядку:

Заборонити конкретні сторінки і папки:

Вкажіть ім'я конкретної папки, вибравши при цьому потрібного пошукового робота Яндекс, Google, інший.

Перевірка файлу robots на коректність заповнення і працездатність

Після чого залишається тільки перевірити файл робот на правильність його заповнення. Тут рекомендую скористатися інструментом Яндекс вебмастер:

1. Переходимо в особистий кабінет вебмастера Яндекс, де ви вже повинні бути зареєстровані. Ваш сайт вже доданий в систему!
2. Переходимо по потрібному вам сайту, так як їх може бути кілька в кабінеті.
3. Відкриваємо сторінку «Налаштування індексування»
4. Переходимо до підрозділу Налаштування індексування - аналіз robots.txt аналіз-robots
5. Тиснемо кнопку «завантажити robots.txt c сайту», як показано на скріншоті
6. Тиснемо кнопку «Список URL» і вписуємо адреси нашого сайту починаючи з головної.
7. 

Як видно на скріншоті у мене три посилання працюють коректно, одна заборонена правилом «Disallow: / *? * », Що нам і треба було довести.

Давайте подивимося статистику Google основний видачі (site: seovpmr.ru/&), після внесення змін до файл robots.txt, так як для google ми нічого не вказували роботу:

Як бачите, в результаті пошуку всього 161 сторінка, замість 273. Як-то на дублі скидається, чи не так? Так от щоб не розтягувати статтю ще на кілометр, раджу підписатися на RSS стрічку і отримати одним з перших статтю, як сьогодні позбутися дублів свого сайту. Хочу, відразу сказати, що від дублів потрібно було позбуватися ще вчора, тоді вас чекає успіх.

Хлопці, а поки чекаєте нову статтю, задавайте питання в коментарях до статті.

відповідь конкурсу

У статті, я давав завдання відповісти на питання, як яндекс буде реагувати на неправильно складений файл robots.txt, ось і настав час розповісти про це.

Перший, хто відповів на це питання правильно це Ігор Чорноморець і його вже чекає приємний грошовий приз від мене, сподіваюся, він ще зі мною зв'яжеться.

А ось, як просто можна перевірити, що Ігор правильно відповів в коментарях на поставлене запитання:

1. Відкриваємо яндекс вебмайстер і переходимо в розділ перевірка файлу robots.txt, де і вставляємо наш некоректний файл.
2. Наступним дією додамо шлях до нашої папці / wp-admin тут:
3. Наступним кроком ми тиснемо кнопку «перевірити».
4. дивимося результат

Як показала практика Ігор мав рацію, що Яндекс віддає пріоритет атрибуту / allow. На сьогодні у мене все, до зустрічі.

відповідь конкурсу

У статті, я давав завдання відповісти на питання, як яндекс буде реагувати на неправильно складений файл robots.txt, ось і настав час розповісти про це.

Перший, хто відповів на це питання правильно це Ігор Чорноморець і його вже чекає приємний грошовий приз від мене, сподіваюся, він ще зі мною зв'яжеться.

А ось, як просто можна перевірити, що Ігор правильно відповів в коментарях на поставлене запитання:

1. Відкриваємо яндекс вебмайстер і переходимо в розділ перевірка файлу robots.txt, де і вставляємо наш некоректний файл.
2. Наступним дією додамо шлях до нашої папці / wp-admin тут:
3. Наступним кроком ми тиснемо кнопку «перевірити».
4. дивимося результат

Як показала практика Ігор мав рацію, що Яндекс віддає пріоритет атрибуту / allow.

На сьогодні у мене все, до зустрічі.