Посібник для початківців до файлу WordPress Robots.txt

  1. Що таке файл WordPress Robots.txt?
  2. Ваш сайт потрібний цей файл?
  3. Чи є файл Robots.txt безглуздий спосіб контролювати, яка сторінка буде індексована?
  4. Як створити файл robots.txt?
  5. Як створити файл robots.txt без плагіна SEO?
  6. Як використовувати файл Robots.txt для блокування доступу до певної сторінки?
  7. Що покласти у файл Robot.txt?
  8. Як створити різні правила для різних ботів?
  9. Що потрібно уникати під час створення файлу Robots.txt
  10. Додавання XML-файлів Sitemaps До файлу Robots.txt
  11. Як дізнатися, що ваш файл robots.txt не впливає на ваш вміст?
  12. Заключні слова
  13. Схожі повідомлення

The robots.txt Файл має дуже важливу роль у загальному SEO веб-сайту. Цей файл знаходиться на вашому сервері і повідомляє пошуковим системам, яку частину сайту слід індексувати та сканувати пошуковими системами. В основному, він містить набір правил для спілкування з пошуковими системами і спрямовує їх, яку частину вашого сайту потрібно індексувати.

Хоча більшість веб-сайтів мають файл robots.txt, не всі веб-майстри знають, наскільки важливим є цей файл і як він може вплинути на ефективність веб-сайту.

txt, не всі веб-майстри знають, наскільки важливим є цей файл і як він може вплинути на ефективність веб-сайту

Ексклюзивний Кодекс купонів WPEngine для відвідувачів AlienWP!
Отримати 5 місяців безкоштовно і 30% знижки на всі плани.
Натисніть код купона, щоб скопіювати та відкрити посилання »

alienwp30

Натисніть кнопку Відкрити / Копіювати

У сьогоднішньому навчальному посібнику ми розповімо вам, що саме таке файл robots.txt і все інше, що вам потрібно знати про цей файл.

Що таке файл WordPress Robots.txt?

Кожен веб-сайт в Інтернеті відвідує певний тип робота, який є своєрідним ботом.

Якщо ви не знаєте, що таке бот, пошукові системи, такі як Google і Bing, є прекрасним прикладом для вас, щоб це зрозуміти.

Тому, коли ці боти повзають по інтернету, вони допомагають пошуковим системам індексувати й оцінювати мільярди веб-сайтів, які існують в Інтернеті.

Таким чином, ці боти дійсно допомагають вашому сайту виявлятися пошуковими системами. Однак це не означає, що ви бажаєте знайти всі ваші сторінки.

Ви б особливо хотіли, щоб ваша інформаційна панель та адміністративна область залишалися прихованими, оскільки це приватна область, з якої ви керуєте переднім кінцем веб-сайту. Іноді ви можете захотіти, щоб весь сайт був прихований від пошукових систем саме тому, що він все ще перебуває в режимі розробки і просто не готовий до роботи.

Robots.txt Команди, зображення з Сторінка веб-роботів

Тут входить файл robots.txt. Цей файл допоможе вам контролювати взаємодію ботів із вашим сайтом. Таким чином, використовуючи цей файл, ви можете або обмежити, або повністю заблокувати його доступ до певної області вашого сайту.

Ваш сайт потрібний цей файл?

Хоча пошукові системи не перестануть сканувати, за відсутності цього файлу завжди рекомендується мати його.

Пошукові системи прийдуть до цього файлу, якщо ви хочете надіслати XML-мапи сайту пошуковим системам, таким як Google. Очевидно, ви можете керувати нею, особливо вказуючи його на інструменти веб-майстра Google.

Створення файлу robot.txt має дві основні переваги для вашого веб-сайту. По-перше, це допомагає пошуковим системам з'ясувати, які сторінки ви хочете сканувати, а ті, які потрібно пропустити. Роблячи це, ви переконайтеся, що пошукові системи орієнтовані на сторінки, які ви хочете показати своїй аудиторії.

По-друге, це допоможе вам оптимізувати використання досліджень, заблокувавши роботів, які зайво витрачають ресурси сервера.

Якщо ваш сайт працює на WordPress, вам зазвичай не потрібно робити додаткових зусиль для створення файлу robots.txt для вашого сайту. Віртуальний файл robots.txt автоматично створюється на вашому сайті WordPress. Але ще краще мати фізичний файл robots.txt.

Чи є файл Robots.txt безглуздий спосіб контролювати, яка сторінка буде індексована?

Ну, як я вже згадував, пошукові системи не перестануть сканувати ваші сторінки за відсутності цього файлу. Створення цього файлу не є надійним способом керування якою сторінкою індексувати пошукові системи.

Якщо ви хочете особливо зупинити пошукові системи для сканування певної сторінки, ви можете використовувати тег meta noindex повністю блокувати їх.

Використовуючи файл robots.txt, ви не повідомляєте пошуковим системам про індексацію. Він лише закликає їх не сканувати ці сторінки. Незважаючи на те, що Google не сканує ці області вашого сайту, він може зробити це, якщо деякі інші сайти посилаються на цю частину вашого сайту.

Цей файл можна переглянути, підключившись до свого сайту, використовуючи FTP-клієнт . Ви також можете зробити це за допомогою файлового менеджера cPanel. Цей файл, як правило, розташований у кореневій теці вашого сайту.

Ви можете відкрити цей файл, використовуючи будь-який текстовий редактор, як Блокнот. Це звичайний файл, який не потребує відкриття спеціального редактора.

Вам не потрібно турбуватися про існування цього файлу на вашому сайті. WordPress автоматично створює файл robot.txt за замовчуванням для вашого веб-сайту.

Якщо ви все ще сумніваєтеся в цьому, є спосіб, який покаже вам, що цей файл існує на вашому сайті. Просто додайте "/robots.txt" до кінця вашого доменного імені. Він покаже вам файл robots.txt вашого веб-сайту.

У нашому випадку "www.alienwp.com/robots.txt" показує файл robots.txt, який ми використовуємо тут.

Ви не можете змінити існуючий файл, який ви будете мати на своєму сайті. Але якщо ви хочете маніпулювати ним, вам доведеться створити фізичний на своєму сервері. Існуючий - це віртуальний, який не приймає ніяких змін.

Як створити файл robots.txt?

Якщо на вашому сайті немає файлу robots.txt, створити його неважко. Ви можете легко зробити це з адміністративної панелі за допомогою плагіна Yoast. Yoast є одним з найбільш дивовижних SEO плагінів, які кожен сайт WordPress повинен використовувати. Якщо ви все ще не використовуєте цей плагін, перейдіть, встановіть його зараз, щоб покращити ваш SEO.

Після встановлення Yoast спочатку потрібно ввімкнути додаткові функції Yoast. Ви можете зробити це, перейшовши на сторінку SEO> Dashboard> Features> Advanced Settings.

Ви можете зробити це, перейшовши на сторінку SEO> Dashboard> Features> Advanced Settings

Тепер перейдіть до SEO> Інструменти >> Редактор файлів.

Тепер перейдіть до SEO> Інструменти >> Редактор файлів

Тут Yoast буде вважати, що у вас немає фізичного файлу Robots.txt і враховуючи, що це дасть вам можливість створити його.

txt і враховуючи, що це дасть вам можливість створити його

Натисніть на опцію створення файлу Robots.txt. Після цього ви зможете редагувати вміст цього файлу з того ж інтерфейсу.

Після цього ви зможете редагувати вміст цього файлу з того ж інтерфейсу

Як створити файл robots.txt без плагіна SEO?

Цей процес був способом створення цього файлу за допомогою плагіна SEO. Але ви можете створити його, навіть якщо ви не використовуєте такий плагін. Це можна зробити через SFTP. Робити це дуже просто.

Для цього спочатку потрібно створити порожній файл. Назвіть його як Robots.txt і збережіть його.

txt і збережіть його

На наступному кроці вам потрібно підключитися до свого сайту через SFTP. У Кінста є путівник як підключитися до SFTP . Після підключення вам доведеться завантажити файл у кореневу папку вашого веб-сайту. Якщо ви хочете внести будь-які зміни в цей файл, ви можете зробити це, відредагувавши його через SFTP і завантаживши його нову версію.

Як використовувати файл Robots.txt для блокування доступу до певної сторінки?

За допомогою файлу robots.txt можна заблокувати певний файл або папку вашого веб-сайту. Припустімо, ви хочете заблокувати Google від сканування всієї теки wp-admin і wp-login.php. Наступна команда допоможе вам зробити це на вашому сайті.

User-agent: * Disallow: / wp-admin / Дозволити: /wp-login.php

Що покласти у файл Robot.txt?

Коли ви створюєте файл robots.txt для вашого веб-сайту, ви зазвичай робите це за допомогою двох основних команд.

  • User-agent - За допомогою користувальницького агента ви можете націлювати на конкретного бота або пошукову систему більш простими словами. Таким чином, ваш користувальницький агент відрізняється для різних пошукових систем. Таким чином, користувальницький агент для Google не буде таким самим для Bing.
  • Заборонити - за допомогою цієї команди ви повідомляєте пошуковим системам не доступ до певних областей вашого веб-сайту. Тому пошукові системи не досягають областей, для яких використовується ця команда.

Іноді ви можете також побачити команду "Дозволити". Це зазвичай використовується в нішевих ситуаціях. Навіть якщо ви не використовуєте цю команду, більша частина вашого сайту потрапляє під цю команду. Це за замовчуванням встановлено на сайті WordPress.

Наведені вище правила є лише основними. Є більше правил, про які потрібно знати. Ось деякі з них.

  • Дозволити - Ця команда явно дозволяє пошуковим системам сканувати через об'єкт на вашому сервері
  • Sitemap - ця команда повідомляє сканерам, де знаходяться мапи сайту вашого сайту
  • Хост - хост визначає бажаний домен для сайту з кількома дзеркалами
  • Crawl-delay - За допомогою цієї команди ви можете встановити часові інтервали пошукових систем, які повинні очікувати між запитами до вашого сервера

Як створити різні правила для різних ботів?

Файл robots.txt має свій власний синтаксис для визначення правил, які широко відомі як директиви. Як ми вже згадували раніше, різні боти мають різну команду user-agent. Так що, якщо ви хочете встановити файл Robots.txt для різних ботів?

Ну, в цьому випадку вам доведеться додати набір правил під декларацію user-agent для кожного бота.

У наступній команді ми покажемо вам, як зробити одне правило для всіх ботів, а інше - спеціально для Bing.

User-agent: * Disallow: / wp-admin / Користувач-агент: Bingbot Disallow: /

Додавши вищезазначену команду, ви зможете блокувати всі боти від доступу до wp-адміни вашого сайту. Однак пошукова система Bing буде заблокована для доступу до всього веб-сайту.

Що потрібно уникати під час створення файлу Robots.txt

є певні речі, яких слід уникати під час створення файлу Robots.txt. Перша і найважливіша помилка, допущена багатьма недосвідченими веб-власниками, полягає в тому, щоб забезпечити простір на початку команди.

Друге, що потрібно мати на увазі, це те, що ви не можете і не повинні змінювати правила команд. Третя річ, яку багато людей ігнорують, звертаючи увагу, це правильне використання верхнього та нижнього регістру під час написання команди.

Переконайтеся, що ви двічі перевіряєте випадок ваших команд. Ви не можете написати користувача-агента або користувача-агента, де він дійсно повинен бути користувальницьким агентом. Я сподіваюся, що ви зрозуміли різницю в трьох термінах.

Додавання XML-файлів Sitemaps До файлу Robots.txt

Якщо ваш сайт вже використовує плагін SEO, як Yoast, він автоматично додасть команди, пов'язані з XML-картами сайту вашого сайту, у файл robots.txt.

Але якщо ваш плагін не вдається додати ці команди, вам доведеться робити це вручну самостійно. Ваш плагін покаже вам посилання на ваші XML-мапи сайту. Вам доведеться додати його до файлу robots.txt самостійно.

Як дізнатися, що ваш файл robots.txt не впливає на ваш вміст?

Іноді ви можете перевірити, чи впливає на ваш вміст файл robots.txt. Щоб перевірити та переконатися, що жоден вміст не впливає, ви можете скористатися інструментом "Веб-майстер", який називається "Fetch As Bot Tool". Цей інструмент дозволить вам перевірити, чи ваш файл robots.txt отримує доступ до вашого вмісту.

Для цього потрібно спочатку увійти до інструмента Google Webmaster. Тепер перейдіть до діагностики та вибірки як Google Bot. Там ви можете розмістити вміст вашого сайту і подивитися, чи є проблеми з доступом до нього.

Заключні слова

Як вже було сказано, більшість сайтів WordPress за замовчуванням мають файл robots.txt. Але за допомогою файлу robots.txt можна контролювати спосіб взаємодії конкретного бота або пошукової системи з певною частиною вашого веб-сайту.

Важливо знати, що команда disallow не є такою, як тег noindex. Пошукові системи можуть бути заблоковані за допомогою файлу robots.txt, але він не може завадити їх індексації вашого сайту. Можна керувати способами взаємодії пошукових систем з вашим сайтом, додаючи спеціальні правила.

Але добре, що ви знаєте, яку частину вашого сайту потрібно сканувати, а яку частину заборонити доступ. Оскільки Google взагалі дивиться на ваш сайт в цілому. Тому, якщо ви використовуєте ці файли, щоб заблокувати важливу частину, про яку потрібно знати Google, ви можете просто зіткнутися з деякими серйозними проблемами.

Наприклад, якщо ви невідомо використовуєте файл robots.txt, щоб заблокувати компонент стилізації. У такому випадку Google вважатиме ваш сайт більш якісним і може навіть зашкодити вам.

В основному вміст, який ви хочете помістити у файл robots.txt, залежить від вашого веб-сайту. Це можуть бути ваші партнерські посилання, ваша область приладової панелі або будь-яка інша окрема область, яку, на вашу думку, не повинні мати доступ до роботів. Ви також можете зробити це для ваших плагінів і тем.

Ми сподіваємося, що цей посібник допоможе вам. Ви можете залишити нам коментар нижче, якщо у вас виникнуть додаткові запити. Ми хотіли б повернутися до вас.

Повідомлень: 4,004

Схожі повідомлення

Інформація про автора

Кавері - це вільний письменник, який любить писати про WordPress та цифровий маркетинг.

Txt?
Ваш сайт потрібний цей файл?
Txt безглуздий спосіб контролювати, яка сторінка буде індексована?
Txt?
Txt без плагіна SEO?
Txt для блокування доступу до певної сторінки?
Txt?
Як створити різні правила для різних ботів?
Txt не впливає на ваш вміст?
Txt?