1. Але чому Robots.txt так важливо?
2. Що робить Better robots.txt?
3. Як додати файл Sitemap у файл robots.txt може генерувати різницю?
4. Тепер, коли ви знаєте більше, як виглядає ваш файл robots.txt?

Якщо ви є користувачем WordPress, як компанія або агентство, ви, звичайно, знаєте Yoast SEO, можливо, один з кращих плагінів, доступних на WordPress для оптимізації вашого вмісту та продуктивності в пошукових системах.

Ось чому, при розробці плагіна Better Robots.txt, ми, природно, думали, що ми зв'язалися з найкращими, щоб запропонувати… найкраще з оптимізації. Оскільки це все, оптимізуйте свій веб-сайт, щоб отримати максимальну ефективність свого вмісту.

Ти знав? Yoast SEO дозволяє конфігурувати багато елементів у вашому сайті, або дані META, всі мапи сайту, пов'язані з вашими сторінками, статті, продукти, ... Навіть видання вашого файлу robots.txt і .htaccess (Advanced Configuration). Але на сьогоднішній день, досі не було вирішення для об'єднання «Sitemap» і «Robots.txt» з управлінням інструкціями індексування для пошукових систем. І це саме те, що Краще Robots.txt пропонує зі співучастю YOAST через індекс мапи сайту.

Але чому Robots.txt так важливо?

Нагадаємо, в 2006 році Yahoo, Microsoft і Google об'єднали зусилля для підтримки і розгортання стандартного протоколу подання сторінок сайту за допомогою Sitemaps. З тих пір було застосовано декілька методів, за допомогою яких веб-дизайнери (агентство, розробник) можуть релігійно подавати свої різні мапи сайту за допомогою таких інструментів, як Google для веб-майстрів (Google Search Console), Bing для веб-майстрів, Yahoo для інших пошукових систем, таких як DuckDuckGoGo (наприклад), вони використовують результати безпосередньо з Bing / Yahoo.

Приблизно через шість місяців, у квітні 2007 року, Yahoo, Microsoft і Google (як і раніше) приєдналися до системи пошуку сайту за допомогою файлу robots.txt, який називався "автовідкриття мапи сайту". Це означало, що навіть якщо ви не подали файл мапи сайту окремим пошуковим системам (через традиційний список), пошукові системи могли б знайти розташування файлу sitemap з файлу robots.txt вашого сайту (враховуючи, що його було прочитано за умовчанням) пошуковими системами).

(ПРИМІТКА: подання мапи сайту все ще здійснюється на більшості пошукових систем, які дозволяють подання URL-адреси)

Отже, з цього моменту файл robots.txt став найважливішим інструментом (у контексті спілкування з пошуковими системами), оскільки він дозволив, крім будь-якої форми лістингу, відкрити шлях для роботи індексації пошукових систем, що дозволяє розвідку та індексування веб-сайту, з яким він пов'язаний.

Отже, важливість Robots.txt та його оптимізація!

Що робить Better robots.txt?

Краще Robots.txt , окрім інших функцій ( див. опис ) дозволяє, по-перше, виявити, чи фактично встановлено SEO на веб-сайті (що ми рекомендуємо), і якщо функція генерації Sitemap увімкнена, а потім автоматично додати URL-адресу індексу sitemap для YOAST (що містить усі мапи сайту), , у файлі robots.txt. Звичайно, якщо ви використовуєте інший плагін SEO (ніж YOAST), то цілком можна вручну додати файли Sitemap, але ми вважали, що, враховуючи успіх (до кількох мільйонів завантажень YOAST), більш доцільно зв'язуватися з відомим посилання на всі.

Як додати файл Sitemap у файл robots.txt може генерувати різницю?

У найпростішій формі карта сайту - це XML-файл (.xml), в якому перелічено URL-адреси сайту шляхом інтеграції додаткових метаданих для кожної URL-адреси (дата останнього оновлення, частота зміни, яка зазвичай змінюється, і важливість щодо інших URL-адрес таким чином, щоб пошукові системи могли більш розумно досліджувати сайт. Насправді, отже, Sitemap, загалом, містить дуже цінну інформацію для сканерів, це дати останніх змін. Враховуючи те, що файл robots.txt є першим файлом, який читається під час завантаження вашого веб-сайту у веб-переглядачі, скористайтеся цією можливістю, щоб запросити сканерів переглядати ваші мапи сайту (і, таким чином, ідентифікувати нові сторінки або модифіковані сторінки). Останній вміст буде фактично індексовано та відображено в результатах пошуку.

Тепер, коли ви знаєте більше, як виглядає ваш файл robots.txt?

Щоб визначити вміст файлу robots.txt (а також переконатися, що він існує), просто скопіюйте та вставте URL-адресу свого веб-сайту (з http: // або https: //) у поле нижче:

Для порівняння, ось наші: https://better-robots.com/robots.txt. Ви бачите різницю?

Хочете знати, чи ваше агентство знає про це? Перевірте свій веб-сайт за допомогою цього інструмента. Якщо ви бачите, що це не так, наш плагін дозволить вам вирішити цю проблему!