1. Что такое файл robots.txt?
2. Как найти файл robots.txt сайта
3. Что искать в файле robots.txt
4. Что обычно содержит файл robots.txt
5. Как проверить файл robots.txt
6. Автор: Адриен Ван Брюнессен

Если контент на вашем сайте неправильно понимается или игнорируется веб-роботами, он не будет ранжироваться в поисковой выдаче. К сожалению, вы не можете просто обвинить ботов в грубости или глупости. Вы должны сделать что-то, чтобы это исправить.

Не знаете, как проверить файл robots.txt? У нас есть ты.

Выполните следующие простые шаги для проверки файла robots.txt, чтобы убедиться, что важный контент на вашем сайте правильно сканируется, индексируется и используется * веб-ботами.
* Веб-боты, о которых идет речь, могут или не могут обладать разумными способностями наслаждаться вашим контентом.

Что такое файл robots.txt?

Ваш файл robots.txt инструктирует веб-роботов или поисковых роботов о том, как сканировать ваши страницы и какой контент индексировать в результатах поиска.

Типичный файл robots.txt выглядит примерно так:

Или, если вы такой крутой кот, как Тейлор Свифт, ваш файл robots.txt может выглядеть так:

Просмотр файла robots.txt крайне важен для обеспечения того, чтобы важная информация на вашем сайте не игнорировалась веб-роботами. Если ваш файл robots.txt говорит ботам заблокировать страницу из поисковой выдачи, пользователи поисковой системы не смогут ее найти.

Как найти файл robots.txt сайта

• Поместите путь /robots.txt непосредственно после корневого домена.
• Пример : файл robots.txt на example.com можно найти в примере. ком / robots.txt.

А другие роботы просто хотят сканировать ваш сайт. Я полагаю, что для создания мира нужны все виды.

Что искать в файле robots.txt

• Страницы или ресурсы, которые в данный момент заблокированы (оператор = Disallow ) или не заблокированы роботами (проверьте, что ничего не заблокировано, что не должно быть, и наоборот)
• К каким роботам применяются эти правила (оператор = User-agent )

Что обычно содержит файл robots.txt

• Агенты пользователей : это имя любых роботов, на которые есть ссылки в файле robots.txt.

Когда вы разрешаете или запрещаете сканировать страницы, вы, как правило, хотите сделать это для всех ботов. В файле robots.txt «все боты» обозначены звездочкой (*). Поэтому, чтобы применить блоки ко всем ботам, начните цепочку команд с user-agent: * .

Если у вас есть вендетта против конкретного бота (возможно, это было плохо для вас в старшей школе), вы можете начать свою цепочку команд с помощью user-agent: имени этого конкретного бота . Но не так уж много ситуаций, когда вам нужно это сделать.

• Разрешить / запретить команды : Они сообщают ботам, какие страницы / папки они должны или не должны сканировать. Вы можете применить эти команды к определенной странице (например, / blog / jan-2017 / amazing-fake-blog-post /), папке (например, / blog /) или даже ко всему сайту (просто используйте '/' , хотя вы, вероятно , не хотите этого делать!).

Быстрый совет: Хотите знать, почему вам нужно «разрешить» страницу, когда все страницы по умолчанию сканируются? Ну, у вас может быть целая папка, которую вы хотите заблокировать, но одна конкретная страница в этой папке, которую вы хотите сканировать ботам. Использование команды «allow» означает, что вы можете переопределить «disallow» для той особой страницы, которую вы по какой-то причине так любите.

Еще один совет: вы можете запретить сканирование всей темы, используя звездочку (не слишком талантливый знак препинания, не так ли?). Например, команда disallow: * seo скажет ботам игнорировать любой URL, содержащий термин «seo». Это может быть очень удобно, если у вас есть много тематических страниц, которые нужно заблокировать, но не хватает времени, чтобы отследить их одну за другой.

• Карта сайта : в конце файла robots.txt вы должны сообщить ботам, где найти карту сайта вашего сайта (например, http://www.example.com/sitemap.xml ).

Вот пример, который мы увеличили и с любовью проиллюстрировали в Paint:

Как проверить файл robots.txt

Некоторые файлы robots.txt достаточно просты для ручной проверки, которая выполняется путем просмотра файла для выявления возможных проблем.

Для более длинного и сложного файла robots.txt можно использовать инструмент тестирования. Несколько наших любимых инструментов для этого включают в себя:

• Консоль поиска Google Robots.txt Checker
• Технический инструмент для тестирования SEO Robots.txt.

В GSC нажмите «Сканирование», а затем «robots.txt Tester». Проверьте, есть ли какие-либо ошибки или предупреждения.

Хотя мысль о взятии кластера роботов-пауков может показаться пугающей, проверка файла robots.txt на самом деле довольно проста и может сильно повлиять на ваши шансы на ранжирование, если в настоящее время у вас есть некоторые запреты, которые вы не делаете. на самом деле хочу на месте.

Взгляните на нашу другую быстрое SEO выигрывает повысить ваш сайт еще дальше.

Автор: Адриен Ван Брюнессен

Адриен - официальный контент-менеджер поисковой фабрики | iProspect и неофициальный кинолог. Ее интересы включают чтение классических цитат Симпсонов и прослушивание рока 70-х, и она никогда не говорила «бокал красного».

Похожие

Комментарии