2. Пять принципов, как оптимизировать Googlebot для SEO
3. 1. Остерегайтесь элементов, которые мы включаем на сайт
4. 2. Остерегайтесь файла robots.txt
5. 3. Создать свежий контент
6. 4. Используйте внутреннюю ссылку
7. 5. Создайте sitemap.xml
8. Анализ производительности робота Googlebot на сайте
9. Ошибки отслеживания
10. Отслеживание статистики
11. Исследуйте как Google
12. Robots.txt тестер
13. Sitemaps
14. Параметры URL
15. выводы
16. Другие статьи блога 🙂

Многие люди знают основы SEO позиционирование но мало кто знает о важности оптимизации робота Google, то есть о том, как оптимизировать робот Google. Это добавляет еще один уровень глубины.

В то время как SEO позиционирование ориентировано на процесс оптимизации пользовательских запросов, оптимизация Googlebot основное внимание уделяется тому, как сканер Google получает доступ к веб-сайту. Предпосылка, которую мы должны принять во внимание, состоит в том, что «прослеживаемость» сайта - это первый шаг, основной и фундаментальный, для обеспечения его «поиска».

Что такое Googlebot?

Googlebot - это робот Google, который сканирует сеть и создает индекс. Он также известен как паук. Робот отслеживает каждую из страниц, которым разрешен доступ, и добавляет их в индекс, где они могут быть доступны и возвращены в результате поисковых запросов пользователей.

Понимание того, как робот отслеживает веб-сайт, крайне важно для понимания того, как оптимизировать робота Google для улучшения SEO. Имейте в виду:

1. Googlebot тратит больше времени на сканирование сайтов со значительным PageRank. Время, которое робот Googlebot отдает сайту, называется "бюджетом сканирования". Чем больше PageRank сайта, тем больше бюджет отслеживания.
2. Googlebot постоянно отслеживает сайты. В Статья о гугле Как уже упоминалось, в нем говорится: «Робот Google обычно не получает доступ к большинству сайтов чаще, чем раз в несколько секунд». В мире SEO-позиционирования существует множество дискуссий о «скорости отслеживания» и о том, как заставить Google пересмотреть сайт для оптимального позиционирования. Но не надо путать себя: «показатель отслеживания» Google относится к скорость запросов робота Google , а не повторение сканирования сайта .
3. Сначала робот Googlebot обращается к файлу robots.txt веб-сайта, чтобы найти правила отслеживания. Все неавторизованные страницы не будут просканированы или проиндексированы.
4. Googlebot использует файл sitemap.xml для обнаружения всех областей сайта, которые необходимо сканировать и индексировать. Поскольку существует много способов создания и организации веб-сайта, робот Googlebot не может автоматически сканировать каждую страницу или раздел. Карта сайта построена с точностью Может быть полезно уведомить Google о: динамическом контенте, странице с низким рейтингом, огромных файлах контента с небольшими внутренними ссылками, видео-метаданными, изображениями, мобильными устройствами и новостями.

Пять принципов, как оптимизировать Googlebot для SEO

Оптимизация робота Google происходит до позиционирования SEO: сайт должен быть проиндексирован легко и точно. Давайте посмотрим, как это сделать:

1. Остерегайтесь элементов, которые мы включаем на сайт

Робот Googlebot не отслеживает JavaScript, фреймы, DHTML, Flash и Ajax, а также HTML.

Лучше не использовать Ajax / JavaScript для важных частей сайта.

Если есть элементы сайта, которые мы не видим в текстовом браузере, у пауков могут возникнуть проблемы с отслеживанием.

2. Остерегайтесь файла robots.txt

Файл robots.txt служит директивой для робота Googlebot. Так как у Googlebot есть «бюджет отслеживания» для всех страниц сайта, мы должны сообщить вам, куда тратить, а где нет, этот «бюджет».

Чем меньше времени тратит Google на ненужные разделы сайта, тем больше он может отслеживать и возвращать важные разделы.

Мы не должны блокировать страницы или разделы сайта, которые не должны быть заблокированы. Режим Googlebot по умолчанию сканирует и индексирует все. Robots.txt сообщает Googlebot, куда он не должен идти , Мы должны позволить сканеру потеряться во всех вещах, которые мы хотим включить в индекс Google.

3. Создать свежий контент

У контента, который сканируется чаще, вероятно, будет больше трафика. Хотя PageRank, вероятно, является определяющим фактором частоты отслеживания, вполне вероятно, что в будущем он утратит значение в отношении фактор свежести страниц аналогичного PageRank.

Для оптимизации Googlebot важно, чтобы страницы под PageRank отслеживались как можно чаще. Как писал А.Дж. Кон, « Вы выиграете, если ваши страницы PageRank сканируются чаще, чем страницы ваших конкурентов. ».

4. Используйте внутреннюю ссылку

Внутренняя ссылка похожа на карту, которая сообщает роботу Google, как отслеживать и сканировать веб-сайт. Чем более интегрирована и тесно связана внутренняя структура ссылок, тем лучше робот Google будет сканировать.

Точный способ анализа внутренней структуры ссылок в Google Search Console. Если страницы в начале списка - это страницы контента, которые мы хотим отображать в поисковой выдаче, то у нас все хорошо. Наиболее связанные страницы должны быть самыми важными.

5. Создайте sitemap.xml

Карта сайта - это четкое сообщение, чтобы сообщить роботу Google, как получить доступ к сайту. Как следует из названия, он служит картой, которой следует робот Google. Не все сайты могут быть легко отслежены. Могут быть факторы, которые «запутывают» Googlebot. Карта сайта гарантирует, что все области, которые должны быть отслежены.

Анализ производительности робота Googlebot на сайте

Мы можем сделать это и получить очень полезную информацию в консоли поиска Google, в разделе отслеживания.

Ошибки отслеживания

Проверка ошибок сканирования - это первый шаг к оптимизации робота Googlebot. Здесь мы можем найти страницы, которые робот должен был найти на основе последнего индекса.

Некоторые сайты имеют ошибки, но их мало или они незначительны и не влияют на трафик или позиционирование. Однако со временем они могут быть связаны с уменьшением трафика.

Отслеживание статистики

Google сообщает нам, сколько страниц и килобайт анализирует робот каждый день. У активной маркетинговой кампании контента, которая регулярно выпускает новый контент, будет бычий график.

Исследуйте как Google

Это позволяет вам узнать, как Google обрабатывает страницы сайта.

Robots.txt тестер

Это позволяет редактировать файл robots.txt и проверять, нет ли в нем ошибок.

Sitemaps

Это позволяет вам добавить карту сайта, протестировать карту сайта или определить тип контента, который индексируется в карте сайта.

Параметры URL

В зависимости от количества дублирующегося контента, вызванного динамическими URL-адресами, у нас могут возникнуть проблемы с индексами Параметры URL , Раздел «Параметры URL» позволяет нам настроить способ, с помощью которого Google сканирует и индексирует сайт с параметрами URL. По умолчанию все страницы сканируются в соответствии с решением робота Googlebot .

выводы

Если мы хотим улучшить позиционирование веб-сайта, мы должны потратить время и усилия на то, чтобы оптимизировать робота Googlebot для него. Это то, что мы не можем игнорировать, если мы не хотим терять трафик. Имейте в виду, что перед тем, как сайт будет проиндексирован и возвращен в результате в результатах поисковой выдачи, его необходимо сначала отследить 😉.

Эта статья является бесплатной адаптацией опубликованной в Kissmetrics Нила Пателя: Помимо SEO: оптимизация Googlebot

Как оптимизировать Googlebot для SEO в последний раз: Рене Родригес

Другие статьи блога 🙂

резюме

Название статьи

Как оптимизировать Googlebot для SEO

описание

Узнайте здесь, как оптимизировать Googlebot для SEO: прежде чем сайт будет проиндексирован и может появиться в поисковой выдаче, его необходимо сначала отследить!

автор

Рене Родригес

редактор

Рене Родригес

логотип

Похожие

Комментарии