1. 1. Основные основы сканирования и индексации
2. наконечник
3. наконечник
4. 2. Используйте обход бюджета
5. 3. Не заставляйте бота делать обход
6. 5. Мониторинг: улучшение

Сканирование и индексация - вот две основные задачи бота Google. Веб-мастера могут обработать индексацию своих сайтов, сначала сделав несколько модификаций. Это заставляет бота тщательно выполнять свою работу и дает веб-сайту более высокий рейтинг.

Следующие пять шагов помогут вам оптимизировать сканирование вашего сайта и проиндексировать его, чтобы ваш сайт было легче найти в Интернете.

1. Основные основы сканирования и индексации

Robots.txt - это простой файл, который дает боту Google конкретные инструкции по сканированию веб-сайта. Например, исключения для определенных каталогов. Их часто называют областями, чувствительными к данным, такими как учетные записи клиентов и учетные записи, которые не следует индексировать.

При создании файла robots.txt вы должны убедиться, что бот имеет доступ ко всем ресурсам, необходимым для правильного отображения вашего сайта. Например, вы не можете блокировать файлы CSS или JavaScript в файле robots.txt.

Если вы хотите удалить определенные каталоги из сканирования, используйте следующий код robots.txt:

Пользователь-агент: *

Disallow: / directory / *

Звездочка (*) является заполнителем (или называется подстановочным знаком) и представляет весь другой контент, связанный с этим каталогом.

После создания файла robots.txt его необходимо сохранить в корневом каталоге сайта:

www.mywebsite.com/robots/txt

наконечник

Используйте Google Search Console, чтобы проверить ваш robots.txt. Пожалуйста, помните, что вам нужно сначала зарегистрировать веб-сайт на консоли поиска.

Помимо robots.txt, существуют другие файлы, которые играют важную роль в индексации: карта сайта XML. Этот файл можно прочитать на машине, перечислив все URL на вашем сайте. Эти структурированные данные сделаны в текстовом виде и хранятся в формате XML. Этот файл также может отправлять информацию, отличную от URL, например, когда в последний раз URL обновлялся.

После создания файла XML добавьте его в Google Search Console, чтобы сообщить Google URL-адрес. Однако XML-карта сайта рекомендует только URL-адреса для Google и не дает никаких инструкций для бота, как это делается в файле robots.txt. Поэтому Google будет игнорировать содержимое файла при индексации сайта.

Часто карта сайта XML работает плохо, хотя на самом деле она очень полезна при индексации новых и крупных веб-сайтов, поскольку файлы информируют Google обо всех существующих подстраницах.

Простое расположение XML-карты сайта без каких-либо дополнительных атрибутов выглядит следующим образом:

Есть много способов создать карту сайта. Некоторые CMS даже используют инструменты для автоматического создания карты сайта. Вы также можете использовать любые бесплатные программы, доступные онлайн.

После того, как карта сайта готова, сохраните ее в корневом каталоге вашего сайта:

www.mywebsite.com/sitemap.xml

Сожмите карту сайта или сохраните ее, чтобы она не занимала место на сервере.

Google рекомендует разделить карту сайта, если у вас более 50 000 URL. В этом случае вам нужно использовать индекс и создать «карту сайта из карты сайта». Индекс карты сайта должен содержать все ссылки, указывающие на другую карту сайта XML. Более или менее выглядит так:

Затем вы загружаете файл в консоль поиска, чтобы позволить Google перерабатывать подстраницы.

Если у вас на сайте много видео и изображений, вы должны проверить индексацию для универсального поиска, создав отдельную карту сайта для изображений и видео. Структура XML-карты сайта для медиа-файлов аналогична обычной карте сайта.

наконечник

Во многих случаях вы хотите, чтобы ваш веб-сайт повторно сканировался как можно скорее после внесения некоторых изменений. Консоль поиска Google помогает во многих отношениях. Войдите на соответствующий веб-сайт и немедленно отправьте его в индекс Google. Эта функция ограничена 500 URL в месяц для каждого веб-сайта.

2. Используйте обход бюджета

Боты Google - это компьютерные программы, разработанные для отслеживания ссылок, сканирования URL-адресов, а затем для интерпретации, группировки и индексации содержимого. Для этого боты имеют ограниченный бюджет сканирования. Количество просканированных страниц и индекс зависят от рейтинга страницы соответствующего веб-сайта, а также от того, насколько легко бот может перейти по ссылке на веб-сайте.

Структурно оптимизированный веб-сайт облегчит работу ботов. В частности, плоские иерархии помогают убедить ботов в доступе ко всем доступным веб-страницам. Поскольку пользователю не нравится нажимать более четырех раз, чтобы получить доступ к намеченному контенту, бот Google часто не может вводить данные, которые являются широкими и глубокими, если путь очень сложный.

На сканирование также может повлиять использование внутренней ссылки. Независимо от меню навигации, вы можете дать подсказку боту на другой URL, используя глубокую ссылку в тексте. Таким образом, ссылки, которые ведут на важный контент с вашей домашней страницы, будут сканироваться быстрее. Использование якорных тегов для объяснения целевой ссылки предоставит боту дополнительную информацию о том, что ожидается от ссылки и как классифицировать контент.

Чтобы боты могли сканировать ваш контент быстрее, опишите ваш заголовок, используя h-теги. Здесь вы должны структурировать теги последовательно. Это означает, что вы используете теги h1 для воспроизведения заголовка, а h2, h3 и т. Д. Для подзаголовков.

Многие CMS и веб-дизайнеры часто используют h-теги для форматирования размера заголовков своих страниц, потому что это проще. Это может запутать робота Google во время процесса сканирования. Вы должны использовать CSS, чтобы определить размер шрифта для содержимого.

3. Не заставляйте бота делать обход

Сиротские страницы и 404 ошибки истощают ненужные бюджеты сканирования.

Каждый бот Google находит страницу с ошибкой, он не может перейти по другим ссылкам и должен вернуться и начать заново с другой точки. Браузеры или сканеры часто не могут найти URL-адреса после того, как операторы веб-сайтов удаляют продукты из своего интернет-магазина или после изменения их URL. В некоторых случаях сервер возвращает код ошибки 404 (не найден). Тем не менее, большое количество ошибок стоит большую часть стоимости бота. Веб-мастера должны следить за тем, чтобы они исправляли ошибки каждый день (см. Также № 5 - «Мониторинг»).

Сиротские страницы - это страницы, которые не имеют внутренних входящих ссылок, но могут иметь внешние ссылки. Бот не может сканировать несколько страниц или вынужден прекратить сканирование. Подобно ошибкам 404, вы также должны избегать сиротских страниц. Эти страницы часто являются результатом ошибок в веб-дизайне или неправильного синтаксиса внутренних ссылок.

4. Избегайте дублирования контента

Согласно Google, дублирующийся контент не влияет на данный веб-сайт. Однако это не означает, что на сайте остается дублированный контент. Если SEO или веб-мастер покинут его, поисковая система определит, какой контент индексируется, а какой URL игнорируется, исходя из высокого уровня сходства. Обратите внимание и контролируйте, как Google обрабатывает контент, используя следующие три измерения:

• 301 перенаправления: дублирование контента может произойти очень быстро, особенно если версия с www. и без www. индексируются. То же самое относится и к безопасным соединениям через https. Чтобы избежать дублирования контента, вы должны использовать постоянное перенаправление (301), которое приводит к желаемой версии веб-страницы. Для этого необходимо изменить файл .htaccess или добавить предпочитаемую версию в Google Search Console.
• Канонические теги: в частности, интернет-магазины рискуют легко увеличить дублирующийся контент, поскольку товар можно найти по разным URL-адресам. Решение заключается в использовании канонических тегов. Этот тег сообщает боту Google об оригинальном URL, который необходимо проиндексировать. Вы должны убедиться, что все URL, которые не должны быть проиндексированы, имеют теги, которые указывают на канонический URL в вашем исходном коде. Есть несколько инструментов, которые можно использовать для взлома ваших канонических тегов. Этот инструмент помогает вам идентифицировать страницы, которые не имеют канонических тегов или имеют неправильные канонические теги. В идеале каждая страница должна иметь канонические теги. Оригинальные / уникальные страницы должны иметь собственные ссылки на канонические теги.
• rel = alternate: этот тег будет очень полезен, если веб-сайт доступен на разных языках или если у вас есть мобильная и настольная версия сайта. Этот тег сообщает боту Google, что это альтернативный URL с тем же содержанием.

5. Мониторинг: улучшение

Регулярная проверка данных в консоли поиска Google - отличный способ узнать, как Google сканирует и индексирует ваш сайт. Консоль поиска содержит множество советов, которые помогут вам оптимизировать сканирование вашего веб-сайта.

В разделе «Ошибки сканирования» вы найдете полный список ошибок 404 и так называемых «мягких ошибок 404». Программные ошибки 404 описывают страницы, которые отображаются неправильно и какой сервер не возвращает код ошибки.

Здесь статистический обход отображается очень четко. Данные показывают, как часто робот Google посещает веб-сайт, а также сколько данных загружается во время процесса. Внезапное падение стоимости может указывать на ошибку на веб-сайте.

В дополнение к «Получить как Google» и «robots.txt Tester», инструменты «Параметр URL» могут быть очень полезными. В этом случае веб-мастера и SEO-игроки могут определить, как боты Google должны обрабатывать определенные параметры URL. Например, определение значимости определенных параметров для интерпретации URL-адресов помогает оптимизировать бюджет сканирования бота Google.

заключение

Параметры, описанные в этой статье, помогут вам оптимизировать сканирование и индексацию ботов Google вашим сайтом. В результате вышеуказанные усилия облегчают поиск вашего сайта в Google. Таким образом, выбор, приведенный выше, определяет основу для успеха веб-сайта, поэтому нет другого способа получить лучший рейтинг.

источник: Журнал поисковой системы

Похожие

Комментарии