1. Налаштовуємо програму для подальшої роботи.
2. Парсинг об'ємних сайтів
3. Парсинг окремих сторінок
4. Парсинг сайту, який знаходиться в розробці
5. Швидкість проведення аналізу сайту
6. Internal
7. аналіз перелинковки
8. External
9. Response Codes
10. URL
11. Page Title
12. Description
13. Keywords
14. Н1
15. Н2
16. Images
17. Directives
18. аналіз sitemap.xml

технічний аудит сайту використовується для того щоб виявити його слабкі місця і виправити їх. Для проведення такого роду аналізу використовують спеціальні програми і сервіси. Ми розповімо в цій статті як провести на сайті аудит з технічного боку, використовуючи для цього спеціальну програму - Screaming Frog.

Налаштовуємо програму для подальшої роботи.

Можна, звичайно, проводити аналіз і зі стандартно налаштованої програмою, але ми радимо внести в настройки деякі зміни. Для початку в конфігураціях перейдіть у вкладку advanced і поставте позначки на пунктах respecrt noindex і respect canonical. Так ви зможете аналізувати сайт таким, як він буде індексуватися.

Парсинг об'ємних сайтів

Якщо на сайті, який ви збираєтеся аналізувати, досить багато сторінок, по парсинг може тривати навіть кілька днів. Найчастіше помилки в кожному розділі сайту носять однаковий характер, тому глибину парсинга можна поставити на 4-5 рівні. Щоб це зробити у вкладці Limits того ж меню конфігурацій виставляємо показник Limit Search Depth.
Також для об'ємних сайтів краще відключити функцію зупинки парсинга в разі використання великого обсягу пам'яті. Для цього у вкладці advanced треба прибрати позначку навпроти Pause On High Memory Usage.

Парсинг окремих сторінок

Для того щоб провести аналіз окремих розділів або сторінок сайту в меню конфігурацій include задати шаблони сторінок і розділів. Таким же чином можна виключити з парсинга сторінки і розділи.
Так ви не тільки прискорити процес, але і зменшите навантаження на сайт.

Парсинг сайту, який знаходиться в розробці

Ще до запуску сайту і навіть до викочування його на основний домен треба перевірити його і виправити помилки. Для цього аналіз сайту проводиться коли він знаходиться ще на сервері розробника. Тут вам знадобляться дані для аутентифікації. Якщо у вас є логін і пароль - входите і аналізуєте без проблем. Також, так як сайт на цій стадії закритий для індексації, необхідно включити таку опцію, як ignore robots.txt. Інакше парсинг не почнеться, адже програма працює з підтримкою цього файлу.
Таким чином, ви зможете виправити деякі помилки ще до завершення розробки. Але після відкриття сайту для індексації і настройки інструкцій robots.txt треба буде провести парсинг повторно.

Швидкість проведення аналізу сайту

Швидкість парсинга сторінок сайту важливо обмежувати, так як не всі сайти можуть витримати велику кількість перевірок / звернень в секунду. Тому в налаштуваннях configuration - speed треба поставити позначку навпроти Limit URS / s і вибрати кількість звернень в секунду. Встановіть показник на 10. Після початку парсинга зверніть увагу на те, як сайт справляється з такою кількістю звернень і при потребі зменшіть його.

Щоб ваш IP не заблокований при парсінгу використовуйте proxy-сервер. Для цього просто поставте позначку в меню proxy configuration навпаки user proxy.

Пошук списку сторінок можна налаштувати за даними, які містяться або не міститися на сторінках. Для цього вводимо потрібні нам параметри в Custom Filter Configuration.

Далі всі встановлені настройки необхідно зберегти. Бажано зробити їх настройками за замовчуванням, щоб не налаштовувати заново кожен раз.

Internal

Пошук і виправлення порожніх сторінок

У вкладці Internal ми можемо провести аналіз всіх сторінок сайту і зрозуміти, які з них потрібно наповнити контентом, а які необхідно буде закрити від індексації. Щоб знайти такі сторінки треба налаштувати фільтр на html і експортувати список в Exel. В отриманому файлі сортуємо список по зростанню показника Word Count. Для зручності можна перенести цю колонку ближче до списку посилань на сторінки. Нам треба відфільтрувати сторінки з відповіддю сервера 200, це можна зробити в колонці Status Code (виключаємо 301 і 302). В результаті у верхній частині списку ми побачимо сторінки, на яких значно менше контенту, ніж на інших. Найчастіше це такі сторінки авторизації, корзина і т.п. Їх можна виключити з індексації. Для цього треба додати інструкцію disallow для кожної такої сторінки в файл robots.txt.
Далі збираємо в окремий список сторінки, на яких немає контенту. В результаті отримаємо сторінки двох видів - відсутній товар і відсутній текст. Отже, їх треба або заповнити, або закрити.

аналіз перелинковки

Такий аналіз покаже кількість вхідних і вихідних посилань сторінок і рівень їх вкладеності. Найважливіші сторінки повинні мати менше вихідних посилань і більше входять, а також бути максимально наближеними до головної сторінки.
Щоб відсортувати сторінки за рівнем вкладеності фільтруємо Level або перевіряємо якусь сторінку, вписавши її url в пошук.
Щоб перевірити кількість вхідних посилань сортуємо колонку inlinks по спадаючій. Відповідно, у верхній частині списку буде сторінка, яка отримує найбільшу кількість посилань з інших сторінок. Також потрібно переконатися що з важливих сторінок немає перелинковки на неважливі, такі як сторінки, призначені для реєстрації, авторизації, корзина товарів і т.п.

External

Пошук і виправлення зовнішніх посилань

Дуже важливо періодично перевіряти сайт і переглядати на які ресурси з нього йдуть посилання. Може бути таке, що веб-майстер поставить на вашому сайті посилання на свій ресурс, або зовсім сайт зламають і поставлять невидимі посилання. Вкрай важливо контролювати всі вихідні посилання з сайту.
Щоб визначити, скільки разів ваш сайту посилання веде на конкретну зовнішню сторінку виберете посилання на неї в списку та у вкладці In Links побачите список сторінок, що посилаються на неї.
Також ви можете вивантажити (Bulk Export) всю інформацію про зовнішні посилання (All Out Links) - з якої сторінки на яку - на вашому сайті.

Response Codes

У цій вкладці ви можете подивитися яку відповідь сервер дає на всі внутрішні і зовнішні посилання. В ідеалі всі відповіді повинні бути 200, але на практиці у вас завжди будуть і помилки і редіректи.

Для того щоб знайти сторінки, на які сервер відповідає помилкою вибираємо у вкладці Response Codes фільтр Client Error (4xx). Список сторінок, з яких йдуть посилання на биті сторінки можна подивитися внизу в In Links або ж виконає розвантаження Bulk Export - Client Error (4xx) in links. Всі номери з помилками треба виправити.

Для того щоб знайти редіректи вибираємо фільтр Redirects (3xx). Зручніше буде вивантажити список в файл Exel. В отриманому звіті ви знайдете список сторінок, з яких йде редирект (Adress) і на які він наводить (Redirect URL). Якщо виконати вивантаження Bulk Export - Redirect (3xx) in links, то отримаємо список сторінок, з яких (Source) і за якими (Destination) відбувається редирект. Тепер потрібно зробити так, щоб сторінки з другого звіту (Source) вели на правильні сторінки з першого звіту (Redirect URL).

Якщо на деякі сторінки сервер не відповідає, то є відповідь - No Response, то, швидше за все, причиною цьому послужила велике навантаження на сайт, створена програмою, або блокування вашого IP. В цьому випадку для подальшої перевірки знадобиться змінити IP, або ж використовувати proxy. Також необхідно зменшити швидкість перевірки, щоб не перевантажити сайт знову.

URL

Помилки, пов'язані з URL шукаємо за допомогою таких фільтрів, як Non ASCII Characters, Underscores, Duplicate, Dynamic, Over 115 characters.
Non ASCII Characters покаже вам посилання, в структурі яких є символи, що не входять в кодування ASCII. Такі посилання потрібно виправити, щоб уникнути проблем з ними в майбутньому.
Underscores покаже посилання, в яких використовується символ нижнього підкреслення. Замість нього краще використовувати дефіс, але це не критично.
Duplicate як зрозуміло з називання покаже дублікати сторінок.
Dynamic виведе список посилань, в яких містяться параметри (& ,? і т.п.).
Over 115 characters покаже список URL довжина яких перевищує 115 символів. Не потрібно проставляти занадто багато ключових слів на засланні, так як це дасть пошуковику сигнал про те, що на сайті може бути Переспа.

Page Title

У цій вкладці ви можете переглянути повну інформацію про мета-тегах.

Вибравши фільтр Missing, ви побачите сторінки, на яких відсутній title і зможете його прописати.
Фільтр Multiple допоможе вам побачити сторінки, на яких мета-тег title використовувався більше одного разу. Таку помилку допускають рідко, але краще перевірити.
Якщо title дублюється, то напевно на сайті продубльована ціла сторінка. З'ясовуємо причину появи дубліката та усуваємо її.
Фільтр Same as H1 вкаже вам на сторінки сайту, на яких збігається H1 і title. Такі збіги небажані, тому виправте title на сторінках з отриманого списку.

Після виправлення всіх цих помилок можна приступити до оптимізації title.
В ідеалі title не повинен перевищувати 65 символів, але і не повинен бути менше 30 символів. Якщо title не відповідає даним параметрам - виправте його.

Description

У цій вкладці розписана детальна інформація по мета тегу description. Найчастіше цей мета-тег використовується для формування сниппета, який виводиться в пошуковику. Краще заповнити description вручну, ніж ставити на автоматичну генерацію. Аналізувати його потрібно так само як і title.

Keywords

У цій вкладці ви побачите повну інформацію по тегу keywords. Проте цей тег вже практично не використовується. Але якщо ви його заповнюєте, то переконаєтеся що його зміст унікально.

Н1

Цей тег не так важливий для пошукової оптимізації, як інші перераховані вище, але все ж прописати його краще правильно. Тут ви зможете побачити на яких сторінках цей тег відсутній (Missing), на яких дублюється (Duplicate), на яких перевищує рекомендований розмір (Over 70 characters) і на яких повторюється (Multiply).

Н2

Тут ви побачите інформацію такого ж роду, як по Н1, тільки для Н2. Для вас важливо відстежити щоб тег був використаний правильно, так як часто при верстці його проставляють там, де можна було використовувати <div> або стилі. В такому випадку h2 буде дублюватися.

Images

У цій вкладці ви можете простежити за тим, чи були допущені помилки при використанні картинок. Якщо зображення мають занадто великий розмір (Over 100kb), не мають опису alt (Missing Alt Text) або ж мають занадто довгий опис (Alt Text Over 100 Characters).

Directives

У цій вкладці ви можете перевірити правильність використання директив, таких як rel = "canonical», rel = "prev» і rel = "next".
Наприклад, перевіримо чи правильно використовується директива rel = "canonical». Для цього вибираємо фільтри Canonical, Canonicalised, No Canonical. Далі переглядаємо сторінки з директивою rel = "canonical». Дивимося щоб канонічна посилання вела на релевантну сторінку з відповіддю сервера 200. Стежимо щоб не було повторного використання директиви. Стежимо щоб канонічні посилання не вели на головну сторінку.
Щоб виявити неправильне використання цієї директиви заходимо в звіти (Reports) і вибираємо там Canonical Errors.

аналіз sitemap.xml

Після завершення парсинга сайту потрібно перевірити список посилань у файлі sitemap.xml і простежити щоб там не було сторінок з дублюючим контентом, неіснуючих сторінок або тих, за якими відбувається редирект.
Далі збираються дані про сторінки в цій файлі і по ним проводиться повна перевірка, за всіма зазначеними вище пунктами. Особливо уважно перевіряємо Response Codes - відповідь сервера повинен бути 200 для всіх сторінок.

У цій статті ми як приклад розглянули програму Screaming Frog SEO Spider. Але існують і інші програми для аудиту сайту . Головне - перевірити сайт ретельно за всіма пунктами, щоб максимально оптимізувати його технічну сторону під пошукову систему.