1. 1. Перевірка robots.txt
2. Перевірка відповідей сервера:
3. 3. Редіректи /
4. 4. Відповідь сервера 404
5. 5. Редіректи з index.php / index.html / index.htm
6. 6. Швидкість завантаження сторінок сайту
7. 7. Перевірка верстки
8. 8. Перевірка на аффіліатов
9. 9. Перевірка на фільтри і віруси
10. 10. Пошук битих посилань
11. 11. ЧПУ і Хлібні крихти
12. 12. last-modified
13. Разом:

У статті буде покрокове керівництво по виконанню первинної оптимізації сайту. Нижченаведені пункти застосовні до будь-яких типів сайтів, виконання рекомендацій закриє дублі і інші помилки на вашому сайті, що позитивно позначиться на ранжируванні сайту в пошукових системах. Інформації дуже багато, тому коротко про важливе, дуже великі пункти будуть винесені в окремі статті. У прикладах наш сайт, ви міняєте lockki.ru на свій сайт.

1. Перевірка robots.txt

В першу чергу перевіряєте файл robots.txt. Файл повинен знаходитися в корені сайту (тобто мати шлях щодо імені сайту /robots.txt). При наявності декількох піддоменів файл повинен розташовуватися в кореневому каталозі кожного з них. За допомогою файлу robots.txt можна закрити від індексації дублі, порожні розділи, сторінки з неунікальним контентом, небажані для індексації сторінки, технічні розділи сайту. А також вказати пошуковим системам головне дзеркало сайту і адреса .xml карти.

Якщо, раптом, у вас немає цього файлу, то ви можете завантажити його з розділу Robots.txt для популярних CMS і після змінюєте під свій сайт. Про правила в robots.txt і настройку можна прочитати на сайті Яндекс і Google або дуже детально на сайті F1 Studio.

Дивіться які сторінки вашого сайту знаходяться в індексі за допомогою оператора:

url: www.lockki.ru/* | url: lockki.ru/* | url: lockki.ru | url: www.lockki.ru

Додаєте весь знайдений сміття за допомогою Disallow в ваш robots.txt.

Зазвичай це: сторінки з пошуком, архівні сторінки, корзина, сторінки з порівняннями, сторінки для друку, сторінки на яких неможливо зробити канонікал, різні доп.страніци по товарах і т.п.

Також дивимося, скільки разів ваш сайт більше знаходиться в індексі пошукових систем. Якщо у вас більше сторінок з www, значить ваше основне дзеркало буде з www, якщо більше без www значить без www. Ще можна подивитися на яку версію сайту варто більше посилань. Визначилися, вписуємо в robots.txt в Host потрібний варіант (без http //: і тільки для Яндекса).

Host: lockki.ru

Обов'язково на сайті повинна бути карта сайту sitemap.xml доступна за адресою http://lockki.ru/sitemap.xml, в якій перераховані всі URL сайту і яка автоматично оновлюється по мірі додавання нових сторінок.

Прописується в robots.txt наступним чином:

Sitemap: http://lockki.ru/sitemap.xml

Перевірка відповідей сервера:

2. Редіректи WWW

Ми визначилися з головним дзеркалом сайту. Перевіряємо редіректи через сервіс перевірки відповідей сервера . Припустимо, у вас основний сайт без www. Тобто http://lockki.ru/, а не http://www.lockki.ru/

Перевіряємо www редіректи.

Вводимо в форму в сервісі варіант з www, тобто http://www.lockki.ru/ , Якщо відбувається 301 редирект на версію без www, тобто на http://lockki.ru/, то все відмінно. Якщо віддається 200 або 302, 404 відповіді, то - це ненормально.

Вписуємо в .htaccess 301 редирект з www на без www версію. Або навпаки, см яке основне дзеркало.

Будьте уважні і не забудьте замінити lockki.ru на адресу свого сайту

RewriteCond% {HTTP_HOST} ^ www.lockki.ru $ [NC] RewriteRule ^ (. *) $ Http://lockki.ru/$1 [R = 301, L]

І навпаки, кому потрібен редирект з домена без WWW на домен з WWW:

RewriteCond% {HTTP_HOST} ^ lockki.ru RewriteRule (. *) Http://www.lockki.ru/$1 [R = 301, L]

3. Редіректи /

Дивіться які у вас сторінки у видачі і за структурою сайту, є у них на кінці / чи ні. Припустимо, у нас все сторінки закінчуються на /. Вводимо в сервісі, з попереднього пункту, сторінку, якого-небудь підрозділу з вашого сайту, наприклад:

http://lockki.ru/seo/, але без / на кінці, тобто http://lockki.ru/seo

Якщо відбувається 301 на аналогічну, але з / на кінці, то дублів немає. Якщо у вас 200, 302, 404 або будь-який інший відмінний від 301, то це ненормально і необхідно виправляти.

Робимо аналогічно вищеописаному з www, прописуємо в .htaccess необхідні правила, щоб відбувався 301 редирект з URL без / на аналогічний URL, але зі / на кінці або навпаки.

прибираємо / в кінці, тобто 301 зі сторінок зі / на кінці на аналогічні сторінки без /.

RewriteCond% {REQUEST_FILENAME}! -D RewriteCond% {REQUEST_URI} ^ (. +) / $ RewriteRule ^ (. +) / $ / $ 1 [R = 301, L]

додаємо / в кінці, як вище, тільки навпаки.

RewriteBase / RewriteCond% {REQUEST_FILENAME}! -F RewriteCond% {REQUEST_URI}! (. *) / $ RewriteRule ^ (. * [^ /]) $ $ 1 / [L, R = 301]

Також перевіряєте кінцеві сторінки і особливо на картках товарів, якщо убога CMS, наприклад, Bitrix, то десь можуть працювати /, десь не працювати. Тобто з різних сторінок дивіться.

4. Відповідь сервера 404

Якщо ми вводимо ліву сторінку на сайті, то повинна показуватися 404 сторінка і сервер повинен віддавати 404 відповідь, ніяких редиректів на головну сайту, ніяких 301 на якусь іншу сторінку і з неї вже 404. 404 відповідь повинен бути відразу.

Тобто ввели, наприклад: http://lockki.ru/8888/ і отримали відразу 404 відповідь і 404 сторінку.

Якщо ж у вас специфічна CMS, яка чомусь не обробляє 404 помилки. Те можете створити сторінку з 404, додати її в корінь сайту. І вписати в .htaccess (де 404.php - це ваша оформлена 404 сторінка):

ErrorDocument 404 /404.php

Повертаючись до Бітрікс, іноді у них 404 працює криво, якщо ми введемо будь-які знаки в URL у товару, то нам буде відображатися той же товар, але з іншим URL. Такого бути не повинно. Введення будь-лівої сторінки - це відразу 404.

Також у Бітрікс є помилки, коли міняєш розширення у посилання і все одно 200, тобто НЕ http://lockki.ru/seo.html, а http://lockki.ru/seo.hthertutml. Це теж помилка і необхідно виправляти.

5. Редіректи з index.php / index.html / index.htm

Вводимо в форму по порядку всі 3 варіанти і см які відповіді, повинен бути 301 з цих сторінок дублів на основу. Тобто з http://lockki.ru/index.php на http://lockki.ru/ і т.д. Якщо цього не відбувається, то правимо .htaccess і вписуємо 301 редіректи.

301 для index.php

RewriteCond% {THE_REQUEST} ^ [AZ] {3,9} \ / index \ .php \ HTTP / RewriteRule ^ index \ .php $ http://lockki.ru/ [R = 301, L]

301 для index.html

RewriteCond% {THE_REQUEST} ^ [AZ] {3,9} \ / index \ .html \ HTTP / RewriteRule ^ index \ .html $ http://lockki.ru/ [R = 301, L]

6. Швидкість завантаження сторінок сайту

Вводите свій сайт в сервісі Pingdom Website Speed ​​Test і дивіться час завантаження, що довго вантажиться, оптимізуєте це. Наприклад, стискаючи зображення, прибираючи зайві скрипти і т.п.

Вводите свій сайт в сервіс PageSpeed ​​Insights , Дивіться які рекомендації дає Google і також робите правки.

7. Перевірка верстки

Якщо вам не хочеться вручну шукати косяки в верстці в вигляді не закритих тегів, закоментувавши чи ні дублів текстів, всякого роду приховані посилання і тексти, ієрархію по метатегах, або наявність метатегов або їх повтори, то вводите свій сайт в сервіс Markup Validation Service і він вам показує банальні помилки. Цей пункт треба розписувати докладно.

8. Перевірка на аффіліатов

Саме елементарне, вводите телефон свого сайту в пошуку Яндекса або Google і дивіться сайти, якщо знайшли аналогічний вашому, де такий же номер телефону, каталог і т.п. і виявилося, що це ваш сайт, який вам робив раніше школяр фрілансер, то закриваєте даний сайт від індексації, тому що це потенційний афіліат. Аналогічно перевіряєте за адресою на сайті.

Якщо у вас є сайт з аналогічним контентом, але з іншим доменом і вони не переклеєні, то теж закриваєте.

9. Перевірка на фільтри і віруси

Тема велика, можете для майже перевірки ввести свій сайт в сервіс ' безпечний перегляд 'Від Google і подивитися, що вам буде написано. Також можна подивитися порушення в новому вебмайстрів Яндекс.

Але це не вирішує проблему, якщо напишуть, що нічого немає. Бажано подивитися і перевірити можливі варіанти описані в хелпе Яндекса по неякісним сайтам.

Дивіться на Посилальне, трафік, позиції, коли, де і були падіння, які в цей час були апдейти і т.д.

Апдейти Яндекса: http://tools.promosite.ru/updates/

Апдейти Google: https://algoroo.com/

Перевіряєте, які з вами сайти на одній IP розташовані, для цього вводите в пошуковику bing.com оператор ip: 1.1.1.1, де цифри це IP вашого сайту. Якщо 99.9% це порносайти і таких сайтів велика кількість, то це погано.

10. Пошук битих посилань

Завантажуєте XENU або ScreamingFrog (кращий варіант), перевіряєте сайт і см, де у вас є віддалені сторінки, на яких сторінках вони розташовані. Міняєте биті URL на нормальні, і робите 301 редирект або на аналогічні за змістом сторінки, або на каталог. Також дивіться в структурі посилання з 301 редирект і міняєте їх відразу на нормальні посилання.

11. ЧПУ і Хлібні крихти

На сайті повинні бути хлібні крихти має наступну структуру:

Головна сторінка> Розділ> Підрозділ> Поточна сторінка

Використовувати нормальні ЧПУ на сайті, кілька переваг використання:

• покращують ранжування документів (сторінок сайту);
• подібні адреси дуже легко запам'ятати;
• можна продиктувати URL по телефону;
• подібні URL, як правило, дозволяють користувачеві навіть не дивлячись на сторінку, відразу зрозуміти, де він зараз перебуває, і як наслідок, допомагають краще розібратися в структурі сайту;
• щоб перейти вгору по ієрархії, досить стерти непотрібну частину шляху;
• якщо людина вже був на вашому сайті і набирає адресу вручну, то він відразу може звернутися до потрібного йому документу, дивлячись на URL'и попередніх запитів.

12. last-modified

Перевіряємо через сервіс: http://last-modified.com/ru/

Відсутність настройки сервера сайту на видачу дати останньої модифікації документа означає, що:

• в результатах пошуку не відображатиметься дата поруч зі сторінками сайту;
• час сортування за датою сайт не буде видно більшості користувачів;
• роботи пошукових систем не зможуть отримувати інформацію про те, чи оновилася сторінка сайту з моменту останнього індексування. Так як число сторінок, одержуваних роботом з сайту за один захід, обмежена, змінилися сторінки будуть переіндексувати рідше.

Необхідно налаштувати сервер на видачу дати останньої модифікації документа в форматі:

<? Php $ LastModified_unix = 1294844676; // час останньої зміни сторінки $ LastModified = gmdate ( "D, d MYH: i: s \ G \ M \ T", $ LastModified_unix); $ IfModifiedSince = false; if (isset ($ _ ENV [ 'HTTP_IF_MODIFIED_SINCE'])) $ IfModifiedSince = strtotime (substr ($ _ ENV [ 'HTTP_IF_MODIFIED_SINCE'], 5)); if (isset ($ _ SERVER [ 'HTTP_IF_MODIFIED_SINCE'])) $ IfModifiedSince = strtotime (substr ($ _ SERVER [ 'HTTP_IF_MODIFIED_SINCE'], 5)); if ($ IfModifiedSince && $ IfModifiedSince> = $ LastModified_unix) {header ($ _ SERVER [ 'SERVER_PROTOCOL']. '304 Not Modified'); exit; } Header ( 'LastModified:'. $ LastModified); ?>

Разом:

Виконання даних пунктів позитивно позначиться на ранжируванні вашого сайту. Ми не дивилися структуру, контент, метатеги, загальну індексацію сайту, юзабіліті по сайту, комерційну складову по сайту, Посилальне і ще багато чого. Але виконання первинної оптимізації сайту дасть вам теж хороший результат.