1. Што такое файл WordPress Robots.txt?
2. Ці патрэбны ваш сайт гэты файл?
3. Ці з'яўляецца файл Robots.txt памылковым спосабам кантраляваць, якую старонку трэба праіндэксаваць?
4. Як стварыць файл Robots.txt?
5. Як стварыць файл Robots.txt без убудовы SEO?
6. Як выкарыстоўваць файл Robots.txt, каб заблакаваць доступ да пэўнай старонкі?
7. Што паставіць у файл Robot.txt?
8. Як стварыць розныя правілы для розных ботаў?
9. Што трэба пазбягаць пры стварэнні файла Robots.txt
10. Даданне XML-карт памяці ў файл Robots.txt
11. Як даведацца, што ваш файл robots.txt не ўплывае на ваш кантэнт?
12. Апошнія словы
13. Падобныя паведамленні

robots.txt файл мае вельмі важную ролю ў агульным SEO вашага сайта. Гэты файл знаходзіцца на вашым сэрвэры і паведамляе пошукавыя сістэмы, якія часткі сайта павінны быць праіндэксаваны і абыходзіцца пошукавымі сістэмамі. У асноўным, у ім утрымліваецца набор правілаў для зносін з пошукавымі сістэмамі і накіравання іх, якая частка вашага сайта павінна быць праіндэксаваная.

Хоць у большасці вэб-сайтаў файл robots.txt, не ўсе вэб-майстры ведаюць, наколькі важны гэты файл і як ён можа паўплываць на прадукцыйнасць свайго сайта.

якое выключае Код купона WPEngine для наведвальнікаў AlienWP!
Атрымаеце 5 месяцаў бясплатна і 30% ад усіх планаў.
Націсніце на купон, каб скапіяваць і адкрыць спасылку »

alienwp30

Націсніце, каб адкрыць / капіяваць

У сённяшнім кіраўніцтве мы раскажам вам, што менавіта файл robots.txt і ўсё, што вам трэба ведаць пра гэты файл.

Што такое файл WordPress Robots.txt?

Кожны сайт у Інтэрнэце наведвае нейкі робат, які з'яўляецца свайго роду ботам.

Калі вы не ведаеце, што такое бот, пошукавыя сістэмы, такія як Google і Bing, з'яўляюцца ідэальным прыкладам для вас, каб зразумець гэта.

Таму, калі гэтыя боты скануюць па Інтэрнэце, яны дапамагаюць пошукавым сістэмам праяўляць і ацэньваць мільярды сайтаў, якія існуюць у Інтэрнэце.

Такім чынам, гэтыя робаты дапамагаюць адкрыць пошукавыя сістэмы вашага сайта. Аднак гэта не значыць, што вы хочаце знайсці ўсе старонкі.

Асабліва вы хацелі, каб ваша панэль кіравання і адміністратарская вобласць заставаліся схаванымі, таму што гэта прыватная вобласць, адкуль вы кіруеце інтэрфейсам вашага сайта. Часам вы, магчыма, захочаце, каб увесь сайт быў схаваны ад пошукавых сістэм па той прычыне, што ён усё яшчэ знаходзіцца ў рэжыме распрацоўкі і проста не гатовы жыць у прамым эфіры.

Robots.txt Каманды, малюнак з Старонка вэб-робатаў

Тут уваходзіць файл robots.txt. Гэты файл дапаможа вам кантраляваць, як роботы ўзаемадзейнічаюць з вашым сайтам. Такім чынам, з дапамогай гэтага файла вы можаце альбо абмежаваць альбо цалкам заблакаваць яго доступ да пэўнай вобласці вашага сайта.

Ці патрэбны ваш сайт гэты файл?

Хоць пошукавыя сістэмы не перастануць сканаваць, пры адсутнасці гэтага файла заўсёды рэкамендуецца мець яго.

У гэты файл прыйдуць пошукавыя сістэмы, калі вы хочаце прадставіць свае XML-карты ў пошукавыя сістэмы, такія як Google. Вы можаце відавочна кіраваць ім, у прыватнасці, паказаўшы яго на Інструменты Google Web Master.

Стварэнне файла robot.txt мае два асноўныя перавагі для вашага сайта. Па-першае, гэта дапаможа пошукавым сістэмам высветліць, якія старонкі вы хочаце, каб сканаваць і якія будуць праігнараваныя. Робячы гэта, вы пераканайцеся, што пошукавыя сістэмы сканцэнтраваны на старонках, якія вы хочаце, каб паказаць вашай аўдыторыі.

Па-другое, гэта дапаможа вам аптымізаваць выкарыстанне даследаванняў, блакуючы боты, якія марна губляюць рэсурсы сервера.

Калі ваш сайт працуе на WordPress, звычайна вам не трэба прыкласці дадатковыя намаганні для стварэння файла robots.txt для вашага сайта. Віртуальны robots.txt аўтаматычна ствараецца на вашым WordPress-сайце. Але лепш мець файл robots.txt.

Ці з'яўляецца файл Robots.txt памылковым спосабам кантраляваць, якую старонку трэба праіндэксаваць?

Ну, як я ўжо казаў, пошукавыя сістэмы не перастануць сканаваць вашы старонкі ў адсутнасць гэтага файла. Стварэнне гэтага файла не з'яўляецца бяздзейным спосабам кантраляваць, на якой старонцы вы хочаце, каб пошукавыя сістэмы праіндэксавалася.

Калі вы хочаце, каб асабліва спыніць пошукавыя сістэмы сканаваць пэўную старонку, вы можаце выкарыстоўваць тэг meta-noindex цалкам заблакаваць іх.

Выкарыстоўваючы файл robots.txt, вы не кажаце, каб пошукавыя сістэмы не праіндэксавалі іх. Гэта толькі прымушае іх не сканаваць гэтыя старонкі. Хоць Google не скануе гэтыя вобласці вашага сайта, гэта ўсё роўна можа зрабіць гэта, калі некаторыя іншыя сайты спасылаюцца на гэтую частку вашага сайта.

Вы можаце праглядзець гэты файл, падключыўшыся да вашага сайта, выкарыстоўваючы FTP-кліент , Вы таксама можаце зрабіць гэта, выкарыстоўваючы файлавы менеджэр cPanel. Гэты файл звычайна знаходзіцца ў каранёвай тэчцы вашага сайта.

Вы можаце адкрыць гэты файл, выкарыстоўваючы любы звычайны тэкставы рэдактар, напрыклад Notepad. Гэта звычайны файл і не патрабуецца адчынення спецыяльнага рэдактара.

Вам не трэба турбавацца аб існаванні гэтага файла на вашым сайце. WordPress аўтаматычна стварае файл robot.txt па змаўчанні для вашага сайта.

Калі вы ўсё яшчэ сумняецеся ў гэтым, ёсць спосаб, які пакажа вам, што гэты файл існуе на вашым сайце. Проста дадайце "/robots.txt" у канец вашага даменнага імя. Ён пакажа вам файл robots.txt вашага сайта.

У нашым выпадку "www.alienwp.com/robots.txt" паказвае файл robots.txt, які мы выкарыстоўваем тут.

Вы не можаце змяніць існуючы файл, які вы будзеце мець на вашым сайце. Але калі вы хочаце маніпуляваць гэтым, вам прыйдзецца стварыць фізічнае на вашым серверы. Існуючы віртуальны, які не прымае ніякіх змяненняў.

Як стварыць файл Robots.txt?

Калі ў выпадку, калі ваш сайт не мае файла robots.txt, стварыць яго не вельмі складана. Вы можаце лёгка зрабіць гэта з панэлі адміністратара праз убудова Yoast. Yoast - адзін з самых дзіўных SEO убудоў, якія павінны выкарыстоўваць кожны сайт WordPress. Калі вы ўсё яшчэ не выкарыстоўваеце гэты убудова, перайдзіце ўсталяваць яго зараз, каб палепшыць свой SEO.

Пасля ўстаноўкі Yoast вам спачатку неабходна ўключыць дадатковыя функцыі Yoast. Вы можаце зрабіць гэта, перайшоўшы да SEO> Панэль кіравання> Асаблівасці> Дадатковыя налады.

Цяпер перайдзіце ў SEO> Інструменты >> File Editor.

Тут Yoast выкажам здагадку, што ў вас няма фізічнага файла Robots.txt і, улічваючы, што гэта дасць вам магчымасць стварыць яго.

Націсніце на опцыю стварыць файл Robots.txt. Пасля гэтага вы зможаце рэдагаваць змесціва гэтага файла з таго ж інтэрфейсу.

Як стварыць файл Robots.txt без убудовы SEO?

Прыведзены вышэй працэс быў спосаб стварыць гэты файл з дапамогай убудовы SEO. Але вы можаце стварыць яго, нават калі вы не выкарыстоўваеце такі убудова. Гэта можа быць зроблена праз SFTP. Зрабіць гэта вельмі лёгка.

Для гэтага вам спачатку трэба будзе стварыць пусты файл. Назавіце яго Robots.txt і захавайце.

На наступным этапе вам прыйдзецца падключыцца да вашага сайта праз SFTP. Kinsta мае кіраўніцтва да як падключыцца да SFTP , Пасля падключэння вам прыйдзецца загрузіць файл у каранёвую тэчку вашага сайта. Калі вы хочаце ўнесці якія-небудзь змены ў гэты файл, вы можаце зрабіць гэта, адрэдагаваўшы яго праз SFTP і загрузіўшы новую версію.

Як выкарыстоўваць файл Robots.txt, каб заблакаваць доступ да пэўнай старонкі?

Вы можаце заблакаваць пэўны файл або тэчку вашага сайта, выкарыстоўваючы файл robots.txt. Выкажам здагадку, што вы хочаце заблакаваць Google ад сканавання ўсёй тэчкі wp-admin і wp-login.php. Наступная каманда дапаможа вам зрабіць гэта на вашым сайце.

Карыстальнік-агент: * Забараніць: / wp-admin / Allow: /wp-login.php

Што паставіць у файл Robot.txt?

Калі вы ствараеце файл robots.txt для вашага сайта, вы звычайна робіце яго дзвюма асноўнымі камандамі.

• User-agent - Пры дапамозе user-agent вы можаце прасцей звярнуцца да пэўнага бота або пошукавай сістэмы. Такім чынам, ваш карыстацкі агент адрозніваецца ад розных пошукавых сістэм. Такім чынам, карыстальнік-агент для Google не будзе такім жа для Bing.
• Disallow - Пры дапамозе гэтай каманды вы кажаце пошукавым сістэмах не атрымліваць доступ да пэўных абласцей вашага сайта. Такім чынам, пошукавыя сістэмы не дасягаюць абласцей, для якіх выкарыстоўваецца гэтая каманда.

Часам вы можаце таксама бачыць, што выкарыстоўваецца каманда Allow. Гэта звычайна выкарыстоўваецца ў нішавых сітуацыях. Нават калі вы не выкарыстоўваеце гэтую каманду, большая частка вашага сайта трапляе пад гэтую каманду. Гэта ўсталёўваецца па змаўчанні на вашым сайце WordPress.

Вышэйпаказаныя правілы толькі асноўныя. Ёсць больш правілаў, пра якія вы павінны ведаць. Вось некалькі з іх.

• Allow - Гэтая каманда відавочна дазваляе сканаваць пошукавыя сістэмы праз аб'ект на сэрвэры
• Карта сайта - Гэтая каманда паведамляе сканерам, дзе размешчаны карты сайта вашага сайта
• Хост - Хост вызначае патрэбны дамен для сайта з некалькімі люстэркамі
• Crawl-delay - З дапамогай гэтай каманды вы можаце ўсталяваць прамежак часу, каб пошукавыя сістэмы павінны чакаць паміж запытамі вашага сервера

Як стварыць розныя правілы для розных ботаў?

Файл robots.txt мае свой уласны сінтаксіс для вызначэння правілаў, якія шырока вядомы як дырэктывы. Як мы ўжо згадвалі раней, у розных ботах розная каманда-агент карыстальніка. Так што, калі вы хочаце ўсталяваць файл Robots.txt для розных ботаў?

Ну, у гэтым выпадку вам трэба будзе дадаць набор правілаў у дэкларацыі карыстальніка-агента для кожнага бота.

У наступнай камандзе мы пакажам вам, як зрабіць адно правіла для ўсіх ботаў, а іншае - спецыяльна для Bing.

Карыстальнік-агент: * Забараніць: / wp-admin / Карыстальнік-агент: Bingbot Disallow: /

Дадаючы вышэйпаказаную каманду, вы зможаце заблакаваць усе боты доступу да вобласці wp-admin вашага сайта. Аднак пошукавай сістэме Bing будзе заблакавана доступ да ўсяго сайта.

Што трэба пазбягаць пры стварэнні файла Robots.txt

Ёсць пэўныя рэчы, якія варта пазбягаць пры стварэнні файла Robots.txt. Першая і самая важная памылка, здзейсненая шматлікімі неспрактыкаванымі ўладальнікамі Інтэрнэту, - забяспечыць прастору ў пачатку каманды.

Другое, што вам трэба мець на ўвазе, гэта тое, што вы не можаце і не павінны мяняць правілы каманд. Трэцяе, што многія людзі ігнаруюць, звяртаючы ўвагу, - гэта правільнае выкарыстанне верхняга і ніжняга рэгістра падчас напісання каманды.

Пераканайцеся, што вы двойчы правяраеце справа з вашымі камандамі. Вы не можаце пісаць User-Agent або User-Agent, дзе ён сапраўды павінен быць User-Agent. Я спадзяюся, што вы зразумелі розніцу ў трох тэрмінах.

Даданне XML-карт памяці ў файл Robots.txt

Калі ваш сайт ужо выкарыстоўвае SEO убудова, як Yoast, то ён аўтаматычна дадасць каманды, звязаныя з XML-картамі вашага сайта, у файл robots.txt.

Але калі ваш убудова не можа дадаць гэтыя каманды, вам прыйдзецца зрабіць гэта ўручную самастойна. Ваш убудова пакажа вам спасылку на XML-Sitemaps. Вы павінны дадаць яго ў файл robots.txt самастойна.

Як даведацца, што ваш файл robots.txt не ўплывае на ваш кантэнт?

Часам вы, магчыма, захочаце праверыць, ці ўплывае на ваш змест файл robots.txt. Каб праверыць і пераканацца, што ніякі кантэнт не закранаецца, вы можаце выкарыстоўваць Інструмент Webmaster пад назвай 'Fetch As Bot Tool'. Гэты інструмент дазволіць вам убачыць, ці даступны ваш файл robots.txt да вашага змесціва.

Для гэтага вам спачатку трэба ўвайсці ў інструмент Google Webmaster. Цяпер перайдзіце ў дыягностыку і Fetch як Google Bot. Там вы можаце змясціць змест вашага сайта і даведацца, ці ёсць у вас праблемы з доступам да яго.

Апошнія словы

Як ужо згадвалася, большасць сайтаў WordPress па змаўчанні маюць robots.txt. Але з дапамогай файла robots.txt вы можаце кіраваць тым, як пэўны бот або пошукавая сістэма ўзаемадзейнічаюць з пэўнай часткай вашага сайта.

Важна ведаць, што каманда disallow не падобная на тэг noindex. Пошукавыя сістэмы могуць быць заблакаваныя з дапамогай robots.txt, але гэта не можа спыніць іх ад індэксавання вашага сайта. Вы можаце маніпуляваць тым, як пошукавыя сістэмы ўзаемадзейнічаюць з вашым сайтам, дадаўшы пэўныя правілы.

Але добра, што вы ведаеце, якую частку вашага сайта трэба абшукаць, а ў якой частцы адмовілі ў доступе. Таму што Google звычайна глядзіць на ваш сайт у цэлым. Так што, калі вы выкарыстоўваеце гэтыя файлы, каб заблакаваць важную частку, пра якую Google павінен ведаць, вы можаце проста выправіць некаторыя асноўныя праблемы.

Напрыклад, калі вы не ведаеце, што вы выкарыстоўваеце файл robots.txt, каб заблакаваць кампанент стылю. У такім выпадку Google лічыць ваш сайт нізкім якасцю і нават можа пакараць вас.

У асноўным змест, які вы хочаце змясціць у файл robots.txt, залежыць ад вашага сайта. Гэта могуць быць вашы партнёрскія спасылкі, ваша панэль прыборнай панэлі або любая іншая канкрэтная вобласць, якую, як вы думаеце, не павінны атрымаць доступ да ботаў. Вы таксама можаце зрабіць гэта для вашых убудоў і тэм.

Мы спадзяемся, што гэта кіраўніцтва было карысна для вас. Не саромейцеся пакінуць каментар ніжэй, калі ў вас ёсць якія-небудзь дадатковыя пытанні. Мы хацелі б вярнуцца да вас.

Праглядаў паведамленняў: 4,004

Падобныя паведамленні

Інфармацыя пра аўтара

Kaveri - фрылансер, які любіць пісаць пра WordPress і лічбавым маркетынгу.