1. Але чаму так важна Robots.txt?
2. Што робіць Better robots.txt?
3. Як дадаць Sitemap у robots.txt можа стварыць розніцу?
4. Дык вось, калі вы ведаеце больш, як выглядае ваш robots.txt?

Калі вы з'яўляецеся карыстальнікам WordPress, як кампанія або агенцтва, вы напэўна ведаеце Yoast SEO, верагодна, адзін з лепшых убудоў, даступных у WordPress, каб аптымізаваць змест і прадукцыйнасць у пошукавых сістэмах.

Вось чаму, у дызайне убудовы Better Robots.txt, мы, натуральна, думалі, што будзем мець зносіны з найлепшымі прапановамі ... найлепшымі з аптымізацыі. Таму што ўсё пра гэта, аптымізуйце свой сайт, каб атрымаць максімальную эфектыўнасць вашага змесціва.

Ці ведаеце вы? Yoast SEO дазваляе наладзіць шмат элементаў унутры вашага сайта, альбо дадзеныя META, усе карты памяці, звязаныя са сваімі старонкамі, артыкуламі, прадуктамі ... Нават выданне файла robots.txt і .htaccess (Advanced Configuration). Але на сённяшні дзень рашэння для аб'яднання "Sitemap" і "Robots.txt" з кіраўніцтвам інструкцыі па індэксацыі для пошукавых сістэм пакуль няма. І гэта менавіта тое, што Лепш Robots.txt Прапаноўвае сумяшчальнасць YOAST праз індэкс карт.

Але чаму так важна Robots.txt?

Для запісу, у 2006 годзе Yahoo, Microsoft і Google аб'ядналі намаганні для падтрымкі і разгортвання стандартнага пратаколу прадстаўлення старонак сайта з дапамогай карт-карт. З тых часоў было ўведзена некалькі метадаў для запрашэння вэб-дызайнераў (агенцтва, распрацоўшчыка) рэлігійна адпраўляць свае розныя карты памяці з дапамогай такіх інструментаў, як Google для вэб-майстроў (Google Search Console), Bing для вэб-майстроў, Yahoo, а таксама для іншых пошукавых сістэм, такіх як Google. DuckDuckGoGo (напрыклад), яны выкарыстоўваюць вынікі непасрэдна з Bing / Yahoo.

Прыкладна праз шэсць месяцаў, у красавіку 2007 года, Yahoo, Microsoft і Google (па-ранейшаму) далучыліся да пошукавай сістэмы праз robots.txt, якая называецца "аўтавызначэннем карт памяці". Гэта азначала, што нават калі вы не падалі карту сайта на асобныя пошукавыя сістэмы (з дапамогай традыцыйнага спісу), пошукавыя сістэмы ўсё яшчэ змогуць знайсці месцазнаходжанне карты сайта з файла robots.txt вашага сайта (улічваючы, што адзін чытаецца па змаўчанні). па пошукавых сістэмах).

(УВАГА: Прадстаўленне Sitemap па-ранейшаму выконваецца на большасці пошукавых сістэм, якія дазваляюць прадстаўляць URL)

Такім чынам, з гэтага моманту файл robots.txt стаў важным інструментам (у кантэксце камунікацыі з пошукавымі сістэмамі), паколькі ён дазваляе, акрамя любой формы пералічэння, адкрываць шлях да пошукавай індэксацыі робатаў, якія дазваляюць вывучаць індэксацыя сайта, з якім ён звязаны.

Такім чынам, важнасць Robots.txt і яе аптымізацыя!

Што робіць Better robots.txt?

Лепш Robots.txt , сярод іншых функцый ( паглядзець апісанне ) дазваляе, па-першае, вызначыць, ці сапраўды YOAST SEO усталяваны на вэб-сайце (які мы рэкамендуем), а таксама функцыянаванне функцыі пакалення Sitemap, а затым аўтаматычна дадаваць URL індэкса карты сайта YOAST (які змяшчае ўсе карты сайта), эфектыўна , у файле robots.txt. Вядома, калі вы выкарыстоўваеце іншы SEO убудова (чым YOAST), цалкам магчыма ўручную дадаць свае карты памяці, але мы думалі, улічваючы поспех (для некалькіх мільёнаў загрузак YOAST), што больш мэтазгодна звязвацца з вядомымі. спасылка ўсіх.

Як дадаць Sitemap у robots.txt можа стварыць розніцу?

У найпростай форме карта сайта - гэта файл XML (.xml), у якім пералічаныя адрасы сайта шляхам інтэграцыі дадатковых метададзеных для кожнага URL (апошняя дата абнаўлення, частата, з якой звычайна змяняецца, і важнасць у адносінах да іншых URL). сайт) так, каб пошукавыя сістэмы маглі больш разумна вывучаць сайт. У самой справе, такім чынам, Карта сайта, у цэлым, змяшчае вельмі каштоўную інфармацыю для сканараў, гэта даты апошніх змен. Улічваючы, што robots.txt - гэта самы першы файл, які чытаецца пры загрузцы вашага сайта ў браўзэры, скарыстайцеся гэтай магчымасцю, каб запрасіць сканараў для прагляду файлаў карт (і, такім чынам, вызначыць новыя старонкі або змененыя старонкі), з'яўляецца упэўненасцю ў тым, Апошні змест фактычна будзе праіндэксаваны і адлюстроўвацца ў выніках пошуку.

Дык вось, калі вы ведаеце больш, як выглядае ваш robots.txt?

Каб вызначыць змест вашага robots.txt (а таксама ўбачыць, ці існуе ён), проста скапіруйце і ўстаўце URL сайта (з http: // або https: //) у поле, паказанае ніжэй:

Для параўнання, вось наша: https://better-robots.com/robots.txt. Вы бачыце розніцу?

Хочаце ведаць, калі ваша ведамства ведае пра гэта? Праверце свой сайт з дапамогай гэтага інструмента. Калі вы бачыце, што гэта не так, то наш убудова дазволіць вам вырашыць гэтую праблему!