1. Czym jest plik WordPress Robots.txt?
2. Czy Twoja strona potrzebuje tego pliku?
3. Czy plik Robots.txt jest niezawodnym sposobem kontrolowania, która strona ma być indeksowana?
4. Jak utworzyć plik Robots.txt?
5. Jak utworzyć plik Robots.txt bez wtyczki SEO?
6. Jak korzystać z pliku Robots.txt, aby zablokować dostęp do określonej strony?
7. Co umieścić w pliku Robot.txt?
8. Jak tworzyć różne reguły dla różnych botów?
9. Rzeczy, których należy unikać Podczas Tworzenia pliku Robots.txt
10. Dodawanie map witryn XML do pliku Robots.txt
11. Jak wiedzieć, że Twój plik Robots.txt nie ma wpływu na treść?
12. Ostatnie słowa
13. powiązane posty

The robots.txt Plik ma bardzo ważną rolę do odegrania w ogólnym SEO Twojej witryny. Ten plik znajduje się na serwerze i informuje wyszukiwarki, która część witryny powinna być indeksowana i indeksowana przez wyszukiwarki. Zasadniczo zawiera zestaw reguł do komunikowania się z wyszukiwarkami i kieruje nimi, która część witryny musi zostać zindeksowana.

Chociaż większość stron internetowych ma plik robots.txt, nie wszyscy webmasterzy zdają sobie sprawę z tego, jak ważny jest ten plik i jak może on wpłynąć na wydajność jego witryny.

Ekskluzywny Kod kuponu WPEngine dla odwiedzających AlienWP!
Uzyskaj 5 miesięcy za darmo i 30% zniżki na wszystkie plany.
Kliknij kod kuponu, aby skopiować i otworzyć link »

alienwp30

Kliknij, aby otworzyć / skopiować

W dzisiejszym samouczku powiemy Ci, czym dokładnie jest plik robots.txt i wszystko, co musisz wiedzieć o tym pliku.

Czym jest plik WordPress Robots.txt?

Każda strona internetowa jest odwiedzana przez pewnego rodzaju robota, który jest rodzajem bota.

Jeśli nie wiesz, czym jest bot, wyszukiwarki, takie jak Google i Bing, są dla ciebie doskonałym przykładem.

Więc kiedy te boty przemierzają internet, pomagają wyszukiwarkom indeksować i oceniać miliardy witryn internetowych, które istnieją w Internecie.

Tak więc te boty faktycznie pomagają Twojej witrynie wykryć strony w wyszukiwarkach. Nie oznacza to jednak, że chcesz znaleźć wszystkie swoje strony.

Szczególnie chciałbyś, aby Twój pulpit nawigacyjny i obszar administracyjny pozostawały ukryte, ponieważ jest to prywatny obszar, z którego kontrolujesz fronton swojej witryny. Czasami możesz chcieć, aby cała witryna pozostała ukryta przed wyszukiwarkami z tego samego powodu, że wciąż znajduje się w trybie programowania i nie jest gotowa do działania.

Robots.txt Polecenia, obraz z Strona Roboty internetowe

W tym miejscu znajduje się plik robots.txt. Ten plik pomaga kontrolować interakcję botów z witryną. Korzystając z tego pliku, możesz ograniczyć lub całkowicie zablokować dostęp do określonego obszaru witryny.

Czy Twoja strona potrzebuje tego pliku?

Chociaż wyszukiwarki nie przerywają indeksowania, w przypadku braku tego pliku zawsze zaleca się jego posiadanie.

Wyszukiwarki przyjdą do tego pliku, jeśli chcesz przesłać mapy witryn XML do wyszukiwarek takich jak Google. Możesz oczywiście kontrolować go, szczególnie określając go w Google Web Master Tools.

Utworzenie pliku robot.txt ma dwie główne zalety dla Twojej witryny. Po pierwsze, pomaga wyszukiwarkom dowiedzieć się, które strony mają być indeksowane, a które ignorowane. W ten sposób upewnisz się, że wyszukiwarki są skoncentrowane na stronach, które mają pokazywać odbiorcom.

Po drugie, pomaga zoptymalizować wykorzystanie badań, blokując boty, które niepotrzebnie marnują zasoby serwera.

Jeśli Twoja witryna jest obsługiwana przez WordPress, zazwyczaj nie musisz dokładać dodatkowych starań, aby utworzyć plik robots.txt dla Twojej witryny. Wirtualny robots.txt jest automatycznie tworzony w witrynie WordPress. Ale nadal lepiej mieć fizyczny plik robots.txt.

Czy plik Robots.txt jest niezawodnym sposobem kontrolowania, która strona ma być indeksowana?

Jak już wspomniałem, wyszukiwarki nie przestaną indeksować stron w przypadku braku tego pliku. Utworzenie tego pliku nie jest niezawodny sposób kontrolowania, którą stronę chcesz indeksować wyszukiwarki.

Jeśli chcesz w szczególności zatrzymać wyszukiwarki do indeksowania określonej strony, możesz użyj tagu meta noindex całkowicie je zablokować.

Używając pliku robots.txt, nie mówisz wyszukiwarkom, aby ich nie indeksowały. To tylko podpowiada im, żeby nie indeksowali tych stron. Chociaż Google nie indeksuje tych obszarów Twojej witryny, może to zrobić, jeśli jakieś inne witryny prowadzą do tej części witryny.

Możesz wyświetlić ten plik, łącząc się z witryną za pomocą Klient FTP . Możesz to również zrobić za pomocą menedżera plików cPanel. Ten plik zazwyczaj znajduje się w folderze głównym witryny.

Możesz otworzyć ten plik za pomocą dowolnego edytora zwykłego tekstu, takiego jak Notatnik. Jest to zwykły plik i nie wymaga otwierania specjalnego edytora.

Nie musisz martwić się o istnienie tego pliku na swojej stronie. WordPress automatycznie tworzy plik robot.txt domyślnie dla Twojej witryny.

Jeśli nadal masz wątpliwości, istnieje sposób, który pokaże ci, że ten plik istnieje na twojej stronie. Po prostu dodaj „/robots.txt” na końcu nazwy domeny. Pokaże ci plik robots.txt Twojej witryny.

W naszym przypadku „www.alienwp.com/robots.txt” pokazuje plik robots.txt, którego tutaj używamy.

Nie możesz zmienić istniejącego pliku, który będziesz miał w swojej witrynie. Ale jeśli chcesz nim manipulować, musisz utworzyć fizyczny na serwerze. Istniejący jest wirtualny, który nie akceptuje żadnych zmian.

Jak utworzyć plik Robots.txt?

Jeśli w przypadku Twojej witryny nie ma pliku robots.txt, jej utworzenie nie jest trudne. Możesz to łatwo zrobić z panelu administracyjnego za pomocą wtyczki Yoast. Yoast to jedna z najbardziej niesamowitych wtyczek SEO, z których powinna korzystać każda strona WordPressa. Jeśli nadal nie używasz tej wtyczki, zainstaluj ją teraz, aby ulepszyć swoje SEO.

Po zainstalowaniu Yoast musisz najpierw włączyć zaawansowane funkcje Yoast. Możesz to zrobić, przechodząc do SEO> Dashboard> Funkcje> Ustawienia zaawansowane.

Teraz przejdź do SEO> Narzędzia >> Edytor plików.

Tutaj Yoast założy, że nie masz fizycznego pliku Robots.txt, a biorąc pod uwagę to, daje ci możliwość utworzenia takiego pliku.

Kliknij opcję Utwórz plik Robots.txt. Po wykonaniu tej czynności będziesz mógł edytować zawartość tego pliku z tego samego interfejsu.

Jak utworzyć plik Robots.txt bez wtyczki SEO?

Powyższy proces był sposobem na utworzenie tego pliku za pomocą wtyczki SEO. Ale możesz go utworzyć, nawet jeśli nie używasz takiej wtyczki. Można to zrobić za pomocą SFTP. Jest to bardzo proste.

W tym celu najpierw musisz utworzyć pusty plik. Nazwij go jako Robots.txt i zapisz go.

W następnym kroku będziesz musiał połączyć się ze swoją stroną przez SFTP. Kinsta ma przewodnik po jak połączyć się z SFTP . Po nawiązaniu połączenia musisz przesłać plik do folderu głównego swojej witryny. Jeśli chcesz dokonać modyfikacji tego pliku, możesz to zrobić, edytując go za pomocą SFTP i przesyłając jego nową wersję.

Jak korzystać z pliku Robots.txt, aby zablokować dostęp do określonej strony?

Możesz zablokować określony plik lub folder swojej witryny, używając pliku robots.txt. Załóżmy, że chcesz zablokować Google indeksowanie całego folderu wp-admin i wp-login.php. Następujące polecenie pomoże Ci to zrobić na swojej stronie.

User-agent: * Disallow: / wp-admin / Allow: /wp-login.php

Co umieścić w pliku Robot.txt?

Kiedy tworzysz plik robots.txt na swojej stronie, zazwyczaj robisz to za pomocą dwóch głównych poleceń.

• User-agent - Korzystając z agenta użytkownika, możesz kierować do konkretnego bota lub wyszukiwarki w prostszych słowach. Twój agent użytkownika jest inny dla różnych wyszukiwarek. Tak więc agent użytkownika dla Google nie będzie taki sam dla Bing.
• Disallow - za pomocą tego polecenia nie można uzyskać dostępu do określonych obszarów witryny w wyszukiwarkach. Dlatego wyszukiwarki nie docierają do obszarów, w których używane jest to polecenie.

Czasami może być także używane polecenie Zezwalaj. Jest to zazwyczaj stosowane w sytuacjach niszowych. Nawet jeśli nie użyjesz tego polecenia, większość tej witryny jest objęta tym poleceniem. Jest to ustawione domyślnie w witrynie WordPress.

Powyższe zasady są tylko podstawowymi. Jest więcej reguł, o których musisz wiedzieć. Oto kilka z nich.

• Zezwalaj - to polecenie wyraźnie zezwala wyszukiwarkom na przeszukiwanie za pośrednictwem jednostki na serwerze
• Mapa witryny - Ta komenda informuje roboty indeksujące, gdzie znajdują się mapy witryn Twojej witryny
• Host - host definiuje preferowaną domenę dla witryny z wieloma serwerami lustrzanymi
• Opóźnienie indeksowania - Za pomocą tego polecenia można ustawić przedział czasu, w którym wyszukiwarki powinny czekać między żądaniami na serwer

Jak tworzyć różne reguły dla różnych botów?

Plik robots.txt ma własną składnię w celu zdefiniowania reguł, które są powszechnie znane jako dyrektywy. Jak już wspomnieliśmy wcześniej, różne boty mają różne polecenia użytkownika-agenta. A co, jeśli chcesz ustawić plik Robots.txt dla różnych botów?

W takim przypadku będziesz musiał dodać zestaw reguł pod deklaracją agenta użytkownika dla każdego bota.

W poniższym poleceniu pokażemy, jak utworzyć jedną regułę dla wszystkich botów, a drugą specjalnie dla Binga.

User-agent: * Disallow: / wp-admin / User-agent: Bingbot Disallow: /

Dodając powyższe polecenie, będziesz mógł zablokować wszystkim botom dostęp do obszaru wp-admin Twojej witryny. Wyszukiwarka Bing nie będzie jednak miała dostępu do całej witryny.

Rzeczy, których należy unikać Podczas Tworzenia pliku Robots.txt

są pewne rzeczy, których należy unikać podczas tworzenia pliku Robots.txt. Pierwszym i najważniejszym błędem popełnionym przez wielu niedoświadczonych właścicieli stron internetowych jest zapewnienie miejsca na początku polecenia.

Drugą rzeczą, o której należy pamiętać, jest to, że nie można i nie należy zmieniać reguł poleceń. Trzecią rzeczą, którą wielu ludzi ignoruje, jest właściwe użycie wielkich i małych liter podczas pisania polecenia.

Upewnij się, że dokładnie sprawdziłeś przypadek swoich poleceń. Nie można pisać agenta użytkownika ani agenta użytkownika, w którym powinien on być agentem użytkownika. Mam nadzieję, że odkryłeś różnicę w trzech kategoriach.

Dodawanie map witryn XML do pliku Robots.txt

Jeśli Twoja witryna już korzysta z wtyczki SEO, takiej jak Yoast, automatycznie doda polecenia związane z mapami XML witryny do pliku robots.txt.

Ale jeśli twoja wtyczka nie doda tych poleceń, musisz to zrobić samodzielnie. Twoja wtyczka wyświetli link do Twoich map witryn XML. Musisz sam dodać go do pliku robots.txt.

Jak wiedzieć, że Twój plik Robots.txt nie ma wpływu na treść?

Czasami możesz chcieć sprawdzić, czy na twoją zawartość ma wpływ plik robots.txt. Aby sprawdzić i upewnić się, że nie ma to wpływu na zawartość, możesz skorzystać z Narzędzia dla webmasterów o nazwie „Pobierz jako narzędzie Bot”. To narzędzie pozwoli Ci sprawdzić, czy Twój plik robots.txt uzyskuje dostęp do treści.

W tym celu musisz najpierw zalogować się do narzędzia Google dla webmasterów. Teraz przejdź do Diagnostic and Fetch as Google Bot. Tam możesz umieścić treść witryny i sprawdzić, czy masz problemy z dostępem do niej.

Ostatnie słowa

Jak już wspomniano, większość witryn WordPress domyślnie ma robots.txt. Ale za pomocą pliku robots.txt możesz kontrolować sposób, w jaki określony bot lub wyszukiwarka współdziała z określoną częścią witryny.

Ważne jest, aby wiedzieć, że polecenie disallow nie jest tym samym co tag noindex. Wyszukiwarki mogą zostać zablokowane za pomocą robots.txt, ale nie mogą powstrzymać ich przed indeksowaniem witryny. Możesz manipulować sposobem, w jaki wyszukiwarki współpracują z Twoją witryną, dodając określone reguły.

Ale dobrze jest wiedzieć, która część witryny powinna zostać zaindeksowana i której części należy odmówić dostępu. Ponieważ Google ogólnie patrzy na Twoją witrynę jako całość. Jeśli więc użyjesz tych plików do zablokowania ważnej części, o której Google musi wiedzieć, możesz po prostu wylądować na poważnych problemach.

Na przykład, jeśli nieświadomie używasz pliku robots.txt, aby zablokować komponent do stylizacji. W takim przypadku Google uzna, że ​​Twoja witryna ma niższą jakość, a nawet może Cię ukarać.

Większość treści, które chcesz umieścić w pliku robots.txt, zależy od Twojej witryny. Mogą to być Twoje linki partnerskie, obszar pulpitu nawigacyjnego lub jakikolwiek inny konkretny obszar, który nie powinien być dostępny dla botów. Możesz to zrobić również dla wtyczek i motywów.

Mamy nadzieję, że ten przewodnik był dla Ciebie pomocny. Prosimy o pozostawienie nam komentarza poniżej w przypadku dalszych pytań. Chcielibyśmy wrócić do ciebie.

Liczba wyświetleń: 4,004

powiązane posty

Informacje o autorze

Kaveri jest niezależnym pisarzem, który uwielbia pisać o WordPressie i marketingu cyfrowym.