1. Ale dlaczego Robots.txt jest tak ważny?
2. Co robi Better robots.txt?
3. Jak dodać mapę witryny do pliku robots.txt może wygenerować różnicę?
4. Skoro już wiesz więcej, jak wygląda Twój robots.txt?

Jeśli jesteś użytkownikiem WordPress, jako firma lub agencja, na pewno znasz Yoast SEO, prawdopodobnie jedną z najlepszych wtyczek dostępnych w WordPressie, aby zoptymalizować zawartość i wydajność w wyszukiwarkach.

Dlatego w projektowaniu wtyczki Better Robots.txt naturalnie myśleliśmy, że będziemy kojarzyć się z najlepszymi, aby oferować ... najlepsze z optymalizacji. Ponieważ chodzi o to, zoptymalizuj swoją stronę, aby uzyskać maksymalną efektywność treści.

Czy wiedziałeś? Yoast SEO umożliwia skonfigurowanie wielu elementów wewnątrz witryny, danych META, wszystkich map witryn powiązanych z twoimi stronami, artykułami, produktami… Nawet edycji pliku robots.txt i .htaccess (Zaawansowana konfiguracja). Ale na dzień dzisiejszy nadal nie było rozwiązania łączącego „Sitemap” i „Robots.txt” z zarządzaniem instrukcjami indeksowania dla wyszukiwarek. I to jest dokładnie to Lepiej Robots.txt proponuje współudział YOAST za pomocą indeksu map witryn.

Ale dlaczego Robots.txt jest tak ważny?

Dla przypomnienia, w 2006 r. Yahoo, Microsoft i Google połączyły siły, aby wspierać i wdrażać standardowy protokół przesyłania stron witryny za pomocą map witryn. Od tego czasu wprowadzono kilka metod, aby zachęcić projektantów stron internetowych (agencję, programistę) do religijnego przesyłania różnych map witryn za pomocą narzędzi takich jak Google dla webmasterów (Google Search Console), Bing dla webmasterów, Yahoo, podczas gdy dla innych wyszukiwarek, takich jak DuckDuckGoGo (na przykład) używają wyników bezpośrednio z Bing / Yahoo.

Po około sześciu miesiącach, w kwietniu 2007 r., Yahoo, Microsoft i Google (nadal) dołączyli do systemu wyszukiwania map witryn za pośrednictwem robots.txt o nazwie „autodiscovery mapy witryny”. Oznaczało to, że nawet jeśli mapa witryny nie została przesłana do poszczególnych wyszukiwarek (za pośrednictwem tradycyjnego wykazu), wyszukiwarki nadal mogą znaleźć lokalizację mapy witryny z pliku robots.txt witryny (biorąc pod uwagę, że domyślnie była ona przeczytana) przez wyszukiwarki).

(UWAGA: Przesyłanie mapy witryny jest nadal wykonywane w większości wyszukiwarek umożliwiających przesłanie adresu URL)

W związku z tym od tego momentu plik robots.txt stał się niezbędnym narzędziem (w kontekście komunikacji z wyszukiwarkami), ponieważ pozwolił, poza dowolną formą aukcji, otworzyć drogę do robotów indeksujących w wyszukiwarkach, umożliwiając eksplorację i indeksowanie strony internetowej, z którą jest powiązane.

Stąd znaczenie Robots.txt i jego optymalizacja!

Co robi Better robots.txt?

Lepiej Robots.txt , wśród innych funkcji ( Zobacz opis ) pozwala, po pierwsze, wykryć, czy YOAST SEO jest rzeczywiście zainstalowany w witrynie (co zalecamy) i czy funkcja generowania mapy witryny jest włączona, a następnie automatycznie dodaje adres URL indeksu mapy witryny YOAST (zawierający wszystkie mapy witryn), skutecznie , w pliku robots.txt. Oczywiście, jeśli używasz innej wtyczki SEO (niż YOAST), jest całkowicie możliwe ręczne dodanie map witryn, ale pomyśleliśmy, biorąc pod uwagę sukces (do kilku milionów pobrań YOAST), że bardziej odpowiednie jest powiązanie ze znanym odniesienie wszystkich.

Jak dodać mapę witryny do pliku robots.txt może wygenerować różnicę?

W najprostszej formie mapa witryny to plik XML (.xml), który zawiera listę adresów URL witryny, integrując dodatkowe metadane dla każdego adresu URL (data ostatniej aktualizacji, częstotliwość, przy której zazwyczaj się zmienia, oraz znaczenie w stosunku do innych adresów URL strona), aby wyszukiwarki mogły inteligentniej eksplorować witrynę. W rzeczywistości mapa witryny ogólnie zawiera bardzo cenne informacje dla robotów indeksujących, są to daty ostatnich zmian. Biorąc pod uwagę, że robots.txt jest pierwszym plikiem przeczytanym po załadowaniu witryny do przeglądarki, skorzystaj z tej okazji, aby zaprosić roboty indeksujące do przeglądania map witryn (a tym samym zidentyfikować nowe strony lub zmodyfikowane strony). ostatnia zawartość zostanie faktycznie zindeksowana i wyświetlona w wynikach wyszukiwania.

Skoro już wiesz więcej, jak wygląda Twój robots.txt?

Aby zidentyfikować zawartość pliku robots.txt (a także sprawdzić, czy istnieje), wystarczy skopiować i wkleić adres URL swojej witryny (za pomocą http: // lub https: //) w polu pokazanym poniżej:

Dla porównania, oto nasze: https://better-robots.com/robots.txt. Czy widzisz różnicę?

Zastanawiasz się, czy Twoja agencja wie o tym? Przetestuj swoją stronę za pomocą tego narzędzia. Jeśli zauważysz, że tak nie jest, nasza wtyczka pozwoli Ci rozwiązać ten problem!