Robots.txt használatáról közérthetően-példákkal

Hogyan működik a Robots.txt?

Amikor egy keresőmotor feltérképező robotja, mint például a Googlebot vagy a Bingbot, meglátogatja az Ön weboldalát, az első dolog, amit általában keres, a robots.txt fájl. Ha talál ilyet, elolvassa az utasításokat, mielőtt továbblépne a webhely többi részének feltérképezésére. Ezek az utasítások, más néven direktívák, megmondják a feltérképezőnek, hogy mely URL-ekhez van engedélye vagy tilos hozzáférnie. Ha nem található robots.txt fájl, a feltérképező általában feltételezi, hogy a weboldal minden részét feltérképezheti.

Fontos megérteni, hogy a robots.txt egy irányelvrendszer, nem pedig egy bolondbiztos biztonsági intézkedés. Bár a legtöbb jó hírű keresőmotor-feltérképező tiszteletben tartja ezeket a direktívákat, a rosszindulatú robotok vagy más típusú weboldal-adatgyűjtők figyelmen kívül hagyhatják azokat. Ezért soha ne támaszkodjon a robots.txt-re érzékeny információk védelmében.

A Robots.txt SEO szempontú használatának előnyei

• A duplikált tartalom indexelésének megakadályozása: A keresőmotorok néha ugyanannak a tartalomnak több verzióját is indexelhetik, például nyomtatóbarát oldalakat vagy különböző URL-paraméterekkel rendelkező oldalakat. Ha a robots.txt fájlban letiltja a hozzáférést ezekhez a duplikált verziókhoz, segíthet a keresőmotoroknak a fő, kiváló minőségű tartalom indexelésére összpontosítani.
• A feltérképezési költségvetés megőrzése: A keresőmotorok egy bizonyos "feltérképezési költségvetést" különítenek el minden weboldal számára, amely azt jelenti, hogy egy adott időkereten belül hány oldalt fognak feltérképezni. Ha letiltja a hozzáférést a kevésbé fontos oldalakhoz (például belső keresési eredmények vagy tesztkörnyezetek), biztosítja, hogy a keresőmotorok feltérképezői az értékes idejüket a legfontosabb, felhasználóknak szánt tartalom feltérképezésére és indexelésére fordítsák.
• A hozzáférés szabályozása bizonyos területekhez: Lehetnek olyan részei a webhelyének, amelyek nem nyilvánosak vagy nem indexelhetők, például adminisztrációs irányítópultok, belső eszközök vagy fejlesztői környezetek. A robots.txt lehetővé teszi, hogy megakadályozza a keresőmotorok feltérképezőinek hozzáférését ezekhez a területekhez, így azok nem jelennek meg a keresési eredmények között.
• A szerver terhelésének kezelése: Ha webhelye nagy forgalmat bonyolít le, vagy korlátozottak a szerver erőforrásai, a robots.txt segítségével visszatarthat bizonyos robotokat az agresszív feltérképezéstől, ezzel is segítve a szerver túlterhelésének megelőzését.

A Robots.txt alapvető formátuma

A robots.txt fájl egy egyszerű szöveges fájl, amelynek pontosan "robots.txt" a neve, és a webhely gyökérkönyvtárában kell elhelyezkednie (pl. https://www.sajatdomainom.hu/robots.txt). A fájl minden direktívája külön sorban jelenik meg, és egy meghatározott szintaxist követ. Az alapvető szerkezet egy User-agent (a direktíva által érintett robot neve) megadását foglalja magában, amelyet egy vagy több direktíva követ, mint például a Disallow vagy az Allow.

Egyéb direktívák

• Host: Ezt a direktívát a webhely preferált domainjének megadására használták, különösen régebbi keresőmotorok esetében. A modern keresőmotorok általában kanonikus címkékkel és más módszerekkel kezelik ezt, így a Host manapság kevésbé elterjedt.
  • Példa:

    Host: www.sajatdomainom.hu

• Crawl-delay: Ez a direktíva egy adott robot által küldött feltérképezési kérelmek közötti késleltetést javasol másodpercekben. Ez hasznos lehet a szerver túlterhelésének megakadályozására agresszív feltérképezők esetén. Azonban nem minden keresőmotor tartja tiszteletben ezt a direktívát, és a Google ehelyett a Google Search Console-ban található feltérképezési sebesség beállításainak használatát javasolja.
  • Példa:

    User-agent: *
    Crawl-delay: 5

• Clean-param: Ez a direktíva azt mondja a keresőmotoroknak, hogy hagyják figyelmen kívül bizonyos URL-paramétereket, hogy megakadályozzák az ezen paraméterek által okozott duplikált tartalom indexelését (pl. követési azonosítók). A Google elavulttá nyilvánította ezt a direktívát, és általában jobb a paraméterkezelést a Google Search Console-ban végezni.
  • Példa:

    Clean-param: sessionid /termekek/index.php

Alapvető Robots.txt fájl létrehozása

• Nyisson meg egy egyszerű szövegszerkesztőt: Használjon egy egyszerű szövegszerkesztőt, mint a Jegyzettömb (Windows), a TextEdit (Mac) vagy egy kódszerkesztőt. Kerülje a szövegszerkesztő programok, például a Microsoft Word használatát, mivel ezek olyan formázást adhatnak hozzá, amely érvénytelenné teszi a fájlt.
• Kezdje a User-agent direktívával: Kezdje a megcélozni kívánt felhasználói ügynök(ök) megadásával. Használja a User-agent: * direktívát a következő szabályok összes robotra való alkalmazásához, vagy adjon meg egy adott robotot, például User-agent: Googlebot.
• Adja hozzá a Disallow és Allow direktívákat: Külön sorokban adja hozzá a letiltani kívánt útvonalakra vonatkozó Disallow direktívákat és a kivételekre vonatkozó Allow direktívákat (ha szükséges). Ne feledje, hogy az útvonalak kis- és nagybetű érzékenyek.
• Adja hozzá a Sitemap direktívát: Adjon hozzá egy sort, amely megadja az XML oldaltérkép fájljának teljes URL-jét.
• Mentse el a fájlt: Mentse el a fájlt pontosan robots.txt (csupa kisbetűvel) néven.
• Töltse fel a gyökérkönyvtárba: Töltse fel a robots.txt fájlt a webhely gyökérkönyvtárába. Ez általában ugyanazon a szinten található, mint az index.html fájl. Ehhez általában egy FTP-kliensre vagy a webhosting szolgáltatója által biztosított fájlkezelőre lesz szüksége.

Hasznos online eszközök és generátorok

Számos online eszköz és generátor segíthet egy alapvető robots.txt fájl létrehozásában. Ezek az eszközök gyakran felhasználóbarát felületet biztosítanak, ahol kiválaszthatja a gyakori direktívákat, és létrehozhatja a fájlt anélkül, hogy manuálisan kellene beírnia a szintaxist. Azonban mindig ellenőrizze a generált fájlt, hogy az megfelel-e az Ön egyedi igényeinek.

Bemutatkozik a Robots.txt elemző

Haladóbb felhasználási esetekben a fejlesztőknek programozottan kellhet elemezniük vagy érvényesíteniük a robots.txt fájlokat. Itt jönnek képbe a dedikált elemzők. Például létrehozhat egy olyan eszközt, amely automatikusan ellenőrzi a gyakori robots.txt hibákat nagyszámú webhelyen.

Ismerje meg a robotstxt.js-t

Bemutatkozik a robotstxt.js, egy könnyű és hatékony JavaScript-alapú robots.txt elemző: https://github.com/playfulsparkle/robotstxt.js (új ablakban nyílik meg).

Főbb jellemzők és előnyök:

• Könnyű és hatékony: Minimális terhelésre és gyors feldolgozásra tervezve.
• JavaScript-alapú: Zökkenőmentesen integrálható webfejlesztői környezetekbe és Node.js alkalmazásokba.

Hasznos olyan feladatokhoz, mint:

• Programozottan ellenőrizni, hogy egy adott URL tiltott-e egy adott felhasználói ügynök számára: Ez lehetővé teszi egyedi logika létrehozását a robots.txt szabályok alapján.
• Egyedi robots.txt elemző eszközök létrehozása: A robotstxt.js segítségével olyan eszközöket hozhat létre, amelyek automatikusan érvényesítik és azonosítják a potenciális problémákat a robots.txt fájlokban.
• A robots.txt elemzés integrálása más JavaScript alkalmazásokba: Például beépítheti a robots.txt ismeretét saját weboldal-adatgyűjtő vagy feltérképező eszközeibe.

Ahhoz, hogy valóban megértsük egy webhely keresőmotorok számára való elérhetőségét, a robots.txt elemző (új ablakban nyílik meg) létfontosságú szerepet játszik. Például a Playful Sparkle SEO Audit (új ablakban nyílik meg), egy könnyű SEO auditáló eszköz, amely böngésző bővítményként érhető el, aktívan beépíti ezt a technológiát.

Egy webhely robots.txt fájljának elemzésével a bővítmény meg tudja állapítani, hogy az éppen megtekintett weboldal URL-je szándékosan le van-e tiltva a keresőmotorok feltérképezői elől. Ez értékes, nem tolakodó betekintést nyújt a webhely láthatóságát, felhasználói elkötelezettségét és általános teljesítményét befolyásoló potenciális problémákba a keresési eredmények között.

A Robots Meta Tag-ek és az X-Robots-Tag implementálása

Míg a robots.txt a feltérképezést webhelyszinten szabályozza, az indexelést és a hivatkozások követését oldal- vagy egyedi erőforrás szinten is szabályozhatja a robots meta tag-ek és az X-Robots-Tag segítségével.

• Robots Meta Tag-ek: (<meta name="robots" content="...">): Ezek egy HTML-oldal <head> részében helyezkednek el, és utasításokat adnak a keresőmotorok feltérképezőinek az adott oldal kezelésére vonatkozóan. A tartalom attribútum gyakori értékei közé tartoznak:
  • noindex: Megakadályozza az oldal indexelését.
  • nofollow: Megakadályozza, hogy a keresőmotorok kövessenek bármilyen hivatkozást az oldalon.
  • noindex, nofollow: A két direktíva kombinációja.
  • index, follow: Az alapértelmezett viselkedés, amely explicit módon engedélyezi az indexelést és a követést.
  • none: A noindex, nofollow-nak megfelelő.
  • all: Az index, follow-nak megfelelő.
  Példa: Egy adott oldal indexelésének megakadályozására:

  <head>
    <meta name="robots" content="noindex">
  </head>

• X-Robots-Tag: Ez egy HTTP-fejléc, amely hasonlóan szabályozza az indexelést és a követést nem HTML-alapú erőforrások, például PDF-fájlok, képek és videók esetében. HTML-oldalakhoz is használható.
  
  Példa (a szerver konfigurációs fájljában, pl. .htaccess Apache esetén):

  <FilesMatch "\.(pdf|jpg|jpeg|png)$">
      Header set X-Robots-Tag "noindex"
  </FilesMatch>

A Robots.txt, a Robots Meta Tag-ek és az X-Robots-Tag közötti különbségek

• Robots.txt: Szabályozza, hogy a feltérképezők a webhely mely részeihez férhetnek hozzá. Ez egy webhelyszintű direktíva.
• Robots Meta Tag-ek: Szabályozzák, hogy az egyes HTML-oldalakat hogyan kell indexelni, és hogy a rajtuk lévő hivatkozásokat követni kell-e. Ez egy oldalszintű direktíva.
• X-Robots-Tag: Hasonló szabályozást biztosít, mint a robots meta tag-ek, de nem HTML-alapú erőforrásokhoz is használható, és a HTTP-fejléc szintjén van implementálva.

A Robots.txt problémáinak azonosítása

• Lépjen be a Google Search Console fiókjába.
• Válassza ki a webhely tulajdonát.
• Navigáljon a bal oldali menüsorban található Beállítások menüpontra.
• A Feltérképezés szakasz alatt talál egy sort, amely jelzi a robots.txt fájl állapotát (pl. "robots.txt - Minden fájl érvényes").
• Erre a sorra kattintva megnyílik egy jelentés, amely részleteket tartalmaz a domain robots.txt fájljairól, beleértve az azonosított problémákat vagy figyelmeztetéseket. Ez a jelentés lehetővé teszi a robots.txt fájl tartalmának áttekintését, és azt, hogy a Googlebot problémába ütközik-e annak értelmezése során.

Gyakori figyelmeztetések és azok megoldásai

• "robots.txt által blokkolva": Ez a figyelmeztetés a Lefedettség jelentésben (az Index szakaszból érhető el) azt jelzi, hogy néhány oldala le van tiltva a feltérképezés elől. Vizsgálja meg, hogy ez szándékos-e. Ha fontos oldalak vannak blokkolva, tekintse át a Disallow szabályait, és végezze el a szükséges módosításokat.
• Szintaktikai hibák: A Feltérképezés szakaszban található robots.txt jelentés kiemeli a fájlban található szintaktikai hibákat. Javítsa ki ezeket a hibákat, hogy a keresőmotorok megfelelően értsék a direktívákat.
• Helytelen fájlhely: Ha a Google Search Console problémát jelez a robots.txt fájllal kapcsolatban, győződjön meg arról, hogy a fájl neve pontosan robots.txt (kisbetűvel) és a webhely gyökérkönyvtárában található.

Hibaelhárítási lépések

• Gondosan tekintse át a robots.txt jelentésben található Disallow és Allow szabályait, hogy megbizonyosodjon arról, hogy a kívánt tartalmat és felhasználói ügynököket célozzák meg.
• Ellenőrizze, hogy véletlenül nem tiltotta-e le fontos CSS- vagy JavaScript-fájlokat, amelyek megakadályozhatják a Googlebotot az oldalak helyes megjelenítésében (ezt a Lefedettség jelentés vagy más tesztelés jelezheti).
• Ha módosította a robots.txt fájlt, várjon egy kis időt, amíg a keresőmotorok újra feltérképezik és felismerik a frissítéseket. A Google Search Console-ban kérheti bizonyos URL-ek indexelését is, ha korábban le voltak tiltva, és most engedélyezettek.

A helyes User-agent azonosításának fontossága

Egy adott rosszindulatú robot blokkolásához ismernie kell annak pontos User-Agent karaktersorozatát. Ezt az információt általában a rosszindulatú robot fejlesztői adják meg. Ezután hozzáadhat egy Disallow direktívát, amely ezt a konkrét felhasználói ügynököt célozza meg.

Példa: Ha egy hipotetikus "Pelda-RosszindulatuBot" felhasználói ügynökkel rendelkező rosszindulatú robotot szeretne blokkolni:

User-agent: Pelda-RosszindulatuBot
Disallow: /

Ez megakadályozná, hogy a "Pelda-RosszindulatuBot" hozzáférjen a teljes webhelyéhez.

Szempontok és lehetséges korlátozások

• User-agent hamisítás: Egyes rosszindulatú robotok nem feltétlenül tartják be a bejelentett felhasználói ügynöküket, vagy akár más felhasználói ügynököket (például a Googlebotot) is megpróbálhatnak hamisítani, hogy hozzáférést nyerjenek.
• Fejlődő User-agent-ek: A rosszindulatú robotok felhasználói ügynökének karaktersorozatai idővel változhatnak, ezért előfordulhat, hogy rendszeresen frissítenie kell a robots.txt fájlt a kívánt blokkolás fenntartásához.
• Felfedezési kihívások: Az összes releváns rosszindulatú robot felhasználói ügynökének azonosítása kihívást jelenthet, mivel a rosszindulatú technológia világa folyamatosan fejlődik.