Ugrás a tartalomra
searchboar.

Feltérképezés és indexelés

robots.txt: mit szabályoz ez a fájl?

A robots.txt a webhely gyökerében elérhető szöveges fájl, amely az együttműködő robotoknak jelzi, mely URL-eket térképezhetik fel. Feltérképezési szabályokat közöl; nem jelszavas védelem, és egy URL Google-találatokból való kizárását sem garantálja.

Más elnevezések: robots fájl

Röviden

  • A robots.txt a robot lekéréseit szabályozza, nem a látogatók jogosultságát.
  • Egy feltérképezéstől tiltott URL más hivatkozások alapján még megjelenhet a keresőben.
  • A Google a noindex utasítást az oldalon vagy a HTTP-válaszban olvassa; robots.txt-ben nem támogatja.
Ezen az oldalon
A webhely bejáratánál elhelyezett szabálylap jelzi, mely útvonalakat járhatja be a feltérképező.
A robots.txt feltérképezési szabályokat közöl. Nem belépési jogosultság és nem adatvédelmi zár.

Hol található, és mire vonatkozik?

Egy HTTPS-webhely szokásos helye a https://example.com/robots.txt. A fájl neve kisbetűs, a tartalma egyszerű szöveg. A szabályokat annak a címnek a környezetében kell értelmezni, ahonnan a robot lekéri: egy másik aldomain saját robots.txt fájlt használhat.

A Google specifikációja alapján a szabály hatóköre a protokollhoz, a hoszthoz és a porthoz kötődik. Emiatt a fő domainen ellenőrzött fájl nem bizonyítja automatikusan, hogy a blog aldomainje is ugyanazt engedi. A /hu/robots.txt pedig nem a teljes webhely szokásos robots.txt helye.

A gyakorlati kérdés mindig az: melyik robot melyik pontos URL-t szeretné lekérni? A „tiltottuk a botokat” túl tág állítás ahhoz, hogy egy hibát meg lehessen belőle érteni.

Hogyan olvass egy egyszerű robots.txt fájlt?

Ez kitalált, kizárólag szemléltető példa:

User-agent: *
Disallow: /nyomtatas/
Sitemap: https://example.com/sitemap.xml

A User-agent megnevezi a robotot vagy robotcsoportot. A csillag az általános csoportot jelöli. A Disallow a megadott útvonallal kezdődő címek lekérését tiltja az ide tartozó robotoknak. A Sitemap az XML-webhelytérkép teljes címét adja meg.

Ebben a példában a nyomtatási változatok lekérését korlátozzuk. A sor nem a teljes webhely tiltása, de a megadott útvonal alatt minden érintett címre kiterjedhet. Egyetlen perjelre rövidített útvonal ezért egészen más eredményt adna. A példát ne másold át a saját útvonalaid és céljaid ellenőrzése nélkül.

Miért nem ugyanaz, mint a noindex?

A Google robots.txt bevezetője világosan külön kezeli a robotforgalom szabályozását és az oldal keresőből való kizárását. Ha a robot nem töltheti le az oldalt, a tartalmát sem tudja így megismerni. Maga az URL azonban más oldalakról érkező hivatkozások alapján ismert maradhat.

A noindex más feladatot végez: az azt értelmező keresőnek azt mondja, hogy az oldalt ne szerepeltesse az indexben. A Google noindex-leírása szerint ehhez a robotnak hozzá kell férnie az utasítást tartalmazó válaszhoz. A robots.txt-ben megadott noindex mezőt a Google nem támogatja.

Ezért egy oldalszintű noindex és egy ugyanazt az oldalt blokkoló robots-szabály nem egyszerűen „kétszeres védelem”: a második megakadályozhatja az első elolvasását.

Mitől marad valóban privát egy dokumentum?

A robots.txt nyilvánosan olvasható. Nem veszi el a felhasználók hozzáférését, és egy szabályt figyelmen kívül hagyó programot sem állít meg. Az RFC 9309 biztonsági része is rögzíti, hogy a protokoll nem hozzáférés-szabályozási megoldás.

Ha egy árajánlat, személyes adat vagy belső dokumentum csak meghatározott embereké, azt a kiszolgálón kell jogosultsághoz kötni. A tiltott útvonal felsorolása még fel is hívhatja a figyelmet annak létezésére. A titkosnak szánt mappa neve nem válik titkossá attól, hogy beleírod a fájlba.

A nyilvánosság és az indexelés két külön döntés. Lehet nyilvánosan hozzáférhető, de keresőből kizárt oldal; és lehet valóban zárt oldal, amelyet csak az arra jogosult lát.

Példa: egy szálláshely kétféle oldala

Tegyük fel, hogy egy képzeletbeli vendégháznak van egy nyilvános szobaoldala és egy vendégeknek szánt, személyes foglalási dokumentuma. A szobaoldal célja, hogy az érdeklődők megtalálják. A foglalási dokumentum célja, hogy kizárólag a megfelelő vendég érhesse el.

Ha a kezelő mindkettőt a robots.txt segítségével próbálja rendezni, összekeveri a keresőrobot és a felhasználó jogosultságát. A szobaoldalnál a feltérképezés engedélyezése lehet kívánatos; a dokumentumnál valódi hozzáférés-ellenőrzés szükséges. Ez a példa nem általános konfigurációs recept, hanem két eltérő cél különválasztása.

Mit ellenőrizz változtatás előtt?

Először nevezd meg a célt: felesleges lekéréseket korlátozol, keresési megjelenést zársz ki, vagy adatot védesz? Ezután vizsgáld meg a tényleges domainen kiszolgált fájlt és a szabályba eső néhány konkrét URL-t.

Nézd meg a robots.txt minden robotcsoportját, ne csak az első néhány sort. Ellenőrizd, nem érint-e a változtatás szükséges képet, stílusfájlt vagy nyilvános tartalmat is. A mentett szerkesztői beállítás helyett végül mindig a ténylegesen elérhető választ vizsgáld: abból dolgozik a robot is.

A fájl helyes kiszolgálása a technikai SEO része. A HTTP-állapotkód azt is jelzi, sikerült-e egy lekérés, míg a HTTPS az adatátvitel védelméhez kapcsolódik. Ezeket a feladatokat külön kell értékelni a robots.txt-ben megadott bejárási szabályoktól.

Források

  1. Google: mire használható a robots.txt?
  2. Google: a robots.txt szabályainak értelmezése
  3. RFC 9309: Robots Exclusion Protocol
  4. Google: indexelés kizárása noindex utasítással