robots.txt: mit szabályoz ez a fájl?
A robots.txt a webhely gyökerében elérhető szöveges fájl, amely az együttműködő robotoknak jelzi, mely URL-eket térképezhetik fel. Feltérképezési szabályokat közöl; nem jelszavas védelem, és egy URL Google-találatokból való kizárását sem garantálja.
Más elnevezések: robots fájl
Röviden
- A robots.txt a robot lekéréseit szabályozza, nem a látogatók jogosultságát.
- Egy feltérképezéstől tiltott URL más hivatkozások alapján még megjelenhet a keresőben.
- A Google a noindex utasítást az oldalon vagy a HTTP-válaszban olvassa; robots.txt-ben nem támogatja.
Ezen az oldalon

Hol található, és mire vonatkozik?
Egy HTTPS-webhely szokásos helye a https://example.com/robots.txt. A fájl neve kisbetűs, a tartalma egyszerű szöveg. A szabályokat annak a címnek a környezetében kell értelmezni, ahonnan a robot lekéri: egy másik aldomain saját robots.txt fájlt használhat.
A Google specifikációja alapján a szabály hatóköre a protokollhoz, a hoszthoz és a porthoz kötődik. Emiatt a fő domainen ellenőrzött fájl nem bizonyítja automatikusan, hogy a blog aldomainje is ugyanazt engedi. A /hu/robots.txt pedig nem a teljes webhely szokásos robots.txt helye.
A gyakorlati kérdés mindig az: melyik robot melyik pontos URL-t szeretné lekérni? A „tiltottuk a botokat” túl tág állítás ahhoz, hogy egy hibát meg lehessen belőle érteni.
Hogyan olvass egy egyszerű robots.txt fájlt?
Ez kitalált, kizárólag szemléltető példa:
User-agent: *
Disallow: /nyomtatas/
Sitemap: https://example.com/sitemap.xml
A User-agent megnevezi a robotot vagy robotcsoportot. A csillag az általános csoportot jelöli. A Disallow a megadott útvonallal kezdődő címek lekérését tiltja az ide tartozó robotoknak. A Sitemap az XML-webhelytérkép teljes címét adja meg.
Ebben a példában a nyomtatási változatok lekérését korlátozzuk. A sor nem a teljes webhely tiltása, de a megadott útvonal alatt minden érintett címre kiterjedhet. Egyetlen perjelre rövidített útvonal ezért egészen más eredményt adna. A példát ne másold át a saját útvonalaid és céljaid ellenőrzése nélkül.
Miért nem ugyanaz, mint a noindex?
A Google robots.txt bevezetője világosan külön kezeli a robotforgalom szabályozását és az oldal keresőből való kizárását. Ha a robot nem töltheti le az oldalt, a tartalmát sem tudja így megismerni. Maga az URL azonban más oldalakról érkező hivatkozások alapján ismert maradhat.
A noindex más feladatot végez: az azt értelmező keresőnek azt mondja, hogy az oldalt ne szerepeltesse az indexben. A Google noindex-leírása szerint ehhez a robotnak hozzá kell férnie az utasítást tartalmazó válaszhoz. A robots.txt-ben megadott noindex mezőt a Google nem támogatja.
Ezért egy oldalszintű noindex és egy ugyanazt az oldalt blokkoló robots-szabály nem egyszerűen „kétszeres védelem”: a második megakadályozhatja az első elolvasását.
Mitől marad valóban privát egy dokumentum?
A robots.txt nyilvánosan olvasható. Nem veszi el a felhasználók hozzáférését, és egy szabályt figyelmen kívül hagyó programot sem állít meg. Az RFC 9309 biztonsági része is rögzíti, hogy a protokoll nem hozzáférés-szabályozási megoldás.
Ha egy árajánlat, személyes adat vagy belső dokumentum csak meghatározott embereké, azt a kiszolgálón kell jogosultsághoz kötni. A tiltott útvonal felsorolása még fel is hívhatja a figyelmet annak létezésére. A titkosnak szánt mappa neve nem válik titkossá attól, hogy beleírod a fájlba.
A nyilvánosság és az indexelés két külön döntés. Lehet nyilvánosan hozzáférhető, de keresőből kizárt oldal; és lehet valóban zárt oldal, amelyet csak az arra jogosult lát.
Példa: egy szálláshely kétféle oldala
Tegyük fel, hogy egy képzeletbeli vendégháznak van egy nyilvános szobaoldala és egy vendégeknek szánt, személyes foglalási dokumentuma. A szobaoldal célja, hogy az érdeklődők megtalálják. A foglalási dokumentum célja, hogy kizárólag a megfelelő vendég érhesse el.
Ha a kezelő mindkettőt a robots.txt segítségével próbálja rendezni, összekeveri a keresőrobot és a felhasználó jogosultságát. A szobaoldalnál a feltérképezés engedélyezése lehet kívánatos; a dokumentumnál valódi hozzáférés-ellenőrzés szükséges. Ez a példa nem általános konfigurációs recept, hanem két eltérő cél különválasztása.
Mit ellenőrizz változtatás előtt?
Először nevezd meg a célt: felesleges lekéréseket korlátozol, keresési megjelenést zársz ki, vagy adatot védesz? Ezután vizsgáld meg a tényleges domainen kiszolgált fájlt és a szabályba eső néhány konkrét URL-t.
Nézd meg a robots.txt minden robotcsoportját, ne csak az első néhány sort. Ellenőrizd, nem érint-e a változtatás szükséges képet, stílusfájlt vagy nyilvános tartalmat is. A mentett szerkesztői beállítás helyett végül mindig a ténylegesen elérhető választ vizsgáld: abból dolgozik a robot is.
A fájl helyes kiszolgálása a technikai SEO része. A HTTP-állapotkód azt is jelzi, sikerült-e egy lekérés, míg a HTTPS az adatátvitel védelméhez kapcsolódik. Ezeket a feladatokat külön kell értékelni a robots.txt-ben megadott bejárási szabályoktól.