X-Robots-Tag: jelentés, példák és korlátok
Az X-Robots-Tag olyan HTTP-válaszfejléc, amely támogatott indexelési és keresési előnézeti utasításokat közöl. HTML-oldalakra és például PDF-fájlokra is alkalmazható, amelyekben nincs hely HTML robots meta címkének.
Röviden
- Az utasítás a válasz fejlécében utazik, a dokumentumtörzstől külön.
- Nem HTML-erőforrásoknál, például PDF-eknél is használható.
- Nem akadályozza meg a bizalmas fájl jogosulatlan elérését.
Ezen az oldalon

Miért kell külön fejléc?
Egy letölthető PDF-nek nincs olyan HTML-fejrésze, amelybe robots meta címkét lehetne tenni. A kiszolgáló ehelyett X-Robots-Tag: noindex fejlécet küldhet a fájllal. Ugyanez HTML-oldalnál is használható. A támogatott utasításokat és robotspecifikus formákat az elsődleges dokumentáció írja le.
Így a kiszolgálási réteg is része az indexelési döntésnek. Az alkalmazás, a webszerver vagy egy CDN-szabály akkor is hozzáadhat fejlécet, ha a sablonban nincs kizárás.
Példa: nyilvános ellenőrzőlista
Képzelj el egy vállalkozást, amely céloldalról kínál letölthető ellenőrzőlistát. A magyarázó oldalt szeretné kereshetővé tenni, a PDF-et viszont nem akarja külön találatként szerepeltetni. A fájlra szabott fejléc ezt a különbséget fejezheti ki anélkül, hogy a céloldalt kizárná.
A PDF ettől még nyilvánosan letölthető. Bizalmas adathoz hitelesítés és jogosultságkezelés szükséges. A noindex nem jelszó, és nem tiltja meg a cím továbbadását.
Mi történik egymásra rakódó szabályoknál?
Vizsgáld meg az összes ténylegesen kiszolgált utasítást. Egy megengedő HTML-címke nem garantálja a korlátozó fejléc figyelmen kívül hagyását. Egy túl tág telepítési fejléc ezért sok nyilvános oldalt kizárhat. A fájlspecifikus szabály általános eltávolítása más letöltéseket is érinthet.
A szabály csak a szükséges erőforrásokra vonatkozzon. Kiszolgálási vagy cache-módosítás után a valódi választ ellenőrizd. A gyorsítótárazott példány a frissítésig a korábbi fejléceket is megtarthatja.
Mi a feltérképezési korlát?
A robotnak le kell kérnie a választ, hogy elolvashassa a fejlécet. Ha ezt a robots.txt megakadályozza, nem támaszkodhatsz a fejléc megfigyelt eltávolítási utasítására. A lekérhetőség, a tényleges fejléc és az indexállapot külön tény. A konfigurációba írt szándék még nem bizonyítja a nyilvános válasz állapotát.