Ugrás a tartalomra
searchboar.

Feltérképezés és indexelés

X-Robots-Tag: jelentés, példák és korlátok

Az X-Robots-Tag olyan HTTP-válaszfejléc, amely támogatott indexelési és keresési előnézeti utasításokat közöl. HTML-oldalakra és például PDF-fájlokra is alkalmazható, amelyekben nincs hely HTML robots meta címkének.

Röviden

  • Az utasítás a válasz fejlécében utazik, a dokumentumtörzstől külön.
  • Nem HTML-erőforrásoknál, például PDF-eknél is használható.
  • Nem akadályozza meg a bizalmas fájl jogosulatlan elérését.
Ezen az oldalon
Egy dokumentumboríték már a fájl megnyitása előtt utasítást hordoz.
Az X-Robots-Tag olyan HTTP-válaszfejléc, amely támogatott indexelési és keresési előnézeti utasításokat közöl.

Miért kell külön fejléc?

Egy letölthető PDF-nek nincs olyan HTML-fejrésze, amelybe robots meta címkét lehetne tenni. A kiszolgáló ehelyett X-Robots-Tag: noindex fejlécet küldhet a fájllal. Ugyanez HTML-oldalnál is használható. A támogatott utasításokat és robotspecifikus formákat az elsődleges dokumentáció írja le.

Így a kiszolgálási réteg is része az indexelési döntésnek. Az alkalmazás, a webszerver vagy egy CDN-szabály akkor is hozzáadhat fejlécet, ha a sablonban nincs kizárás.

Példa: nyilvános ellenőrzőlista

Képzelj el egy vállalkozást, amely céloldalról kínál letölthető ellenőrzőlistát. A magyarázó oldalt szeretné kereshetővé tenni, a PDF-et viszont nem akarja külön találatként szerepeltetni. A fájlra szabott fejléc ezt a különbséget fejezheti ki anélkül, hogy a céloldalt kizárná.

A PDF ettől még nyilvánosan letölthető. Bizalmas adathoz hitelesítés és jogosultságkezelés szükséges. A noindex nem jelszó, és nem tiltja meg a cím továbbadását.

Mi történik egymásra rakódó szabályoknál?

Vizsgáld meg az összes ténylegesen kiszolgált utasítást. Egy megengedő HTML-címke nem garantálja a korlátozó fejléc figyelmen kívül hagyását. Egy túl tág telepítési fejléc ezért sok nyilvános oldalt kizárhat. A fájlspecifikus szabály általános eltávolítása más letöltéseket is érinthet.

A szabály csak a szükséges erőforrásokra vonatkozzon. Kiszolgálási vagy cache-módosítás után a valódi választ ellenőrizd. A gyorsítótárazott példány a frissítésig a korábbi fejléceket is megtarthatja.

Mi a feltérképezési korlát?

A robotnak le kell kérnie a választ, hogy elolvashassa a fejlécet. Ha ezt a robots.txt megakadályozza, nem támaszkodhatsz a fejléc megfigyelt eltávolítási utasítására. A lekérhetőség, a tényleges fejléc és az indexállapot külön tény. A konfigurációba írt szándék még nem bizonyítja a nyilvános válasz állapotát.

Források

  1. Google: X-Robots-Tag