Ugrás a tartalomra
searchboar.

Feltérképezés és indexelés

Webrobot ellenőrzése: jelentés, példák és korlátok

A webrobot ellenőrzése annak vizsgálata, hogy egy automatizált kérés valóban attól a szolgáltatótól érkezik-e, amelynek vallja magát. Dokumentált IP-tartományokra vagy ellenőrzött DNS-adatokra támaszkodik, nem pusztán a user-agent nevére.

Más elnevezések: Bot verification

Röviden

  • A robot neve könnyen utánozható.
  • Az adott szolgáltató aktuális ellenőrzési módszerét kell követni.
  • Az igazolt eredet nem helyettesíti a hozzáférési és költségkorlátokat.
Ezen az oldalon
Egy bemutatkozó jelvényt független címnyilvántartással vetnek össze.
A webrobot ellenőrzése annak vizsgálata, hogy egy automatizált kérés valóban attól a szolgáltatótól érkezik-e, amelynek vallja magát.

Mit ellenőrzünk pontosan?

Egy kérés a user-agent fejlécbe írt névvel Googlebotnak vallhatja magát. Ez nem kriptográfiai bizonyíték. Az ellenőrzés a kérés eredetét a szolgáltató függetlenül közzétett adataival veti össze.

A Google dokumentált IP-listák ellenőrzését, illetve visszafelé, majd előrefelé végzett DNS-vizsgálatot ír le. A kapott gépnévnek illeszkednie kell a megadott tartományszabályhoz, az előrefelé feloldásnak pedig tartalmaznia kell az eredeti címet. A hihető név önmagában nem elég. Szolgáltatói útmutató

Példa: hirtelen megugró robotforgalom

Képzelj el egy kiadót, amely sok, keresőrobotként bemutatkozó kérést lát. Először azt kell eldönteni, valóban a megnevezett szolgáltatótól jönnek-e. Második kérdés, mit kérnek le és mennyibe kerül a kiszolgálásuk. Ez két külön vizsgálat.

Igazolt eredet mellett is előkerülhet feltérképezési csapda vagy drága dinamikus oldalak ismételt lekérése. Hamis eredetnél pedig a csak névre épülő engedélyezés szükségtelen hozzáférést adhatott az utánzónak.

Milyen ellenőrzési hibák fordulnak elő?

A visszafelé végzett DNS-feloldás előrefelé történő megerősítés nélkül nem teljesíti a dokumentált DNS-módszert. Egy korlátlan szövegrészlet-illesztés megtévesztő gépnevet is elfogadhat. A szolgáltatói IP-lista örök időkre történő elmentése pedig figyelmen kívül hagyja a frissítéseket.

A megvalósítás a szolgáltató eljárását kövesse. Egy szolgáltatás „ellenőrzött robot” besorolásának is van hatóköre; a dokumentációból állapítsd meg, mire érvényes.

Mire nem ad felhatalmazást?

Nem enged be privát fiókoldalakra, nem old fel alkalmazásszintű jogosultságokat, és nem garantál olcsó kiszolgálást. A nyilvános tartalom és a belépéshez kötött termékműködés külön marad. A naplókat, válaszkódokat és forgalmi korlátokat az eredet és a viselkedés alapján együtt vizsgáld. Az ellenőrzés bizonyíték egy döntéshez, nem maga a döntés.

Források

  1. Google: Webrobot ellenőrzése