Webrobot ellenőrzése: jelentés, példák és korlátok
A webrobot ellenőrzése annak vizsgálata, hogy egy automatizált kérés valóban attól a szolgáltatótól érkezik-e, amelynek vallja magát. Dokumentált IP-tartományokra vagy ellenőrzött DNS-adatokra támaszkodik, nem pusztán a user-agent nevére.
Más elnevezések: Bot verification
Röviden
- A robot neve könnyen utánozható.
- Az adott szolgáltató aktuális ellenőrzési módszerét kell követni.
- Az igazolt eredet nem helyettesíti a hozzáférési és költségkorlátokat.
Ezen az oldalon

Mit ellenőrzünk pontosan?
Egy kérés a user-agent fejlécbe írt névvel Googlebotnak vallhatja magát. Ez nem kriptográfiai bizonyíték. Az ellenőrzés a kérés eredetét a szolgáltató függetlenül közzétett adataival veti össze.
A Google dokumentált IP-listák ellenőrzését, illetve visszafelé, majd előrefelé végzett DNS-vizsgálatot ír le. A kapott gépnévnek illeszkednie kell a megadott tartományszabályhoz, az előrefelé feloldásnak pedig tartalmaznia kell az eredeti címet. A hihető név önmagában nem elég. Szolgáltatói útmutató
Példa: hirtelen megugró robotforgalom
Képzelj el egy kiadót, amely sok, keresőrobotként bemutatkozó kérést lát. Először azt kell eldönteni, valóban a megnevezett szolgáltatótól jönnek-e. Második kérdés, mit kérnek le és mennyibe kerül a kiszolgálásuk. Ez két külön vizsgálat.
Igazolt eredet mellett is előkerülhet feltérképezési csapda vagy drága dinamikus oldalak ismételt lekérése. Hamis eredetnél pedig a csak névre épülő engedélyezés szükségtelen hozzáférést adhatott az utánzónak.
Milyen ellenőrzési hibák fordulnak elő?
A visszafelé végzett DNS-feloldás előrefelé történő megerősítés nélkül nem teljesíti a dokumentált DNS-módszert. Egy korlátlan szövegrészlet-illesztés megtévesztő gépnevet is elfogadhat. A szolgáltatói IP-lista örök időkre történő elmentése pedig figyelmen kívül hagyja a frissítéseket.
A megvalósítás a szolgáltató eljárását kövesse. Egy szolgáltatás „ellenőrzött robot” besorolásának is van hatóköre; a dokumentációból állapítsd meg, mire érvényes.
Mire nem ad felhatalmazást?
Nem enged be privát fiókoldalakra, nem old fel alkalmazásszintű jogosultságokat, és nem garantál olcsó kiszolgálást. A nyilvános tartalom és a belépéshez kötött termékműködés külön marad. A naplókat, válaszkódokat és forgalmi korlátokat az eredet és a viselkedés alapján együtt vizsgáld. Az ellenőrzés bizonyíték egy döntéshez, nem maga a döntés.