Feltérképezési csapda: jelentés, példák és korlátok
A feltérképezési csapda olyan webhelyszerkezet, amely nagyon nagy vagy gyakorlatilag végtelen, csekély értékű URL-változatsorba vezeti a robotot. Naptárak, szűrők és újabb linkeket létrehozó útvonalak kevés valódi tartalom mellett is előidézhetik.
Más elnevezések: Crawl trap
Röviden
- A gond a folyamatosan bővülő címtér, nem pusztán a nagy webhely.
- Az ismétlődő változatok robot- és szervererőforrást fogyaszthatnak.
- A korlátozásnak meg kell őriznie a hasznos oldalakat és navigációt.
Ezen az oldalon

Hogyan alakul ki a csapda?
Egy naptár végpont nélkül hivatkozhat a következő hónapra. Egy szűrőrendszer minden lehetséges sorrendben kombinálhatja a paramétereket. Ha minden létrejövő oldal további kombinációkra mutat, a robot újabb és újabb, kevés értéket adó címeket fedezhet fel.
A szűrős navigáció önmagában nem hibás. Az okoz gondot, ha az ellenőrizetlen kombinációk korlátlan számú különálló, hasznos dokumentumként viselkednek. A feltérképezési keretről szóló útmutató bemutatja a jelentéktelen URL-ek erőforrás-hatását.
Példa: üres eseménynaptár
Képzelj el hat meghirdetett workshopot és egy naptárat, amely minden jövőbeli hónaphoz oldalt készít. A robot a „következő” linket követve éveknyi üres oldalhoz juthat. A valós információ kevés, a hivatkozott címtér viszont nem az.
Ésszerű megoldás lehet a navigáció értelmes időszakra korlátozása vagy az üres állapotok tudatos kezelése. Nem megoldás kitalált eseményekkel feltölteni a generált oldalakat.
Milyen bizonyítékot keress?
Vizsgáld a lekérési naplókat, a felismert címmintákat és az ezeket létrehozó linkeket. Ismétlődő paraméterkombinációk, egyre távolabbi dátumok vagy egymásba ágyazódó útvonalak mutathatják a mechanizmust. A nagy darabszám önmagában nem bizonyít csapdát: egy valóban nagy katalógus is sok kérést kaphat.
Kövess néhány példát a belépőoldaltól a létrejövő linkekig. Így látható, hogy az új változat önálló értéket ad-e, vagy ugyanazt ismétli.
Hogyan korlátozható?
A linkképzést, az URL-paramétereket, a kanonikus döntéseket és a robotszabályokat együtt vizsgáld. A robots.txt korlátozhatja a letöltést, de nem javítja meg a navigációt, és nem garantálja az ismert címek eltávolítását. Ne zárd ki válogatás nélkül a hasznos kategóriákat. A cél véges, tudatos címlista, valódi tartalomhoz illeszkedő linkekkel és válaszokkal.