Ugrás a tartalomra
searchboar.

Feltérképezés és indexelés

Feltérképezési csapda: jelentés, példák és korlátok

A feltérképezési csapda olyan webhelyszerkezet, amely nagyon nagy vagy gyakorlatilag végtelen, csekély értékű URL-változatsorba vezeti a robotot. Naptárak, szűrők és újabb linkeket létrehozó útvonalak kevés valódi tartalom mellett is előidézhetik.

Más elnevezések: Crawl trap

Röviden

  • A gond a folyamatosan bővülő címtér, nem pusztán a nagy webhely.
  • Az ismétlődő változatok robot- és szervererőforrást fogyaszthatnak.
  • A korlátozásnak meg kell őriznie a hasznos oldalakat és navigációt.
Ezen az oldalon
Egy robot majdnem azonos oldalkártyákból álló, körbeforduló labirintusba jut.
A feltérképezési csapda olyan webhelyszerkezet, amely nagyon nagy vagy gyakorlatilag végtelen, csekély értékű URL-változatsorba vezeti a robotot.

Hogyan alakul ki a csapda?

Egy naptár végpont nélkül hivatkozhat a következő hónapra. Egy szűrőrendszer minden lehetséges sorrendben kombinálhatja a paramétereket. Ha minden létrejövő oldal további kombinációkra mutat, a robot újabb és újabb, kevés értéket adó címeket fedezhet fel.

A szűrős navigáció önmagában nem hibás. Az okoz gondot, ha az ellenőrizetlen kombinációk korlátlan számú különálló, hasznos dokumentumként viselkednek. A feltérképezési keretről szóló útmutató bemutatja a jelentéktelen URL-ek erőforrás-hatását.

Példa: üres eseménynaptár

Képzelj el hat meghirdetett workshopot és egy naptárat, amely minden jövőbeli hónaphoz oldalt készít. A robot a „következő” linket követve éveknyi üres oldalhoz juthat. A valós információ kevés, a hivatkozott címtér viszont nem az.

Ésszerű megoldás lehet a navigáció értelmes időszakra korlátozása vagy az üres állapotok tudatos kezelése. Nem megoldás kitalált eseményekkel feltölteni a generált oldalakat.

Milyen bizonyítékot keress?

Vizsgáld a lekérési naplókat, a felismert címmintákat és az ezeket létrehozó linkeket. Ismétlődő paraméterkombinációk, egyre távolabbi dátumok vagy egymásba ágyazódó útvonalak mutathatják a mechanizmust. A nagy darabszám önmagában nem bizonyít csapdát: egy valóban nagy katalógus is sok kérést kaphat.

Kövess néhány példát a belépőoldaltól a létrejövő linkekig. Így látható, hogy az új változat önálló értéket ad-e, vagy ugyanazt ismétli.

Hogyan korlátozható?

A linkképzést, az URL-paramétereket, a kanonikus döntéseket és a robotszabályokat együtt vizsgáld. A robots.txt korlátozhatja a letöltést, de nem javítja meg a navigációt, és nem garantálja az ismert címek eltávolítását. Ne zárd ki válogatás nélkül a hasznos kategóriákat. A cél véges, tudatos címlista, valódi tartalomhoz illeszkedő linkekkel és válaszokkal.

Források

  1. Google: Feltérképezési csapda