Ugrás a tartalomra
searchboar.

Feltérképezés és indexelés

Feltérképezési keret: mennyi feltérképezést végezhet és akar végezni a Google a webhelyen?

A feltérképezési keret az az erőforrás-mennyiség, amelyet a Google egy webhely bejárására fordíthat és fordítani kíván. A kiszolgáló terhelhetőségéhez igazodó kapacitás és a tartalom feltérképezése iránti igény együtt alakítja. Nem rögzített indexelési kvóta, és kis webhelyeknél gyakran nem ez a legfontosabb probléma.

Más elnevezések: crawl budget · feltérképezési büdzsé

Röviden

  • A feltérképezés mennyisége a kapacitás és az igény együttese.
  • A több robotkérés nem jelent automatikusan több indexelt oldalt vagy látogatót.
  • A téma főként nagy, gyorsan változó vagy túl sok URL-t előállító webhelyeknél fontos.
Ezen az oldalon
Oldalak sora és egy kiszolgáló kapacitását jelképező szabályozó között halad a feltérképezést mutató nagyító.
A feltérképezési keretben a kereső igénye és a kiszolgálás kapacitása is szerepet kap; ez nem indexelési kvóta.

Mit takar a „keret” kifejezés?

A weben nagyon sok cím érhető el, ezért a kereső nem tud minden oldalt minden pillanatban újra lekérni. Egy adott webhelyre is időt és erőforrást oszt be. A crawl budget ennek a feltérképezési tevékenységnek az általános neve, nem egy megvásárolható havi csomag.

A Google két fő tényezőt különít el: mennyit tud a robot a kiszolgáló túlterhelése nélkül kérni, és mennyit tart szükségesnek. 1 A feltérképezés gyakorisága ezért nem pusztán a tulajdonos által beállított szám.

Miben más a kapacitás és az igény?

A kapacitási oldal a kiszolgálás működéséhez kapcsolódik. Ha egy webhely lassú vagy gyakran hibázik, a robot óvatosabban kérhet oldalakat. A Google dokumentációja szerint a szerverhibák és a túlterhelést jelző válaszok ideiglenes lassítást válthatnak ki. 2

Az igény arról szól, mennyire indokolt a tartalom újabb bejárása. A rendszernek el kell döntenie, mely ismert vagy új címek feldolgozása lehet hasznos. Egy ritkán változó kapcsolatoldal és egy gyorsan frissülő nagy katalógus ezért más mintázatot mutathat.

A gyorsabb kiszolgáló önmagában nem teremt végtelen feltérképezési igényt. A technikai lehetőség és a kereső döntése két eltérő tényező marad.

Mikor érdemes vele foglalkozni?

A Google saját útmutatója ezt főként nagyon nagy vagy gyorsan változó webhelyek haladó témájaként kezeli. Egy kisebb, néhány tucat vagy néhány száz jól szervezett oldalt tartalmazó vállalkozási honlapnál rendszerint előbb az elérhetőséget, a tartalmat és a következetes jelzéseket kell megérteni. 1

Ha egy cikk nem jelenik meg, nem indokolt azonnal „elfogyott crawl budgetre” hivatkozni. Lehet rajta téves noindex, hibás válasz, kevés érdemi tartalom vagy bizonytalan címváltozat. Az indexelés külön szakasz: a robot által lekért oldal is maradhat az indexen kívül.

A keret akkor válik erős vizsgálati iránnyá, ha mérhetően sok értelmetlen cím és késve felfedezett fontos tartalom jelenik meg együtt.

Egy elképzelt nagy katalógus példája

Egy alkatrészbolt negyvenezer terméket tart nyilván, de a szűrők és rendezések több millió címváltozatot hozhatnak létre. Sok kombináció ugyanazt a néhány terméket mutatja vagy üres listát ad. A szervernaplóban a robotkérések nagy része ezekre az állapotokra jut.

A bolt először nem a hasznos termékoldalakat tiltja le. Megvizsgálja a szűrőalapú navigáció címeit, megszünteti a fölösleges variációkat, és kijelöli, mely listáknak van valódi keresési szerepe. Az új termékek az aktuális navigációban és webhelytérképben is elérhetővé válnak.

A javítás eredménye először a felesleges kérések és a felfedezési idő változásában vizsgálható. Nem lehet pusztán ebből azt állítani, hogy a bolt több megrendelést kapott.

Miért kell óvatosan bánni a tiltásokkal?

A robots.txt csökkentheti a megengedett feltérképezési felületet, de nem általános indexeltávolító eszköz. A tiltott URL más hivatkozásból továbbra is ismert lehet, és a robot a tiltott oldalon lévő kizárási utasítást sem tudja beolvasni. 3

A túl széles szabály hasznos tartalmat vagy a rendereléshez szükséges erőforrást is elzárhat. Ezért a szabályt konkrét címcsoportra, világos indokkal és ellenőrizhető mintákkal érdemes kialakítani. A feltérképezés mérséklése önmagában nem cél, ha közben a fontos oldalak tűnnek el a robot elől.

Milyen adatokból lehet következtetni?

A Google Search Console feltérképezési és indexelési jelentései, valamint a saját kiszolgáló megfigyelései különböző részleteket mutathatnak. Hasznos együtt vizsgálni a kérések számát, a válaszhibákat, az érintett URL-csoportokat és az új tartalom felfedezését.

A jó következtetés konkrét: például egy fölösleges paramétercsalád sok kérést okozott, és a módosítás után kevesebb ilyen kérés érkezik. Ez erősebb bizonyíték, mint egy általános crawl-budget pontszám. A keresőből jövő üzleti eredmény továbbra is külön mérési kérdés.

A szervernapló-elemzés megmutathatja, mely URL-eket és milyen válaszokkal kérték le az azonosított robotok. Ezzel konkrét ismétlődéseket lehet keresni; a puszta oldalszám alapján nem állapítható meg, hogy a feltérképezési keret korlátozza-e a webhelyet.

Források

  1. Crawl Budget Management | Google Crawling Infrastructure
  2. How HTTP Status Codes Affect Google's Crawlers | Google Crawling Infrastructure
  3. Robots.txt Introduction and Guide | Google Search Central