Feltérképezés: hogyan találja meg a kereső az oldalakat?
A feltérképezés a webes kereső robotjának adatgyűjtése: a robot kérést küld egy URL-re, és letölti az ott elérhető tartalmat. A Google keresőrobotját Googlebotnak hívják. A letöltés még nem jelenti azt, hogy az oldal bekerül az indexbe vagy megjelenik egy adott keresésre.
Más elnevezések: crawling · webes feltérképezés
Röviden
- A felfedezett URL-t a kereső még nem feltétlenül töltötte le.
- A feltérképezés és az indexelés külön lépés; egyik sem helyezési ígéret.
- Az elérhető oldalakhoz vezető linkek és a működő kiszolgálás együtt fontosak.
Ezen az oldalon

Hogyan jut el a robot egy új oldalhoz?
A kereső először tudomást szerez egy címről. Megtalálhatja egy már ismert oldal hivatkozásában vagy egy XML-webhelytérképben. Ez a felfedezés. A feltérképezés akkor történik meg, amikor ténylegesen lekéri a címet. Az URL ismerete és a tartalom letöltése ezért két külön állapot.
A Google működési leírása a feltérképezést, az indexelést és a találatok kiszolgálását külön szakaszként kezeli. Egy robotlátogatásból csak az elsőre van bizonyítékunk. A „Google már járt az oldalon” állításból nem következik, hogy az oldal bármelyik keresésre látható.
Miért számítanak a belső linkek?
Egy új útmutató lehet elérhető a saját címén, miközben a webhely többi részéből nem vezet oda út. Az olvasó sem találja meg, a keresőnek pedig kevesebb kapaszkodója van a felfedezéséhez. A kapcsolódó tartalomból érkező belső link mindkét problémán segíthet.
A Google linkekre vonatkozó útmutatója a valódi, címet tartalmazó HTML-hivatkozást emeli ki. Attól, hogy egy felirat kattintásra működik a böngészőben, még nem biztos, hogy a kereső kinyerhető linket talál benne. A „Kapcsolódó méretezési útmutató” szöveg például értelmes céloldalt jelez; egy magában álló nyíl kevesebbet mond róla.
A linkelés célja nem az, hogy minden oldalt minden másikkal összekössünk. Az olvasó következő kérdéséhez vezető kapcsolat hasznosabb szerkezetet ad, mint egy hosszú, összefüggéstelen címlista.
Mi akadályozhatja a letöltést?
Más probléma, ha nincs ismert út az oldalhoz, és más, ha a robot ismeri a címet, de nem fér hozzá. Utóbbit okozhatja bejelentkezési követelmény, kiszolgálóhiba vagy a robots.txt megfelelő tiltó szabálya.
A Google technikai követelményei külön említik a robot hozzáférését, a sikeres HTTP-választ és az indexelhető tartalmat. A böngészőben megjelenő szép hibaoldal sem lesz működő tartalmi oldal attól, hogy a látogatónak van mit elolvasnia.
Gyakorlati ellenőrzéskor ezért azt kell tisztázni, melyik válasz érkezik az adott URL-re. Az oldal tulajdonosának saját, bejelentkezett böngészője nem ugyanazt a hozzáférést bizonyítja, mint egy névtelen látogatóé vagy a keresőroboté.
Példa: egy új méretezési útmutató
Képzeljünk el egy függönyboltot, amely elkészít egy „hogyan mérjem le az ablakot” útmutatót. A szerkesztő közzéteszi, de a menüben és a termékoldalakon sehol nem hivatkozik rá. A cím működik, a bolt vezetője a közvetlen linkről meg is nyitja.
Ez még nem mutatja meg, hogy a kereső megtalálta-e. Ésszerű következő lépés a függönyöket bemutató oldal megfelelő mondatából belinkelni az útmutatót, és ellenőrizni, szerepel-e a webhelytérképben. Ezután külön vizsgálható a robot hozzáférése és az indexelés állapota.
A példa kitalált. Nem állítja, hogy a két módosítástól meghatározott időn belül megjelenik az oldal, vagy előrébb kerül a találatok között.
Mit jelent a feltérképezési keret?
A kereső nem korlátlan számú kérést küld minden webhelyre. A feltérképezési keret, angolul crawl budget, a rendelkezésre álló kapacitással és a feltérképezési igénnyel függ össze. A Google jelenlegi leírása a kiszolgálás teljesítményét és a tartalom értékét is tárgyalja.
Egy kis céges oldalon ezért nem érdemes automatikusan „elfogyott keretre” következtetni, ha egy új cikk hiányzik. Előbb legyen bizonyíték arra, hogy melyik lépésnél akad el. Sok felesleges URL-változat más jellegű feladat, mint egyetlen véletlenül letiltott szolgáltatásoldal.
Milyen kérdésekkel kezdj egy vizsgálatot?
Írd fel a pontos URL-t, az ellenőrzés időpontját és azt, miből származik az információ. Ezután haladj ebben a sorrendben:
- Vezet-e oda normál hivatkozás egy elérhető oldalról?
- Névtelen látogatóként is megnyitható-e a tényleges tartalom?
- Engedélyezi-e a robotra vonatkozó szabály a lekérést?
- Van-e bizonyíték a feltérképezésre, és mikori?
- Mit mutat ettől külön az indexelési állapot?
Ez a sorrend megakadályozza, hogy tartalmat írj újra egy hozzáférési hiba miatt, vagy pusztán több linkkel próbálj megoldani egy kiszolgálóhibát.
Nagyobb webhelyeknél a feltérképezési keret a bejárás kapacitásáról és igényéről ad pontosabb képet. A JavaScript SEO a futtatás után létrejövő tartalom, a mobilalapú indexelés pedig a feldolgozott mobilváltozat miatt kapcsolódik ehhez a folyamathoz.
Az AI-szolgáltatók is használhatnak AI-webrobotokat, de a robot célját és hozzáférését szolgáltatónként kell ellenőrizni. A saját webhely Google általi bejárásáról a feltérképezési statisztikák adhatnak összesített képet; ezek nem az összes robot teljes naplói.