Szövegdarabolás: jelentés, példák és használat
A szövegdarabolás egy dokumentum kisebb, külön feldolgozható részekre bontása például kereséshez vagy AI-válaszok kontextusához. A darabok mérete, határa, átfedése és megőrzött adatai befolyásolják, milyen magyarázat kerül együtt a rendszer elé. Nem létezik minden dokumentumra megfelelő egyetlen darabméret.
Más elnevezések: Chunking
Röviden
- A részletnek az értelmezéshez szükséges környezetet is meg kell őriznie.
- A darabolás technikai beállítás, nem kötelező webes SEO-formátum.
- A jó méret a dokumentum és a tényleges kérdések alapján értékelhető.
Ezen az oldalon

Miért bontanak fel dokumentumokat?
Egy hosszú kézikönyvből gyakran csak egy kérdéshez tartozó részlet szükséges. A kisebb egységek önállóan kereshetők és beilleszthetők a kontextusablakba. A Google RAG-transzformációs leírása külön kezeli a darabméret és az átfedés beállítását. Dokumentumdarabolás
A feldolgozott egység nem feltétlenül egyezik egy bekezdéssel vagy nyomtatott oldallal. A dokumentum szerkezete is használható a határok kijelöléséhez.
Mit veszíthet el egy rossz vágás?
Ha egy szabály az egyik részlet végére, a kivétel pedig a következő elejére kerül, a keresés csak az elsőt adhatja vissza. Az így elkészült válasz túl általánossá válhat, pedig az eredeti dokumentum pontos volt.
Az átfedés valamennyi környezetet ismételhet, de nagyobb ismétlődést is okozhat. A túl nagy darab pedig sok lényegtelen szöveget hozhat a kérdés mellé. A választás ezért kompromisszum, nem univerzális recept.
Példa: a kiszállítási feltétel kivétele
Egy képzeletbeli bútorbolt leírása szerint a szállítás a bejáratig tart. A következő mondat külön egyeztetéshez köti az emeletre vitelt. Ha a két állítás szétválik, egy válasz tévesen minden rendeléshez emeleti szállítást társíthat, vagy figyelmen kívül hagyhatja a választható szolgáltatást.
Az ellenőrzésben együtt kell látni a kérdést, a visszaadott részletet és a teljes fejezetet. A határ javítása akkor hasznos, ha megmarad a feltétel és annak alkalmazási köre.
Mi maradjon a részlet mellett?
A dokumentum címe, eredeti helye, változata és a fejezet azonosítása segítheti a visszakereshetőséget. A részlet önálló tárolása nem tüntetheti el a hozzáférési szabályokat vagy a forrás kilétét.
Weboldal szerkesztésekor érthető fejezeteket készíts az olvasónak. Ne állítsd, hogy egy adott tokenméret garantál AI-hivatkozást. A RAG feldolgozásában használt darabolás és egy nyilvános cikk jó szerkezete kapcsolódó, de külön döntés.