Ugrás a tartalomra
searchboar.

AI-keresés és láthatóság

Szövegdarabolás: jelentés, példák és használat

A szövegdarabolás egy dokumentum kisebb, külön feldolgozható részekre bontása például kereséshez vagy AI-válaszok kontextusához. A darabok mérete, határa, átfedése és megőrzött adatai befolyásolják, milyen magyarázat kerül együtt a rendszer elé. Nem létezik minden dokumentumra megfelelő egyetlen darabméret.

Más elnevezések: Chunking

Röviden

  • A részletnek az értelmezéshez szükséges környezetet is meg kell őriznie.
  • A darabolás technikai beállítás, nem kötelező webes SEO-formátum.
  • A jó méret a dokumentum és a tényleges kérdések alapján értékelhető.
Ezen az oldalon
Egy hosszú dokumentum értelmes részekre oszlik, a fejezetcímek megtartásával.
Szemléltető ábra: egy hosszú dokumentum értelmes részekre oszlik, a fejezetcímek megtartásával.

Miért bontanak fel dokumentumokat?

Egy hosszú kézikönyvből gyakran csak egy kérdéshez tartozó részlet szükséges. A kisebb egységek önállóan kereshetők és beilleszthetők a kontextusablakba. A Google RAG-transzformációs leírása külön kezeli a darabméret és az átfedés beállítását. Dokumentumdarabolás

A feldolgozott egység nem feltétlenül egyezik egy bekezdéssel vagy nyomtatott oldallal. A dokumentum szerkezete is használható a határok kijelöléséhez.

Mit veszíthet el egy rossz vágás?

Ha egy szabály az egyik részlet végére, a kivétel pedig a következő elejére kerül, a keresés csak az elsőt adhatja vissza. Az így elkészült válasz túl általánossá válhat, pedig az eredeti dokumentum pontos volt.

Az átfedés valamennyi környezetet ismételhet, de nagyobb ismétlődést is okozhat. A túl nagy darab pedig sok lényegtelen szöveget hozhat a kérdés mellé. A választás ezért kompromisszum, nem univerzális recept.

Példa: a kiszállítási feltétel kivétele

Egy képzeletbeli bútorbolt leírása szerint a szállítás a bejáratig tart. A következő mondat külön egyeztetéshez köti az emeletre vitelt. Ha a két állítás szétválik, egy válasz tévesen minden rendeléshez emeleti szállítást társíthat, vagy figyelmen kívül hagyhatja a választható szolgáltatást.

Az ellenőrzésben együtt kell látni a kérdést, a visszaadott részletet és a teljes fejezetet. A határ javítása akkor hasznos, ha megmarad a feltétel és annak alkalmazási köre.

Mi maradjon a részlet mellett?

A dokumentum címe, eredeti helye, változata és a fejezet azonosítása segítheti a visszakereshetőséget. A részlet önálló tárolása nem tüntetheti el a hozzáférési szabályokat vagy a forrás kilétét.

Weboldal szerkesztésekor érthető fejezeteket készíts az olvasónak. Ne állítsd, hogy egy adott tokenméret garantál AI-hivatkozást. A RAG feldolgozásában használt darabolás és egy nyilvános cikk jó szerkezete kapcsolódó, de külön döntés.

Források

  1. Google Cloud: A RAG-dokumentumok darabolásának beállítása