Ugrás a tartalomra
searchboar.

AI-keresés és láthatóság

Kontextusablak: jelentés és gyakorlati példa

A kontextusablak a modell által egy feldolgozás során figyelembe vehető információ mennyiségének korlátja, amelyet jellemzően tokenekben adnak meg. Ide kerülhet az utasítás, a beszélgetés elérhető előzménye és a feladathoz átadott anyag. Nem azonos a modell tanítás során elsajátított ismereteivel vagy egy termék tartós memóriájával.

Más elnevezések: context window · kontextushossz

Röviden

  • A token nem ugyanaz, mint egy szó vagy karakter.
  • A nagyobb keret több anyagnak adhat helyet, de nem garantál helyes feldolgozást.
  • A beszélgetési előzmény, a tartós memória és a visszakeresett forrás különböző fogalom.
Ezen az oldalon
Egy körülhatárolt munkaterületen az aktuális utasítás, beszélgetés és forrásrészletek férnek el; más lapok kívül maradnak.
A kontextusablak az egy feldolgozás során használható tartalom kerete; nem korlátlan, tartós emlékezet.

Mi férhet a kontextusba?

A modell egy feladat során utasításokat, korábbi üzeneteket és feldolgozandó anyagokat is kaphat. Ezek együtt alkotják az aktuálisan rendelkezésre álló környezetet. A kontextusablak azt korlátozza, mennyi ilyen információ kezelhető egy adott feldolgozásban; a pontos számolás és a kimenet helyigénye modellfüggő.

A Google hosszú kontextusról szóló útmutatója ezt a korlátot és a nagyobb bemenetek használatát tárgyalja. Nem érdemes minden AI-termékre egyetlen univerzális oldalszámot megadni. A szöveg nyelve, formátuma és egyéb tartalma is befolyásolja, hogyan fér el a keretben.

Mi az a token?

A nagy nyelvi modell a szöveget tokeneknek nevezett egységekkel dolgozza fel. Egy token lehet szó, szórész vagy más egység. Ezért a „száz oldal” vagy „tízezer szó” nem ugyanaz a mérték, mint a tokenek száma.

Egy rövid magyar kifejezés és egy azonos hosszúságúnak látszó angol kifejezés is eltérően darabolódhat. A tartalomhoz kapcsolt képek vagy más bemeneti formák kezelése szintén termékfüggő. Ha a feladat mérete fontos, az adott rendszer tényleges korlátját és számlálását nézd, ne egy általános internetes átváltási arányt tekints pontos mérésnek.

Az AI-token a számlálás egysége, a kontextusablak pedig a kapacitás korlátja. Hosszú feladat előkészítésekor a tényleges bemenetet az adott tokenizálóval számold meg, és a modell szabályai szerint hagyj helyet a kimenetnek is. A feltöltési fájlméretkorlátba beleférő dokumentum még meghaladhatja a használható kontextust, mert a fájlméret és a tokenkapacitás különböző dolgokat mér.

Miben más, mint a memória vagy a tanítás?

A kontextus az adott feldolgozáshoz elérhető információ. A modell tanítása ettől külön folyamat, a termék tartós memóriája pedig külön funkció lehet. Attól, hogy egy dokumentumot egyszer megadtál, nem következik, hogy minden későbbi beszélgetésben teljes egészében rendelkezésre áll.

A beszélgetéses keresésnél az előzmények kezelése alkalmazásonként eltérhet. Egy hosszú párbeszédet a termék összefoglalhat vagy részleteiben adhat tovább. A felhasználó ezért ne feltételezze automatikusan, hogy a beszélgetés elején szereplő minden feltétel változatlanul jelen van a következő válaszban.

Példa: több verzió egy hosszú beszélgetésben

Egy képzeletbeli ügynökség egy szolgáltatási oldal szövegén dolgozik. Először régi árakat ad meg, később új csomagokat, majd több körben módosítja a célközönséget. Ha a feladatban nem világos, melyik változat érvényes, a sok elérhető információ inkább zavart okozhat, mint segítséget.

A következő promptban célszerű röviden összefoglalni az aktuális, jóváhagyott feltételeket, és elkülöníteni a már elvetett változatokat. A példa szemléltető munkafolyamat, nem egy adott rendszer belső memóriakezelésének leírása. A cél az érvényes források és a feladat egyértelművé tétele.

A végleges szöveget ezután is ellenőrizni kell. Az új összefoglaló maga is lehet hiányos, ha fontos feltétel maradt ki belőle.

Hogyan kapcsolódik a visszakereséshez?

A RAG megkeresheti a feladathoz releváns dokumentumrészleteket, majd ezek kerülhetnek a válasz bemenetébe. Így nem feltétlenül kell minden rendelkezésre álló dokumentumot egyszerre átadni. A jó kiválasztás azonban külön feladat, amely hibázhat vagy fontos részt hagyhat ki.

A forrásalapú megalapozás szempontjából az a fontos, hogy a válaszhoz szükséges bizonyíték ténylegesen rendelkezésre álljon, és helyesen legyen felhasználva. A nagy kontextusablak önmagában nem biztosítja sem a releváns anyag kiválasztását, sem a megfelelő értelmezést.

Mitől lesz használható a nagyobb keret?

Hosszú anyagnál segíts a szerkezettel: egyértelmű címek, verziók és elkülönített dokumentumok könnyítik a feldolgozást és az ellenőrzést. A feladatban nevezd meg, milyen kérdésre keresel választ, és mely anyag tekinthető irányadónak. A több bemenet akkor értékes, ha a lényeges részleteket szolgálja.

Az eredményt konkrét állításokon teszteld. Megtalálta a fontos kivételt, helyesen választotta ki az érvényes változatot, és nem keverte össze a szereplőket? Ezek a kérdések többet mondanak a feladat sikeréről, mint önmagában a kontextusablak mérete a termék adatlapján.

Források

  1. Google Cloud: hosszú kontextus és kontextusablak
  2. Google Machine Learning: nagy nyelvi modellek
  3. Google Cloud: retrieval-augmented generation