Ugrás a tartalomra
searchboar.

AI-keresés és láthatóság

Modell értékelése: jelentés, példák és használat

A modell értékelése annak rendszeres vizsgálata, hogy egy AI-modell vagy az arra épülő rendszer mennyire teljesíti a meghatározott feladatot. Ehhez tesztesetek, előre rögzített szempontok és értelmezhető eredmények kellenek. Egy általános ranglista jó helyezése nem helyettesíti a saját nyelven, saját kérdésekkel és működési körülményekkel végzett ellenőrzést.

Más elnevezések: Model evaluation

Röviden

  • Előbb határozd meg a feladatot és a sikert, utána válassz mérőszámot.
  • Az összesített pontszám mellett az egyes hibákat is vizsgáld.
  • A modell, a prompt és a visszakeresés változása is módosíthatja az eredményt.
Ezen az oldalon
Több tesztkérdés válaszát külön pontossági és forrásalátámasztási ellenőrzőlapokon értékelik.
Szemléltető ábra: több tesztkérdés válaszát külön pontossági és forrásalátámasztási ellenőrzőlapokon értékelik.

Mit szeretnél jól megoldani?

Más feladat egy dokumentum összefoglalása, egy ügyfélkérdés megválaszolása és egy cikk első változatának megírása. Az értékelésnek ezt kell követnie. A Google értékelési útmutatója is feladatnak megfelelő kérdéskészletből, kiválasztott mérőszámokból és az eredmények áttekintéséből indul ki. Az értékelés folyamata

Az „összességében jól hangzik” benyomás helyett írd le, mi számít sikernek: például minden feltételt megőriz, érthető magyar mondatokat ír, és nem talál ki ismeretlen adatot.

Miből álljon a tesztkészlet?

Legyenek benne tipikus kérdések, ritkább kivételek és olyan esetek is, amelyekre nincs elég információ. Egy ügyfélszolgálati rendszernek például azt is jól kell kezelnie, ha két hasonló termék eltérő garanciával rendelkezik.

A tesztkérdések ne csak a bemutatóban könnyen megválaszolható eseteket tartalmazzák. Ha folyton ugyanazokra a példákra finomítod a rendszert, új kérdésekkel is ellenőrizd, hogy az eredmény általánosítható-e. A tanítóadat és a teljesítmény ellenőrzésére szánt anyag szerepét külön kell kezelni.

Példa: melyik rendszer válaszol jobban?

Egy képzeletbeli webshop két beállítást hasonlít össze 40 saját kérdésen. Az egyik szebben fogalmaz, de néhány visszaküldési kivételt elhagy; a másik rövidebb, viszont pontosabban őrzi a feltételeket. Egyetlen „minőség” pontszám elfedheti ezt a különbséget.

Külön nézd a ténybeli helyességet, a forrásbeli alátámasztottságot, az érthetőséget és az információhiány kezelését. Ha működő szolgáltatást választasz, a válaszidő és a tényleges költség is külön döntési szempont.

Hogyan lesz összehasonlítható az eredmény?

Rögzítsd a modell verzióját, a promptot, a forrásokat, az időpontot és a beállításokat. A válaszok változékonysága miatt egyes feladatoknál ismétlések is szükségesek. Az átlag mellett olvasd el a hibás és vitatható válaszokat.

Az automatikus pontozó is tévedhet, ezért a fontos eseteket emberrel is érdemes átnézetni. Az értékelés egy meghatározott feladatról ad bizonyítékot; nem igazolja, hogy a modell minden témában megbízható, és nem bizonyít Google-helyezést vagy AI-ajánlást.

Források

  1. Google Cloud: A generatív AI értékelésének áttekintése