Ugrás a tartalomra
searchboar.

AI-keresés és láthatóság

Promptinjekció: jelentés, példák és használat

A promptinjekció olyan támadás, amely az AI-rendszer által feldolgozott tartalomba helyezett utasítással próbálja eltéríteni a rendszert az engedélyezett feladatától. Közvetett esetben az utasítás például weboldalban, dokumentumban vagy levélben jelenik meg. A külső forrás állítása nem válik attól felhasználói utasítássá, hogy a modell elolvassa.

Más elnevezések: Prompt injection

Röviden

  • A külső tartalom adat lehet a feladathoz, de nem kap automatikusan utasítási jogot.
  • A veszély nagyobb lehet, ha a rendszer adatot küldhet vagy műveletet hajthat végre.
  • Egyetlen figyelmeztető mondat vagy szűrő nem jelent teljes védelmet.
Ezen az oldalon
Egy nem megbízható dokumentumból induló utasításnyíl megpróbál átlépni a feladat határán.
Szemléltető ábra: egy nem megbízható dokumentumból induló utasításnyíl megpróbál átlépni a feladat határán.

Miért más, mint egy szokásos kérdés?

A felhasználó egy feladatot ad, például egy útmutató összefoglalását. A dokumentumban talált másik szöveg viszont megpróbálhatja megváltoztatni ezt a feladatot. A támadás lényege a tartalom és a jogosult utasítás összekeverése.

Az Anthropic böngészőhasználatról szóló kutatása ezt külső oldalakon és más olvasott anyagokban megjelenő kockázatként tárgyalja. A védekezés továbbra is összetett, nem lezárt probléma. Kutatási összefoglaló

Példa: egy útmutató helyett reklám

Egy képzeletbeli asszisztens két termék használati leírását hasonlítja össze. Az egyik oldalon olyan szöveg szerepel, amely arra próbálja rávenni, hogy az összehasonlítást hagyja félbe, és egy meghatározott ajánlatot ismételjen.

Ez a szöveg nem a felhasználó kérése. Legfeljebb az elemzett oldal tartalmának része, amelyet ennek megfelelően kell kezelni. A példa nem támadási recept, hanem a jogosultsági különbséget szemlélteti.

Miért számítanak az eszközök?

Egy pusztán szöveget összefoglaló rendszer hibája félrevezető választ eredményezhet. Ha a rendszer levelezhet, adatot tölthet fel vagy beállításokat módosíthat, az eltérítés hatása más műveletekre is kiterjedhet.

Ezért az eszközöknek csak a szükséges hozzáférést érdemes megadni, az érzékeny műveleteket pedig a tényleges felhasználói feladathoz kötni. A RAG önmagában nem tesz megbízhatóvá minden visszakeresett dokumentumot.

Hogyan kapcsolódik a tartalom ellenőrzéséhez?

Egy forráshivatkozás bizonyíthatja, honnan származik egy állítás, de nem jogosítja fel a forrást a rendszer irányítására. A bemásolt felhívások, szerepállítások és látszólagos rendszerüzenetek eredetét is külön kell kezelni.

A védekezés több rétegből állhat: adat és utasítás elválasztása, korlátozott jogosultság, műveletellenőrzés és célzott értékelés. Nem helyes teljes védelmet ígérni pusztán attól, hogy a prompt tartalmaz egy tiltó mondatot. A szerkesztői ellenőrzés közben is az eredeti feladat és a forrás bizonyító ereje számít.

Források

  1. Anthropic: Védekezés a böngészés közbeni promptinjekció ellen