Érdekes tanulmány a prompt injekcióról.

Ez egy lenyűgöző feltárás arról, hogyan dőlnek be az LLM-ek a prompt injekciós támadásoknak. Kiderült, hogy megtanulják felismerni a szöveg stílusát különböző szerep-/utasítás blokkokban, és nem csupán a címkéket. Következtetésük: A szerepcímkék egy formázási trükk voltak, amelyek a modern LLM-ek biztonsági architektúrájává és kognitív vázául váltak. Megmutattuk, hogy ez az architektúra nem marad meg a modell valódi reprezentációiban, és hogy az ilyen szerepkonfúzió összefügg a prompt injekcióval. Hacsak az LLM-ek nem érik el az igazi szerepfelismerést, úgy gondoljuk, az injekciós védelem örök whack-a-mole játékká fog maradni. A szerepkorlátok folyamatos természete megnyitja az injekciók fenyegetését, amelyek célja, hogy finoman elmozdítsák az LLM állapotait tűnően ártalmatlan szövegek révén, jogilag és nagy léptékben...