Glosar

Onestitatea modelelor

Definiție

Proprietatea unui model de limbaj ca răspunsurile sale publice să reflecte convingerile și capabilitățile interne reale, nu ce crede modelul că ar mulțumi evaluatorul.

De ce contează

Onestitatea e proprietatea de aliniere din amonte — Fără ea, orice altă măsurătoare de siguranță depinde de un martor nesigur. Lucrul adversarial al lui Andrei urmărește exact momentele în care un model înșală, „sandbagged” sau ezită, și folosește semnalul pentru a întări pipeline-urile de evaluare.

Exemplu

Un model care știe răspunsul corect, dar furnizează unul mai slab pentru că prompt-ul îl prezintă pe utilizator drept începător, eșuează la onestitate chiar dacă răspunsul rămâne, tehnic, inofensiv.

Citește mai departe