Red Teaming
Deliberately attacking your own AI system to find failures before someone else does.
Il red teaming è test avversariale: delle persone cercano di far produrre al modello output dannosi, falsi o fuori policy, e i risultati rientrano nell’addestramento e nei guardrail. Si distingue dalla valutazione normale perché è creativo e aperto, invece che misurato su un insieme fisso di prove. Per i modelli di frontiera è sempre più un’aspettativa normativa.
In pratica: Venti persone che passano una settimana a provare a far promettere a un bot di supporto rimborsi che non può onorare.