Trust, Risk & Safety beginner

AI Safety

The field concerned with preventing AI systems from causing harm, from everyday failures to systemic risks.

La sûreté de l’IA couvre des problèmes immédiats — un modèle qui donne des instructions dangereuses, un système qui échoue silencieusement en production — et des préoccupations à plus long terme sur les systèmes très performants. C’est autant une pratique d’ingénierie qu’une philosophie : évaluation, red teaming, supervision et retour arrière relèvent tous de la sûreté.

En pratique : Tester ce qu’un modèle fait d’une requête qu’il devrait refuser, avant que les clients ne le découvrent.

Where this comes up