Trust, Risk & Safety beginner

Guardrails

Controls that constrain what a model can be asked or allowed to output.

Les garde-fous sont les couches autour du modèle : filtres d’entrée, vérifications de sortie, délimitation des sujets autorisés, permissions sur les outils, limites de débit. Ils existent parce que le comportement d’un modèle est probabiliste et qu’une consigne écrite dans un prompt n’est pas un mécanisme d’application. De bons garde-fous vivent dans votre code, pas seulement dans le prompt système.

En pratique : Un filtre de sortie qui bloque la réponse si elle contient quoi que ce soit ressemblant à un numéro de carte.

Where this comes up