Trust, Risk & Safety intermediate

Red Teaming

Deliberately attacking your own AI system to find failures before someone else does.

Red teaming é teste adversarial: pessoas tentam fazer o modelo produzir saídas prejudiciais, falsas ou fora da política, e os achados retroalimentam o treinamento e os guardrails. Difere da avaliação normal por ser criativo e aberto, em vez de pontuado contra um conjunto fixo. Para modelos de fronteira, é cada vez mais uma expectativa regulatória.

Na prática: Vinte pessoas passando uma semana tentando fazer um bot de suporte prometer reembolsos que ele não pode cumprir.

Where this comes up