Trust, Risk & Safety intermediate

AI Incident

An event where an AI system causes or nearly causes harm — increasingly something you must record and report.

Ein KI-Vorfall umfasst tatsächliche Schäden und Beinahe-Fehler: diskriminierende Ergebnisse, gefährliche Ratschläge, Datenabfluss, riskante automatisierte Handlungen. Sie wie Sicherheitsvorfälle zu behandeln — protokolliert, eingestuft, ausgewertet — macht aus ihnen Lernstoff statt Wiederholung. Der EU AI Act verlangt bei Hochrisikosystemen die Meldung schwerwiegender Vorfälle.

In der Praxis: Ein Chatbot, der sechs Tage lang und in großem Umfang eine Erstattungsregelung verspricht, die es gar nicht gibt.