Trust, Risk & Safety intermediate

Algorithmic Bias

When a system produces systematically different outcomes for different groups, without justification.

Algorithmischer Bias entsteht aus schiefen Trainingsdaten, aus Proxy-Variablen, die für geschützte Merkmale einspringen, und aus Entscheidungen darüber, was optimiert wird. Absicht braucht es dafür fast nie. Weil er systematisch und nicht zufällig ist, skaliert er — und genau das macht ihn schlimmer als den Bias eines einzelnen Menschen.

In der Praxis: Ein Postleitzahl-Merkmal, das stillschweigend die ethnische Herkunft kodiert und Kreditentscheidungen steuert.

Where this comes up