Precision and Recall
The two metrics that actually tell you whether a classifier works when one class is rare.
A precisão pergunta: de tudo o que o modelo sinalizou, quanto estava certo? O recall pergunta: de tudo o que ele deveria ter sinalizado, quanto ele pegou? As duas se contrapõem, e qual delas otimizar é uma decisão de produto, não uma decisão técnica. A acurácia esconde as duas.
Na prática: Um modelo de fraude que pega 60% das fraudes (recall) com 90% dos seus alertas legítimos (precisão) pode ser melhor que um com 99.9% de acurácia que não pega nada.