Activation Function
The non-linear step applied at each unit, without which a deep network would collapse into a single linear one.
Uma função de ativação decide o que cada unidade passa adiante. A não linearidade é o ponto: empilhe cem camadas lineares e você continua com um modelo linear, mas insira uma função não linear entre elas e a rede passa a representar curvas, interações e estrutura. A ReLU é o padrão mais comum.
Na prática: ReLU: entrada negativa vira zero, entrada positiva passa sem alteração.