Activation Function
The non-linear step applied at each unit, without which a deep network would collapse into a single linear one.
Una funzione di attivazione decide che cosa un’unità trasmette in avanti. La non linearità è il punto: puoi impilare cento livelli lineari e avrai comunque un modello lineare, ma se inserisci una funzione non lineare tra di essi la rete può rappresentare curve, interazioni e struttura. ReLU è la scelta predefinita più comune.
In pratica: ReLU: un input negativo diventa zero, un input positivo passa inalterato.