Activation Function
The non-linear step applied at each unit, without which a deep network would collapse into a single linear one.
Eine Aktivierungsfunktion entscheidet, was eine Einheit weitergibt. Die Nichtlinearität ist der ganze Punkt: Stapelst du hundert lineare Schichten, hast du immer noch ein lineares Modell — schiebst du dagegen eine nicht-lineare Funktion dazwischen, kann das Netz Kurven, Wechselwirkungen und Struktur abbilden. ReLU ist der übliche Standard.
In der Praxis: ReLU: negative Eingaben werden zu null, positive Eingaben gehen unverändert durch.