Neuronales Netz

Ein Neuron bildet die gewichtete Summe seiner Eingänge, addiert einen gelernten Schwellenwert und schickt das Ergebnis durch eine nichtlineare Funktion. Mehr geschieht in dieser Einheit nicht; sie kennt weder die Aufgabe noch die übrigen Neuronen, sondern nur ihre eigenen Eingänge. Der Aufwand entsteht durch die Menge: Eine Schicht mit 1.000 Eingängen und 1.000 Neuronen trägt 1.000 mal 1.000 Gewichte plus 1.000 Schwellenwerte, also 1.001.000 einzelne Zahlen, die das Training einstellt.

Nein. Mit dem Ende des Trainings sind die Gewichte festgeschrieben, und jede Anfrage durchläuft das Netz nur vorwärts, ohne eine einzige Zahl darin zu verändern. Gängige Lernbibliotheken trennen beides ausdrücklich und schalten für die Anwendung die Gradientenberechnung ab, weil kein Rückwärtsschritt folgt. Praktische Folge: Eine heute falsche Ausgabe fällt morgen genauso falsch aus. Was sich ohne neuen Trainingslauf ändern lässt, ist allein das, was die Anwendung dem Netz in die Eingabe schreibt.

Das Netz löst den Widerspruch nicht auf, es mittelt ihn. Tragen gleiche Eingaben in 70 von 100 Fällen die eine und in 30 Fällen die andere Bezeichnung, nähert sich die Ausgabe genau diesem Verhältnis; die Trefferquote für solche Fälle bleibt bei 70 Prozent. Diese Grenze ist gerechnet und keine Einstellungsfrage – längeres Training, mehr Schichten und schnellere Rechner verschieben sie nicht. Sichtbar wird sie erst, wenn jemand die widersprüchlichen Paare in den Daten zählt.

Von sich aus nicht. Ein Netz für Klassifikation verteilt seine Ausgabe über die Klassen, die im Training vorgesehen waren: Die Werte liegen laut der Dokumentation gängiger Lernbibliotheken im Bereich 0 bis 1 und summieren sich auf 1. Für die Möglichkeit „keine davon“ bleibt in dieser Summe kein Platz. Eine Zurückweisung muss die Anwendung erzwingen – über eine eigene Klasse für Ausschuss, eine Schwelle, unter der nichts übernommen wird, oder eine Prüfung der Eingabe vor dem Netz.