Warum 64 Pixel und Millionen Gewichte nicht dasselbe sind
64 Pixel beschreiben nur das, was du links einzeichnest. Das ist die
Eingabegröße dieser Demo: 8 × 8 = 64 Felder.
Gewichte sind etwas anderes: Sie sind die
gelernten Verbindungen im Modell. Sie entscheiden, wie stark ein Eingabewert auf spätere Berechnungen wirkt.
Anders gesagt:
- Pixel = die Information, die hineingeht
- Gewichte = die gelernte Struktur des Modells
Ein großes Sprachmodell arbeitet nicht mit nur 64 Feldern, sondern mit sehr vielen Schichten und riesigen Zahlenmatrizen. Jede Matrix verbindet sehr viele Werte mit sehr vielen anderen Werten. Dadurch entstehen extrem viele Gewichte.