162 Artikel
Guides durchstöbern
Text-to-Video erweitert Diffusion über die Zeit, was die harte Bedingung hinzufügt, dass die Frames zueinander konsistent bleiben müssen. Cliplänge, physikalische Plausibilität und Charakterkonsistenz sind die aktuellen Grenzen. Das Feld bewegt sich so schnell, dass jede konkrete Aussage über Fähigkeiten binnen Monaten altert. In der Praxis: Eine Zehn-Sekunden-Produktaufnahme, erzeugt statt gefilmt.
Modelle sehen keine Buchstaben und keine Wörter; sie sehen Token, also Zeichenblöcke, die ein Tokenizer erzeugt. Im Englischen kommen im Schnitt etwa vier Zeichen auf ein Token, 750 Wörter sind also rund 1,000 Token. Token sind zugleich die Abrechnungseinheit und die Einheit des Kontextfensters, was diesen Begriff zum kommerziell relevantesten im Glossar macht. In der Praxis: ‘unbelievable’ zerfällt womöglich in ‘un’, ‘believ’, ‘able’ — drei Token, ein Wort.
Ein Tokenizer bildet Text mit einem festen, aus Daten gelernten Vokabular auf ganze Zahlen ab. Das erklärt mehrere bekannte Eigenheiten: Modelle zählen Buchstaben falsch, weil sie nie Buchstaben sehen, und nicht-englischer Text kostet für dieselbe Bedeutung oft mehr Token, weil die Vokabulare zum Englischen tendieren. In der Praxis: Derselbe Satz kostet auf Griechisch zwei- bis dreimal so viele Token wie auf Englisch.
Tool Use ermöglicht einem Modell Dinge, die es allein grundsätzlich nicht kann: aktuelle Daten nachschlagen, exakt rechnen, in ein System schreiben. Das Modell wählt das Werkzeug und die Argumente; dein Code führt es aus und gibt das Ergebnis zurück. Werkzeuge sind auch der Punkt, an dem die Fehler eines Modells zu Handlungen in der echten Welt werden — Berechtigungen zählen also. In der Praxis: Statt den heutigen Kurs zu raten, ruft das Modell eine Währungs-API auf. ...
Top-p behält die wahrscheinlichsten Token, bis ihre kumulierte Wahrscheinlichkeit p erreicht, und zieht dann nur aus diesen. Anders als Temperature passt es sich daran an, wie sicher sich das Modell im jeweiligen Schritt ist. Beides gleichzeitig zu justieren macht das Verhalten meist schwerer nachvollziehbar — entscheide dich für eines. In der Praxis: Top-p 0.9 ignoriert den langen Schwanz unwahrscheinlicher Token, ohne die ganze Verteilung abzuflachen.
TPUs sind ASICs, die gezielt für die Tensor-Operationen in neuronalen Netzen entworfen wurden, und sie sind über Google Cloud verfügbar statt als Hardware zum Kaufen. Sie sind ein Beispiel für den breiteren Trend zu zweckgebautem KI-Silizium, während Allzweck-GPUs aufhören, die einzige Option zu sein. In der Praxis: Große Trainingsläufe auf Google-Infrastruktur nutzen typischerweise TPU-Pods.
Trainingsdaten sind der Korpus, mit dem die Parameter eines Modells angepasst werden. Ihre Abdeckung setzt die Obergrenze des Modells: Lücken, Fehler und Schieflagen in den Daten tauchen als Lücken, Fehler und Bias in den Ausgaben wieder auf. Im EU AI Act haben Trainingsdaten eine formale Definition und, für Hochrisikosysteme, daran geknüpfte Governance-Pflichten. In der Praxis: Ein Recruiting-Modell, das überwiegend auf früheren Einstellungen aus einer Bevölkerungsgruppe trainiert wurde, reproduziert genau dieses Muster. ...
2017 vorgestellt, ersetzte der Transformer die sequenzielle Verarbeitung durch Attention: Das Modell kann jedes Token der Eingabe auf einmal ansehen und deren Relevanz füreinander gewichten. Diese Parallelität machte das Training auf internetgroßen Textmengen praktikabel. Das ‘T’ in GPT steht für Transformer. In der Praxis: In ‘die Trophäe passte nicht in den Koffer, weil sie zu groß war’ ist Attention der Mechanismus, über den das Modell ‘sie’ mit ‘Trophäe’ verbindet.
Bei Transparenz geht es um Offenlegung, nicht um Mechanik: Model Cards veröffentlichen, Daten dokumentieren und Menschen sagen, dass sie mit einer Maschine sprechen. Der EU AI Act macht mehrere Formen davon verpflichtend, darunter die Kennzeichnung synthetischer Inhalte und den Hinweis auf Chatbot-Interaktionen. In der Praxis: Ein Banner, das sagt, dass der Assistent KI ist und ein Mensch übernehmen kann.
Beim überwachten Lernen ist jedes Trainingsbeispiel ein Paar: eine Eingabe und ihr Label. Das Modell sagt vorher, vergleicht mit dem Label und korrigiert sich. Es ist der häufigste und verlässlichste Aufbau, und seine wichtigste Beschränkung ist, dass Labels teuer zu erzeugen sind. In der Praxis: 10,000 E-Mails, jede als Spam oder Nicht-Spam markiert, zum Trainieren eines Filters.