KI-ENNA
GENERATIVE TRANSFORMER
(1) Voreinstellungen
Architektur-Hyperparameter
Embedding-Dimensionen
14
wenige (2) oder viele (24) Dimensionen
(2) Daten
Trainingsdaten
Beispielsätze als Trainingsdaten
Die Königin sieht den Hund. Die Königin ruft den Hund. Die Königin füttert den Hund. Die Königin lobt den Hund. Der Hund sieht die Königin. Der Hund hört die Königin. Der Hund folgt der Königin. Der Hund bewacht das Schloss. Der Hund sucht den Knochen. Der Hund findet den Knochen. Der Gärtner sieht den Hund. Der Gärtner ruft die Königin. Der Gärtner bringt das Futter. Die Königin gibt dem Hund Futter. Die Königin gibt dem Gärtner den Knochen. Der Hund schläft im Schloss. Die Königin sitzt im Garten. Der Gärtner arbeitet im Garten.
Tokenisieren
Beispieldaten
Vorgeschlagene Trainings-Hyperparameter
Vokabulargröße
–
Batches
–
Kontextlänge
–
Attention-Heads
–
(3) Training
Trainings-Hyperparameter
Vokabulargröße
60
wenige (5) oder viele (80) Wörter
Kontextlänge
10
wenige (3) oder viele (20) Tokens
Attention-Heads
ein (1) oder vier (4) Attention-Heads
Epochen
wenige (50) oder viele (1000) Durchläufe
Lernrate
0.04
langsam (0.01) oder schnell (1)
Training starten
Stop
Multi-Head-Attention (max. 2 visualisiert)
Verlustfunktion (Cross-Entropy)
(4) Embeddings
Mathematische Repräsentationen
Token-Vektoren-Matrix
Token
Vektor
(5) Satzgenerator
Sampling-Hyperparameter
Maximale Satzlänge
Sicherheitsgrenze (falls Satzende fehlt)
Temperatur
0.8
niedrige (0.2) oder hohe (2.0) Kreativität
Top-k (Anzahl)
5
wenige (1) oder viele (10) Alternativen
Top-p (Wahrscheinlichkeit)
0.90
geringe (0.1) oder hohe (1.0) Wahrscheinlichkeit
Satz generieren
Ergebnis
–