KI-ENNA
GENERATIVE TRANSFORMER
(1) Voreinstellungen
Dimensionsparameter
Embedding-Dimensionen
14
wenige (2) oder viele (24) Dimensionen
(2) Daten
Zugrundeliegende Trainingsdaten
Trainingsdatensatz
Die Königin sieht den Hund. Die Königin ruft den Hund. Die Königin füttert den Hund. Die Königin lobt den Hund. Der Hund sieht die Königin. Der Hund hört die Königin. Der Hund folgt der Königin. Der Hund bewacht das Schloss. Der Hund sucht den Knochen. Der Hund findet den Knochen. Der Gärtner sieht den Hund. Der Gärtner ruft die Königin. Der Gärtner bringt das Futter. Die Königin gibt dem Hund Futter. Die Königin gibt dem Gärtner den Knochen. Der Hund schläft im Schloss. Die Königin sitzt im Garten. Der Gärtner arbeitet im Garten.
Tokenisieren
Beispieldaten
Vorgeschlagene Parameter
Vokabular
–
Batches
–
Kontextlänge
–
Attention-Heads
–
(3) Training
Relevante Parameter
Vokabulargröße
60
wenige (5) oder viele (80) Wörter
Kontextlänge
10
wenige (3) oder viele (20) Tokens
Anzahl Attention-Heads
ein (1) oder vier (4) Attention-Heads
Epochen
wenige (50) oder viele (1000) Durchläufe
Lernrate
0.04
langsam (0.01) oder schnell (1)
Training starten
Stop
Multi-Head-Attention (max. 2)
Verlustfunktion (Cross Entropy)
(4) Embeddings
Mathematische Repräsentation
Token-Vektoren-Matrix
Token
Vektor
(5) Satzgenerator
Relevante Hyperparameter
Maximale Satzlänge
Sicherheitsgrenze (falls Satzende fehlt)
Temperatur
0.8
niedrige (0.2) oder hohe (2.0) Kreativität
Top-k (Anzahl)
5
wenige (1) oder viele (10) Alternativen
Top-p (Wahrscheinlichkeit)
0.90
geringe (0.1) oder hohe (1.0) Wahrscheinlichkeit
Satz generieren
Ergebnis
–