
SFT-Experiment: Welche Methode macht ein LLM zur C-3PO-Persönlichkeit?
Ferran Alia hat ein Wochenend-Experiment durchgeführt, um Qwen3-4B-Instruct dauerhaft die Persona von C-3PO einzutrainieren – ohne System-Prompt, als Default-Verhalten. Dazu verglich er drei Datenformate mit je 500 von Claude generierten Trainingsbeispielen: (1) Dialogdemonstrationen, (2) Ich-Perspektive-Selbstbeschreibungen und (3) Synthetic Document Finetuning (SDF) nach Anthropics 2025-Forschung zu Belief-Insertion. Das Fine-Tuning erfolgte mit LoRA (r=16, alpha=32) auf Attention- und MLP-Projektionsschichten über 3 Epochen. Zur Evaluation nutzte Alia eine 4×3-Perplexitätsmatrix (Baseline + drei Fine-Tunes auf allen drei Datenformaten) sowie manuelles Trait-Tagging an 30 Modell-Antworten. Ergebnis: First-Person Statements generalisierten am besten auf andere Formate, während synthetische Dokumente faktisches Persona-Wissen am zuverlässigsten übertrugen. Chat-Demonstrationen, die intuitiv naheliegendste Wahl, schnitten bei der Generalisierung am schwächsten ab. Der vollständige Code ist auf GitHub verfügbar.
- Basismodell: Qwen3-4B-Instruct, fine-getuned auf einer einzelnen GPU in wenigen Stunden
- LoRA-Konfiguration: r=16, alpha=32, Cosine-LR-Schedule, 5 % Warmup, 3 Epochen
- Trainingsdaten wurden von Claude synthetisch generiert – 500 Beispiele pro Strategie
- SDF-Ansatz basiert auf Anthropics 2025-Forschung zur gezielten Belief-Insertion via Dokumentformat
- Evaluation kombiniert Perplexität (4×3-Matrix) und manuelles Trait-Tagging auf 30 Antworten
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com3d
Reddit-Guide: System-Prompts reichen für menschenähnliche Chatbot-Personas
- FORSCHUNGarxiv.org19h
Mind2Dialogue: Framework trainiert menschenbewusste LLMs via Mental-State-Simulation
- FORSCHUNGarxiv.org2w
PRISM: Framework bewertet Persona-Treue von LLMs strukturiert
- FORSCHUNGarxiv.org1w
Behaviorally Grounded User Profiles verbessern LLM-Personalisierung

SFT-Experiment: Welche Methode macht ein LLM zur C-3PO-Persönlichkeit?
Ferran Alia hat ein Wochenend-Experiment durchgeführt, um Qwen3-4B-Instruct dauerhaft die Persona von C-3PO einzutrainieren – ohne System-Prompt, als Default-Verhalten. Dazu verglich er drei Datenformate mit je 500 von Claude generierten Trainingsbeispielen: (1) Dialogdemonstrationen, (2) Ich-Perspektive-Selbstbeschreibungen und (3) Synthetic Document Finetuning (SDF) nach Anthropics 2025-Forschung zu Belief-Insertion. Das Fine-Tuning erfolgte mit LoRA (r=16, alpha=32) auf Attention- und MLP-Projektionsschichten über 3 Epochen. Zur Evaluation nutzte Alia eine 4×3-Perplexitätsmatrix (Baseline + drei Fine-Tunes auf allen drei Datenformaten) sowie manuelles Trait-Tagging an 30 Modell-Antworten. Ergebnis: First-Person Statements generalisierten am besten auf andere Formate, während synthetische Dokumente faktisches Persona-Wissen am zuverlässigsten übertrugen. Chat-Demonstrationen, die intuitiv naheliegendste Wahl, schnitten bei der Generalisierung am schwächsten ab. Der vollständige Code ist auf GitHub verfügbar.
- Basismodell: Qwen3-4B-Instruct, fine-getuned auf einer einzelnen GPU in wenigen Stunden
- LoRA-Konfiguration: r=16, alpha=32, Cosine-LR-Schedule, 5 % Warmup, 3 Epochen
- Trainingsdaten wurden von Claude synthetisch generiert – 500 Beispiele pro Strategie
- SDF-Ansatz basiert auf Anthropics 2025-Forschung zur gezielten Belief-Insertion via Dokumentformat
- Evaluation kombiniert Perplexität (4×3-Matrix) und manuelles Trait-Tagging auf 30 Antworten
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com3d
Reddit-Guide: System-Prompts reichen für menschenähnliche Chatbot-Personas
- FORSCHUNGarxiv.org19h
Mind2Dialogue: Framework trainiert menschenbewusste LLMs via Mental-State-Simulation
- FORSCHUNGarxiv.org2w
PRISM: Framework bewertet Persona-Treue von LLMs strukturiert
- FORSCHUNGarxiv.org1w
Behaviorally Grounded User Profiles verbessern LLM-Personalisierung