TIME: Kontext-gesteuertes Kurzdenken auf Qwen3 trainiert – ACL-2026-Paper
TIME (Temporally Integrated Model Epistemics) ist ein von Reddit-Nutzer /u/susmitds als Einzelperson entwickeltes Framework, das Qwen3-Modelle per QLoRA darauf trainiert, Reasoning nicht als monolithischen Block am Anfang einer Antwort zu platzieren, sondern kurze Denkphasen gezielt dort auszulösen, wo der Gesprächskontext es erfordert. Die temporale Komponente dient als sauberes Signal für latente Kontextwechsel: Pausen, veraltete Annahmen, Deadlines oder Zeitzonenwechsel lösen erneutes Nachdenken aus. Trainiert wurde in vier Phasen (Curriculum) mit Unsloth und vLLM auf einer privaten Workstation (AMD 7950X3D, 128 GB RAM, RTX Pro 6000 Blackwell 96 GB). Modellgrößen umfassen Qwen3 4B, 8B, 14B und 32B. Für die Evaluation wurde TIMEBench als eigener Benchmark entwickelt. Das Paper wurde zur ACL 2026 angenommen – ungewöhnlich für ein unabhängiges Solo-Projekt ohne Institutionszugehörigkeit. Alle Notebooks, Datensätze und Skripte sind auf GitHub verfügbar; das Training ist ab 24 GB VRAM (bis 14B) bzw. 48 GB VRAM (32B) replizierbar. Merged Model Checkpoints befinden sich noch im Upload.
- QLoRA-Training auf Qwen3 4B, 8B, 14B und 32B mit vierphasigem Curriculum
- Eigener Benchmark TIMEBench für Evaluation entwickelt und veröffentlicht
- Training auf privater Workstation: RTX Pro 6000 Blackwell (96 GB VRAM), 7950X3D, 128 GB RAM
- Replikation ab 24 GB VRAM (bis 14B) und 48 GB VRAM (32B) möglich
- Geplante Fortsetzung auf Qwen3.5 und Qwen3.6 zur weiteren Reduzierung von Overthinking
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org3w
TIME: Kontextgesteuerte Reasoning-Bursts statt fester Denk-Modi
- FORSCHUNGarxiv.org1w
ProxyCoT: Reasoning-Transfer von kurzen zu langen Kontexten via Chain-of-Thought
- FORSCHUNGarxiv.org1d
Streaming-Reasoning für Audio-Sprachmodelle: Wann denken, wann antworten?
- FORSCHUNGarxiv.org2w
VeriTime: Framework für LLM-Reasoning auf Zeitreihendaten via RL
TIME: Kontext-gesteuertes Kurzdenken auf Qwen3 trainiert – ACL-2026-Paper
TIME (Temporally Integrated Model Epistemics) ist ein von Reddit-Nutzer /u/susmitds als Einzelperson entwickeltes Framework, das Qwen3-Modelle per QLoRA darauf trainiert, Reasoning nicht als monolithischen Block am Anfang einer Antwort zu platzieren, sondern kurze Denkphasen gezielt dort auszulösen, wo der Gesprächskontext es erfordert. Die temporale Komponente dient als sauberes Signal für latente Kontextwechsel: Pausen, veraltete Annahmen, Deadlines oder Zeitzonenwechsel lösen erneutes Nachdenken aus. Trainiert wurde in vier Phasen (Curriculum) mit Unsloth und vLLM auf einer privaten Workstation (AMD 7950X3D, 128 GB RAM, RTX Pro 6000 Blackwell 96 GB). Modellgrößen umfassen Qwen3 4B, 8B, 14B und 32B. Für die Evaluation wurde TIMEBench als eigener Benchmark entwickelt. Das Paper wurde zur ACL 2026 angenommen – ungewöhnlich für ein unabhängiges Solo-Projekt ohne Institutionszugehörigkeit. Alle Notebooks, Datensätze und Skripte sind auf GitHub verfügbar; das Training ist ab 24 GB VRAM (bis 14B) bzw. 48 GB VRAM (32B) replizierbar. Merged Model Checkpoints befinden sich noch im Upload.
- QLoRA-Training auf Qwen3 4B, 8B, 14B und 32B mit vierphasigem Curriculum
- Eigener Benchmark TIMEBench für Evaluation entwickelt und veröffentlicht
- Training auf privater Workstation: RTX Pro 6000 Blackwell (96 GB VRAM), 7950X3D, 128 GB RAM
- Replikation ab 24 GB VRAM (bis 14B) und 48 GB VRAM (32B) möglich
- Geplante Fortsetzung auf Qwen3.5 und Qwen3.6 zur weiteren Reduzierung von Overthinking
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org3w
TIME: Kontextgesteuerte Reasoning-Bursts statt fester Denk-Modi
- FORSCHUNGarxiv.org1w
ProxyCoT: Reasoning-Transfer von kurzen zu langen Kontexten via Chain-of-Thought
- FORSCHUNGarxiv.org1d
Streaming-Reasoning für Audio-Sprachmodelle: Wann denken, wann antworten?
- FORSCHUNGarxiv.org2w
VeriTime: Framework für LLM-Reasoning auf Zeitreihendaten via RL