Im Netz stoße ich immer wieder auf Diskussionen rund um die Frage, ob lokale Modelle die Cloud-LLMs bald ersetzen können. Die Nachrichten der letzten Tage zeigen: Diese Debatte wird konkreter als je zuvor. Tencent hat Hy4 mit Vision und Computer Use veröffentlicht, Meituan setzt mit LongCat-2.5 auf ein 1,6-T-Billionen-MoE-Modell für Agenten, und Sarvam AI bringt mit Prism einen neuen Ansatz – Decision Models, die nicht generieren, sondern entscheiden.
Harald Bertram, Inhaber und Gründer von BusinessBeyond.de
Neue Open-Weight Modelle: Tencent Hy4, Meituan LongCat-2.5 und Sarvam Prism
Tencent hat am 4. November die Vollversion von Hy4 veröffentlicht – ein Modell mit 770 Milliarden Gesamtparametern (49 Milliarden aktiv), das erstmals visuelle Wahrnehmung und Computer Use über CLI und GUI unterstützt. In Tencents eigener Evaluation rangiert Hy4 mit 3,04 Punkten vor DeepSeek-V4.1-Flash (2,97) und GLM-5.3 (2,68). Die Halluzinationsrate sank von 15,76% in der Preview auf nur noch 5,45%. Zwei Tage zuvor hatte Meituan mit LongCat-2.5 ein nativ multimodales Mixture-of-Experts-Modell vorgestellt – 1,6 Billionen Gesamtparameter, ca. 48 Milliarden aktiv pro Token, mit einem Kontextfenster von einer Million Tokens. Ein völlig anderer Ansatz kommt von Sarvam AI aus Indien: Prism ist kein generatives Modell, sondern ein Decision Model auf Basis von Sarvam 105B (LoRA Fine-Tune). Statt Text zu erzeugen, gibt Prism kalibrierte Wahrscheinlichkeiten für vorgegebene Optionen zurück.
Inferenz-Tools: Ollama v0.40.14 und llama.cpp v0.6.0 bringen Forschung in den Betrieb
Die lokale Inferenz-Landschaft entwickelt sich rasant weiter. Ollama hat mit Version 0.40.14 (3. November) zwei bedeutende Features eingeführt: Die d3 Decision Models von vLLM Semantic Router (in Größen von 2B bis 27B Parameter) sind jetzt direkt in Ollama integriert, und Phonon Voice Generation steht über einen OpenAI-kompatiblen Audio-Endpoint zur Verfügung. Parallel dazu hat llama.cpp Version 0.6.0 veröffentlicht (5. Oktober), die eine neue erweiterte Batch-API einführt. Diese unterstützt gemischte Token-/Embedding-Batches und per-Token State-Embeddings für MTP- und Deepstack-Modelle.
Forschung: Zyphra Hierarchical Attention und ToolSpace für Long-Horizon-Agenten
Zwei Forschungsarbeiten könnten die Skalierbarkeit lokaler Modelle grundlegend verbessern. Zyphra hat mit ZHA (Zyphra Hierarchical Attention) eine Sparse-Attention-Methode vorgestellt, die einen hierarchischen Baum über den KV-Cache aufbaut und durchsucht, um relevante Token zu finden. Auf RULER-13 bei 256K Tokens erreicht das Modell 96,2% Genauigkeit (vs. 96,0% für dense Attention), während auf LongBench v2 mit nur ~1,1% des KV-Cache eine Score von 63,4% erzielt wird (vs. 58,0% dense). ToolSpace adressiert ein anderes Problem: Long-Horizon-Agenten, die über viele Schritte hinweg Tools kombinieren müssen. Qwen3.6-35B-A3B steigt von 23,0 auf 41,0 Punkte in sieben Long-Horizon-Benchmarks.
Cloud vs. Lokal: Die Lücke schließt sich – aber selektiv
Aktuelle Vergleiche zwischen lokalen und Cloud-LLMs zeigen ein differenziertes Bild. Für spezifische, gut definierte Tasks wie Log-Parsing, Code-Zusammenfassung oder strukturierte Datenextraktion können feinjustierte lokale Open-Source-Modelle die Performance von Generalist-Cloud-Modellen erreichen oder sogar übertreffen. Für breites, unstrukturiertes Reasoning behalten Frontier-Cloud-Modelle noch einen messbaren Vorteil. Die strategische Empfehlung für Unternehmen lautet daher: Hybrid-Ansätze gewinnen an Bedeutung.
Fazit & Ausblick
Die Nachrichten der letzten Tage unterstreichen einen klaren Trend: Open-Weight-Modelle werden nicht nur größer, sondern auch spezialisierter. Decision Models wie Sarvam Prism zeigen, dass nicht jede KI-Aufgabe generative Textausgabe erfordert – manchmal ist eine kalibrierte Wahrscheinlichkeit wertvoller als ein Fließtext. Für Unternehmen bedeutet das: Der richtige Zeitpunkt für den Einstieg in lokale KI ist jetzt.
Alle Quellen (11)
-
Tencent Releases Full Hy4 Model With Vision and Computer Use
-
New AI Tool Releases, November 2026 (5 Launches)
-
Sarvam Prism: a decision model built on Sarvam 105B
-
DeepSeek Adds Chat-Based Plugin Creation to Harness With Creator Mode
-
ToolSpace Mines Real MCP Traces to Scale Tool Agents
-
Ollama Release Notes - November 2026 Latest Updates
-
ZHA: Zyphra Hierarchical Attention
-
Agentic Cheminformatics with Google Antigravity
-
llama.cpp v0.6.0 Release
-
Local LLM vs Cloud LLM: Differences & Gap [2026]
-
NPU vs GPU Local LLM Benchmarking (2026)