Im Netz stosse ich in letzter Zeit immer haeufiger auf detaillierte Benchmarks und Messungen, die zeigen, wie schnell sich das Feld der lokalen LLMs weiterentwickelt. Was vor wenigen Monaten noch als theoretisch galt - eine Verdopplung der Inferenzgeschwindigkeit durch spekulative Dekodierung - ist heute messbare Realitaet auf handelsueblicher Hardware. In meinen Beratungen merke ich, dass viele Unternehmen genau an diesem Punkt stehen: Sie wissen, dass lokale KI moeglich ist, aber die konkreten Zahlen und Werkzeuge fehlen noch. Genau darum geht es in meinem heutigen Digest.
Harald Bertram, Inhaber und Gründer von BusinessBeyond.de
Kleine MoE-Modelle erobern den Mac-Leaderboard-Thron
Die aktuelle Ausgabe des LLMCheck-Monatsberichts fuer Oktober 2026 zeigt eine klare Entwicklung: Kleine Mixture-of-Experts (MoE) Modelle haben die dichten Modelle auf Apple Silicon ueberholt. MiMo-V2.6-Flash fuehrt mit einem Score von 82, gefolgt von Qwen 3.6-35B-A3B mit 81 Punkten. Besonders beeindrucken sind die Community-Messungen: Qwen 3.6-35B-A3B erreicht auf einem M5 Max bis zu 126 tok/s und auf einem Mac mini M6 immer noch 64 tok/s - zwei- bis viermal schneller als die urspruenglichen Schaetzungen des Index vorsahen. Fuer Unternehmen, die lokale KI auf Mac-Hardware betreiben moechten, bedeutet das: Die 30-Billionen-Klasse ist jetzt nicht nur moeglich, sondern auch praktisch nutzbar. Qwen 3.6 mit seiner Apache-2.0-Lizenz und 77,2 % auf SWE-bench Verified schlaegt dabei sogar mehrere bezahlte KI-Assistenten - ein starkes Signal fuer die Wirtschaftlichkeit lokaler Loesungen.
MTP verdoppelt die Inferenzgeschwindigkeit - gemessen und dokumentiert
Ein Meilenstein fuer lokale LLM-Inferenz wurde am 14. Oktober von llm-speed.com dokumentiert: Multi-Token Prediction (MTP), eine Form der spekulativen Dekodierung, hat auf einer RTX 4090 die Decode-Geschwindigkeit von Qwen3.8-27B Q4_K_M von 43,06 auf 84,51 tok/s verdoppelt - ein Faktor von ~1,96x. Die Messungen waren konsistent ueber vier verschiedene Workloads hinweg: chat-short (1,96x), chat-long (1,71x), concurrent-decode (2,02x) und agent-trace (1,84x). Der Preis fuer diese Geschwindigkeit ist messbar: Das Prefill wird um 17-30 % langsamer und der Time-to-First-Token steigt um 156-349 ms. Fuer Chat-Anwendungen bedeutet das in der Praxis ein etwas spaeteres erstes Wort, gefolgt von deutlich schnellerem Textfluss. Interessant ist auch der Vergleich: Eine RTX 4090 mit MTP aktiv uebertrifft eine RTX 5090 ohne MTP - ein starkes Argument fuer Software-Optimierung vor Hardware-Upgrades. Parallel dazu wurde die MTP-Unterstuetzung fuer GLM-5.3-Flash am 7. Oktober in llama.cpp gemerged (PR #29928) und ist mit Version 0.7.0 verfuegbar. Damit wird spekulatives Decoding zu einem Standardfeature der lokalen Inferenz-Landschaft.
Meta, Apple und DeepSeek: Grosse Releases, konkrete Zahlen
Meta hat am 15. Oktober die Gewichte von Muse Spark Open mit 816 Milliarden Parametern veroeffentlicht - eines der groessten Open-Weight-Modelle, das bisher fuer lokale Nutzung verfuegbar war. Versionen 1.2 und 1.3 bleiben API-only, aber die Verfuegbarkeit der Basisgewichte oeffnet neue Moeglichkeiten fuer Forschung und spezialisierte Deployments. Apple hat seinerseits offizielle Decode-Benchmark-Tabellen fuer den M5 Ultra veroeffentlicht: Qwen3.8-27B bei BF16 erreicht 19,69 tok/s gegenueber 12,46 tok/s auf dem M3 Ultra - eine Steigerung von ~58 %. Damit bestaetigt Apple die Community-Messungen und gibt Unternehmen verlaessliche Planungsgrundlagen fuer Hardware-Investitionen. DeepSeek V4.1 Flash wurde erstmals auf Mac-Hardware gemessen: 20,23 tok/s auf einem 512 GB M3 Ultra via oMLX. Upstream-Support in llama.cpp ist noch ein offener Pull Request, aber DeepSeek veroeffentlichte am 17. Oktober einen 1017-Snapshot - das Modell entwickelt sich rasant weiter.
Ollama 0.40: MLX wird zum Standard auf Mac
Ein oft uebersehener, aber wichtiger Schritt fuer die Benutzerfreundlichkeit lokaler LLMs ist Ollama Version 0.40 (veroeffentlicht am 25. September): Sie fuehrt MLX als Standard-Inferenz-Backend fuer unterstuetzte Modelle auf Apple Silicon ein. Damit profitieren Mac-Nutzer automatisch von Apples optimiertem ML-Framework ohne manuelle Konfiguration oder Backend-Auswahl - ein signifikanter Schritt weg von der Expert-only-Wahrnehmung lokaler KI hin zu einer produktiven, alltagstauglichen Loesung.
Jenseits der Chatbots: KI wird wissenschaftlich und physisch
Nicht alles dreht sich um LLMs. Die wichtigsten KI-Releases der letzten Woche zeigen einen Paradigmenwechsel in vier Richtungen: spezialisierte Repraesentationen (Proteine, DNA, 3D-Bewegung), iterative Verfeinerung statt einmaliger Generierung, Zustandskontrolle ueber Zeit und externe Validierung durch reale Tests. Google DeepMinds AlphaProtein Novo entwirft Proteine, Living Models BOTANIC-1 analysiert biologische Sequenzen, WorldPlay2 simuliert interaktive Welten - KI wird weniger zum naechste Token raten und mehr zum operativen Werkzeug in Wissenschaft und Industrie.
Fazit & Ausblick
Fuer Unternehmen, die auf lokale KI setzen, ist der Oktober 2026 ein Monat konkreter Zahlen statt Versprechen. Die Performance-Luecke zwischen lokalen Open-Weight-Modellen und geschlossenen Cloud-Services schrumpft messbar - nicht nur in Benchmarks, sondern in reproduzierbaren Messungen auf handelsueblicher Hardware. MTP als Standardfeature in llama.cpp 0.7.0, MLX als Default in Ollama 0.40 und Apples offizielle Benchmarks schaffen die Grundlage fuer fundierte Investitionsentscheidungen. Die Botschaft ist klar: Lokale KI ist keine Experimentierphase mehr - sie ist produktiv, messbar und wirtschaftlich konkurrenzfaehig. Unternehmen, die jetzt einsteigen, profitieren von einer reifen Werkzeuglandschaft und einem wachsenden Oekosystem an Open-Weight-Modellen unter permissiven Lizenzen wie Apache 2.0.
Alle Quellen (7)
-
State of Open-Source Local LLMs: October 2026
-
Speculative Decoding (MTP) on an RTX 4090: Measured ~2x
-
Qwen 3.6: Free Apache 2.0 Model Beats Paid AI on Coding
-
GLM-5.3-Flash MTP in llama.cpp (PR #29928)
-
AI Breakthroughs October 2026: Why This Week Matters Beyond Chatbots
-
CoreWeave to Acquire Weights & Biases for ~$1.7B
-
Open Source vs Closed LLMs: Technical Comparison 2026