Was mich in der Praxis immer wieder überrascht: Wie schnell aus einem „Cloud-only“-Modell ein lokales wird — und wie unterschiedlich die Hersteller dabei ihre Karten spielen. Alibaba hat mit Qwen3.8-Max erstmals die Gewichte eines Max-Klassen-Modells offengelegt, Moonshot setzt mit Kimi K3 auf das größte Open-Weight-Modell der Geschichte, während DeepSeek weiter preist. In meinen Beratungen und Seminaren taucht deshalb regelmäßig dieselbe Frage auf: Welche dieser Modelle darf in unser Unternehmen? Die Antwort wird heute konkreter als je zuvor — nicht zuletzt, weil der kleinere Qwen3.8-27B laut Tests mit nur 17 GB VRAM läuft.
Harald Bertram, Inhaber und Gründer von BusinessBeyond.de
Alibaba öffnet Qwen3.8-Max — aber nur teilweise
Am 12. August hat Alibaba den Open-Weight-Checkpoint von **Qwen3.8-Max** (intern: Qwen3.8-2.4T-A95B) auf Hugging Face veröffentlicht — das erste Max-Klassen-Qwen-Modell mit offenen Gewichten überhaupt. Das Modell skaliert auf 2,4 Billionen Parameter (95 Milliarden aktiv) und wurde laut Alibaba in Coding, Research und Long-Horizon-Aufgaben deutlich verbessert. Der Haken: Der offene Checkpoint ist ein **Text-only**-Release ohne Vision-Fähigkeiten und ohne das 1-Million-Token-Kontextfenster der gehosteten Version — und er kommt mit einer neuen **Revenue-Share-Lizenz**, die Abweichungen von den bisherigen offenen Qwen-Lizenzen darstellt. Wer also plant, dieses Modell kommerziell zu nutzen, sollte die Lizenzbedingungen genau prüfen. Für den rein lokalen Betrieb auf Multi-GPU-Klustern bleibt es dennoch ein Meilenstein: Ein Frontier-nahes Modell, das nicht mehr zwingend an einen API-Anbieter gebunden ist.
Qwen3.8-27B: Das Frontier-nahe Modell, das auf eine Consumer-GPU passt
Während die 2,4-Billionen-Variante in Rechenzentren steht, ist der kleinere **Qwen3.8-27B** die eigentliche Nachricht für lokale Setups. Daniel Han von Unsloth hat validiert: Mit geeigneter Quantisierung (GGUF) läuft das Modell mit **nur 17 GB VRAM**. Als Praxisminimum empfehlen aktuelle Hardware-Guides 24 GB, der Sweet Spot liegt bei 32–48 GB — erreichbar auf einer RTX 4090/5090 oder einem Apple Silicon-Mac mit 32 GB Unified Memory. Das ist ein qualitativ neuer Zustand: Ein Modell aus dem Qwen3.8-Familienumfeld, das Frontier-Modelle in vielen Alltagsaufgaben eng folgt und trotzdem auf Consumer-Hardware läuft. Für Mittelständler bedeutet das konkret: Statt einer GPU-Cluster-Investition kann eine einzelne Workstation die Basis für interne KI-Anwendungen bilden — mit voller Datenhoheit und ohne Token-Kosten pro Anfrage.
Kimi K3 und DeepSeek V4: Chinas Open-Weight-Trio prescht weiter
Moonshot AI hat mit **Kimi K3** das bislang größte Open-Weight-Modell der Geschichte veröffentlicht: 2,8 Billionen Parameter in einer sparsamen MoE-Architektur (896 Experten, 16 aktiv pro Token), ein 1-Million-Token-Kontextfenster und Text plus Vision nativ integriert. Die API ging am 16. Juli live, die offenen Gewichte folgten am 27. Juli — Platz 4 im Artificial Analysis Intelligence Index. **DeepSeek V4** komplettiert das Trio: Die **Flash-Variante (0731)** ist seit dem 31. Juli mit offenen Gewichten auf Hugging Face verfügbar (166,9 GB in 48 Shards), und die neue Iteration **V4 Pro 0813** erreicht einen Score von 53 im Artificial Analysis Index — bei Preisen, die ab dem 16. August weiter sinken sollen. Im Coding-Vergleich führt Kimi K3 aktuell die Arena.ai Frontend Code Arena an, GLM-5.x den Open-Weights Intelligence Index und DeepSeek V4 das rohe SWE-bench Verified. Für Unternehmen ist vor allem der Preis relevant: Die API-Kosten dieser Modelle liegen deutlich unter denen westlicher Frontier-Anbieter — was auch den Break-Even-Punkt für lokale Alternativen weiter verschärft. Wer heute eine Cloud-API mit chinesischen Open-Weight-Modellen betreibt, hat faktisch zwei Optionen: Die Gewichte selbst hosten (vollständige Kontrolle) oder auf günstige API-Zugänge setzen (niedrigere Einstiegskosten, aber Daten verlassen das Haus).
Cloud vs. Lokal: Die Entscheidungsmatrix verschiebt sich weiter Richtung Eigenbetrieb
Die aktuelle Vergleichsliteratur (u. a. dasroot.net, Ishir) zeichnet ein klares Bild für 2026: Lokale LLMs punkten bei **Datenhoheit, Compliance und Latenz**, Cloud-APIs bei Spitzenleistung, Skalierbarkeit und null Wartungsaufwand. Neu ist die Geschwindigkeit, mit der sich die Qualitätslücke schließt — Open-Weight-Modelle wie Qwen3.8-27B oder Muse Glimmer folgen den Frontier-Cloudmodellen in vielen Alltagsaufgaben nur noch um wenige Prozentpunkte. Zwei Faktoren treiben die Verschiebung: Erstens sinken die Kosten pro Token auf lokaler Hardware durch günstigere GPUs und bessere Quantisierungsverfahren. Zweitens steigen die Compliance-Anforderungen — der EU AI Act ist seit August vollständig durchsetzbar, und Auditierbarkeit wird zum Wettbewerbsvorteil. Für Branchen mit sensiblen Daten (Medizin, Finanzen, öffentlicher Sektor) ist lokale Inferenz damit nicht mehr nur ein Datenschutz-Argument, sondern eine strategische Notwendigkeit.
Inferenz-Tools: Ollama mit MLX und MTP, llama.cpp bleibt das Fundament
Die Landschaft der lokalen Inference-Engines hat sich im Sommer 2026 weiter gefestigt. **Ollama** bringt in den aktuellen Releases (v0.30) das **MLX-Backend auf Apple Silicon**, **Multi-Token-Prediction (MTP)** u. a. für Gemma 4 und verbesserte GGUF-Performance durch aktualisierte llama.cpp-Bindings — auch nicht-Apple-Hardware profitiert. Das seit Januar verfügbare `ollama launch`-Kommando richtet Coding-Tools wie Claude Code, OpenCode oder Codex mit lokalen oder Cloud-Modellen in einem Befehl ein — ohne Umgebungsvariablen oder Konfigurationsdateien. **llama.cpp** bleibt das Fundament der gesamten Landschaft: Es erhält täglich Updates für neue Modellarchitekturen und ist die Referenz für alle Wrapper. Für den Produktivbetrieb mit hoher Concurrency ist **vLLM** weiterhin erste Wahl — dank PagedAttention erreicht es 16–20x höheren Throughput als Single-Stream-Engines. Wichtig für Sicherheitsverantwortliche: Für 2026 wurden mehrere Lücken im llama.cpp-Ökosystem offengelegt, die bei Produktivsetups gepatcht werden sollten.
Hardware: NVIDIA Cosmos 3 Edge bringt Physical AI an den Rand des Netzes — und Windows holt die GPU zurück in die lokale KI
NVIDIA hat auf der SIGGRAPH am 20. Juli **Cosmos 3 Edge** offen verfügbar gemacht: ein Frontier-Weltmodell, das direkt auf lokalen Edge-Geräten läuft statt in zentralen Cloud-Servern — für Robotik, autonome Fahrzeuge und Smart Infrastructure. Open Source ist hier der explizite Hebel, um das Ökosystem anzubinden. Parallel bringt **NVIDIA OpenShell** sichere Agenten-Umgebungen für Windows mit doppelter Inferenzleistung auf llama.cpp-Basis, und die RTX AI Garage optimiert lokale Agenten-Setups auf RTX PCs und DGX Spark. Der im Herbst erwartete **RTX Spark** (Blackwell GPU + Grace CPU, 128 GB Unified Memory) wird das Thema On-Device-Inferenz außerhalb des Serverraums endgültig ernst machen. Auf der anderen Seite gerät die NPU ins Wanken: Windows 11 erhält zunehmend GPU-Support für lokale KI-Inferenz, während es für eingebettete NPUs keine standardisierten APIs gibt (im Gegensatz zu OpenGL/Vulkan). Für LLM-Inferenz auf dem Desktop wird die GPU damit zur primären Rechenplattform; NPUs bleiben vor allem für Always-On-Aufgaben mit niedriger Leistungsaufnahme relevant — ein Punkt, den Unternehmen bei der Hardware-Planung für lokale KI jetzt berücksichtigen sollten.
Fazit & Ausblick
Der 17. August 2026 zeigt: Die Open-Weight-Landschaft ist so dicht wie nie. Qwen3.8-Max, Kimi K3 und DeepSeek V4 stehen innerhalb weniger Wochen nebeneinander — mit unterschiedlichen Lizenzmodellen, Kontextfenstern und Hardware-Anforderungen. Für Unternehmen bedeutet das vor allem eines: Die Auswahl muss jetzt **bewusst** getroffen werden. Wer auf Datenhoheit setzt, greift zu Qwen3.8-27B oder Muse Glimmer auf Consumer-Hardware; wer maximale Kontextlänge braucht, schaut sich Kimi K3 an — auch wenn das Multi-GPU-Setups voraussetzt; und wer Kosten optimieren will, kann DeepSeek V4 Flash als kostengünstige API-Alternative nutzen. Die Inferenz-Tools sind reif: Ollama für den Einstieg, llama.cpp als Fundament, vLLM für Concurrency. Und die Hardware entwickelt sich parallel weiter — von der Consumer-GPU bis zum RTX-Spark-Laptop. Die Frage ist nicht mehr, ob lokale KI im Unternehmen funktioniert, sondern wie schnell das eigene Team die passende Kombination aus Modell, Engine und Hardware zusammenstellt.
Alle Quellen (15)
-
Qwen3.8-Max Open Weights Are Live (August 2026)
-
Qwen3.8 – Offizielle Ankündigung (Open Weights KW 10. August)
-
Daniel Han of Unsloth validates Qwen3.8-27B will run only 17GB VRAM
-
Qwen3.8-27B Local Hardware Guide
-
Kimi K3 Open Weights: 2.8T Params, Day-0 Hosting (2026)
-
DeepSeek V4: Release Date, Specs, and How to Access It (2026)
-
China Model Showdown 2026: GLM-5.3 vs DeepSeek-V4 vs Kimi K3
-
Privacy-Preserving AI: Local LLMs vs Cloud APIs – A 2026 Comparison
-
Local AI vs Cloud LLM: When Enterprises Should Go On-Premise
-
Ollama Release Notes – August 2026 Latest Updates
-
vLLM vs llama.cpp vs Ollama: Which Engine to Use (2026)
-
2026 Local Inference Engines: Key Decision Matrix (inkl. Security-Updates)
-
Nvidia Launches Cosmos 3 Edge World Model for Local AI Devices
-
Faster Local AI Agents on RTX PCs and DGX Spark (RTX AI Garage, OpenShell)
-
Will NPUs soon become useless silicon? – Windows 11's Local AI is getting GPU support