Im Netz stoße ich immer wieder auf Diskussionen rund um die Frage, ob lokale KI-Modelle wirklich konkurrenzfähig sind – und die Antwort für heute lautet eindeutig: Ja. Moonshot AI hat mit Kimi K3.1 Pro ein Modell veröffentlicht, das nur noch drei Punkte hinter dem besten geschlossenen System liegt, während Liquid AI gleichzeitig beweist, dass selbst 2-Billionen-Parameter-Modelle auf einem Laptop laufen können. Für Unternehmen bedeutet das: Die Wahl zwischen Cloud und lokal ist keine Frage mehr der Leistungsfähigkeit, sondern der Datenhoheit und Kostenkontrolle.
Harald Bertram, Inhaber und Gründer von BusinessBeyond.de
Kimi K3.1 Pro: Das stärkste Open-Weight-Modell aller Zeiten
Moonshot AI hat am 23. Oktober mit Kimi K3.1 Pro ein Modell vorgestellt, das die Open-Weight-Landschaft neu definiert. Mit 2,8 Billionen Parametern (davon 104 Milliarden aktiv) und einem Kontextfenster von einer Million Token erreicht das System einen Artificial Analysis Intelligence Index-Score von 55 – damit belegt es Platz vier insgesamt und liegt nur noch drei Punkte hinter Claude Opus 5.5. Vor drei Wochen betrug dieser Abstand elf Punkte; die Konvergenz ist rasant. Besonders bemerkenswert: Kimi K3.1 Pro ist das stärkste jemals aus China stammende Open-Weight-Modell auf unabhängiger Messung. Die API ist bereits zu $2 pro Million Input-Token und $10 pro Million Output-Token verfügbar – ein Drittel günstiger als der Vorgänger Kimi K3. Die vollständigen Modellgewichte sollen bis zum 4. November veröffentlicht werden, was für die Community bedeutet, dass das Modell bald auch lokal auf eigener Hardware laufen wird.
Liquid AI LFM3: KI für jedes Gerät – vom Laptop bis zum Edge-Sensor
Während Kimi K3.1 Pro die obere Grenze der Open-Weight-KI nach oben verschiebt, beweist Liquid AI mit seiner am 27. Oktober veröffentlichten LFM3-Familie, dass leistungsfähige KI auch auf kleinstem Raum möglich ist. Die sechs Open-Weight-Modelle der 2B-Klasse (Text, Vision, Audio, Omni und zwei Entscheidungsmodelle) basieren alle auf einem gemeinsamen Tri-Hybrid-Backbone, das mit 22 Billionen Token trainiert wurde. Die Zahlen sind beeindruckend: Das Textmodell LFM3-1.7B erreicht im Durchschnitt 49,37 über den gemeldeten Benchmarks – gegenüber 47,24 für Qwen3.5-9B bei etwa einem Fünftel der Parameter. Bei 4-Bit-Quantisierung benötigt das Modell nur etwa 1 GB Speicher und läuft damit auf Geräten, die bisher als zu schwach galten. Die Agent-Scores führen ihre Klasse an (LiveClaw 45,60, WebArena-Verified 38,42), was darauf hindeutet, dass LFM3 nicht nur für einfache Aufgaben geeignet ist, sondern auch komplexe Agenten-Workloads abdecken kann. Für Unternehmen bedeutet dies: KI-Inferenz muss nicht mehr zentralisiert in Rechenzentren stattfinden. Sensible Daten können lokal verarbeitet werden, Latenz wird minimiert und die Abhängigkeit von Cloud-APIs sinkt – ein entscheidender Vorteil für Branchen mit strengen Datenschutzanforderungen.
Inferenz-Runtimes im rasanten Wandel: llama.cpp, Ollama und vLLM
Die Infrastruktur für lokale KI-Inferenz hat im Oktober einen massiven Sprung nach vorne gemacht. llama.cpp veröffentlichte am 28. Oktober Version 0.8.0 – ein Major Release mit Unterstützung für die LiquidAI LFM3-Familie, einer neuen experimentellen Streaming-Audio-API sowie den Endpunkten `/v1/realtime` und `/tts`. Neue Architekturen wie DeepSeek V4.1 Flash, SenseNova U1 und Muse Spark wurden integriert, und der Server erhielt verbesserte Router-Speicherverwaltung und Tool-Calling-Funktionen. Ollama liegt bei v0.40.11 als stabile Version, mit einer Pre-Release vom 27. Oktober, die bereits LFM3-Unterstützung hinzufügt. Das Unternehmen hat im Juli eine Series-B-Finanzierung von $65 Millionen abgeschlossen und bedient laut eigenen Angaben inzwischen 8,9 Millionen Entwickler. vLLM hat am 18. Oktober Version 0.32.0 veröffentlicht – ein Release mit 814 Commits von 363 Beitragenden, wobei 121 zum ersten Mal Code beisteuerten. vLLM zielt spezifisch auf High-Throughput-Szenarien bei Datacenter- und Workstation-GPUs ab.
Weitere Open-Weight-Highlights: DeepSeek, MiniMax und Tencent
Der Oktober war reich an Open-Weight-Releases. DeepSeek veröffentlichte am 17. Oktober V4.1 Flash 1017 – ein Punkt-Release mit verbesserten Benchmarks, kürzeren Outputs und unveränderter Preisgestaltung. Die effektiven Input-Kosten liegen bei etwa $0,017 pro Million Token, wenn die Cache-Hit-Rate von 91,5 % berücksichtigt wird. MiniMax launchte am 19. Oktober M3.1 Flash – ein 428B/23B multimodales MoE-Modell zu $0,15/$0,60 pro Million Token mit einem Index-Score von 43 bei nur $0,22 pro Task. Tencent adressierte mit Hy Memory 2.0 (16. Oktober) ein spezifisches Problem: Langzeitgedächtnis für KI-Systeme.
Cloud vs. Lokal: Die Lücke schließt sich – und die Kostenfrage dreht sich um
Aktuelle Benchmarks belegen, dass Open-Source-Modelle auf Consumer-Hardware für viele Business-Anwendungsfälle ausreichen. Ein umfassendes Benchmark vom 22. Oktober zeigt: Qwen3.8 Flash-Next erzielte 91 Punkte auf einer PC-Karte mit Strix Halo und dem Strata-Engine bei 159 Tokens pro Sekunde. Die Kostenstruktur hat sich zugunsten lokaler Lösungen verschoben: Lokale LLMs kosten $0/Token nach der Hardware-Investition, während Cloud-APIs zwischen $0,15 und $60 pro Million Token liegen. Bei High-Volume-Batch-Aufgaben oder sensiblen Daten ist lokale Inferenz nicht nur datenschutzfreundlicher, sondern auch wirtschaftlich überlegen. Gleichzeitig verlagert sich die Metrik für Routing-Entscheidungen von "Preis pro Token" zu "Kosten pro abgeschlossener Task".
Edge AI Hardware: Die Silikon-Rasse beschleunigt sich
NPUs und spezialisierte Edge-AI-Chips treiben die Verlagerung der Inferenz vom Cloud ins Gerät voran. NVIDIA, Qualcomm, Apple und AMD liefern sich ein Rennen um den Markt für On-Device-KI, mit Chips für verschiedene Einsatzszenarien von Smartphones bis zu industriellen Edge-Geräten.
EU AI Act: Compliance wird zur Pflicht
Ab August 2026 gelten vollständige Compliance-Anforderungen für High-Risk-KI-Systeme in der EU. Unternehmen müssen ihre KI-Einsätze nach den vier Risikostufen klassifizieren und entsprechende Governance-Maßnahmen implementieren. Für Unternehmen, die auf lokale KI setzen, bedeutet dies: Die Dokumentation der verwendeten Modelle, Trainingsdaten und Entscheidungsprozesse wird zur Pflicht – ein weiteres Argument für transparente Open-Weight-Lösungen gegenüber Black-Box-Cloud-APIs.
Fazit & Ausblick
Der Oktober 2026 hat gezeigt, dass die Open-Weight-KI nicht nur konkurrenzfähig ist – sie definiert in vielen Bereichen den Standard neu. Kimi K3.1 Pro beweist, dass offene Modelle mit Closed-Source-Frontier-Systemen mithalten können, während Liquid AIs LFM3 zeigt, dass leistungsfähige KI auf jedem Gerät laufen kann. Für Unternehmen bedeutet dies eine doppelte Chance: bessere Kostenkontrolle durch lokale Inferenz und mehr Transparenz durch Open-Weight-Architekturen – beides entscheidende Faktoren in der Ära des EU AI Act. Die kommenden Wochen werden spannend: Die Veröffentlichung der Kimi K3.1 Pro-Gewichte am 4. November wird die Community vor neue Möglichkeiten stellen, und der weitere Ausbau der Inferenz-Runtimes macht lokale KI für immer mehr Anwendungsfälle alltagstauglich.
Alle Quellen (12)
-
Kimi K3.1 Pro Launches With 1 Million-Token Context
-
Kimi K3.1 Pro: Specs, Price, Open Weights Date
-
Liquid AI Releases LFM3: 6 Open-Weight Models
-
Introducing LFM3
-
llama.cpp v0.8.0 Release
-
Ollama vs LM Studio vs llama.cpp vs vLLM 2026
-
LM Studio vs Ollama vs llama.cpp: $0 to $500
-
October 2026 AI Model Updates
-
Local LLM vs Cloud LLM: Differences & Gap
-
LLM Benchmark v4: The Open Source Verdict
-
Edge AI Chips: The Silicon Race
-
EU AI Act Compliance in 2026