GGUF, Q4_K_M, 14B-Instruct: klingt wie Geheimsprache? Dieses Glossar übersetzt die Begriffe für dich und hilft dir, die richtigen Entscheidungen zu treffen.
Die meisten nutzen ChatGPT, Claude oder Gemini über den Browser. Das funktioniert gut, aber jede Eingabe verlässt dabei deinen Rechner. Für viele KMU ist das ein Problem: Kundendaten, Strategiepapiere, vertrauliche Entwürfe, HR-Dokumente. All das landet auf Servern, die du nicht kontrollierst.
Lokale KI-Modelle lösen das. Die KI läuft auf deinem eigenen Rechner oder Server. Keine Daten gehen raus, kein Anbieter liest mit. Du entscheidest, welches Modell du nutzt, wie lange du es einsetzt und was damit passiert.
Aber sobald du ein lokales Modell herunterladen willst, stehst du vor einem Wald aus Abkürzungen: GGUF, Q4_K_M, 14B-Instruct, MoE, Imatrix. Das klingt kompliziert, ist es aber nicht, wenn du die Logik dahinter kennst. Genau das liefert diese Seite.
Statt jeden Tag ins Restaurant zu gehen (Cloud-KI), kochst du selbst. Du brauchst eine Küche (Hardware), Rezepte (Modelle) und Zutaten (deine Daten). Es dauert etwas, bis alles eingerichtet ist. Aber dafür bestimmst du, was auf den Tisch kommt, und niemand liest mit, was du kochst.
Lokale Modelle verarbeiten alles auf deinem Rechner. Kein Cloud-Anbieter sieht deine Eingaben. Das ist besonders relevant seit dem revidierten Schweizer Datenschutzgesetz (revDSG), das 2023 in Kraft trat und den Umgang mit Personendaten strenger regelt. Lokale KI vereinfacht die Compliance.
Kein Monatsabo, keine Token-Gebühren. Nach der Anschaffung der Hardware läuft das Modell ohne laufende Kosten, nur Strom. Bei intensiver Nutzung kann sich die Investition gegenüber Cloud-Abos lohnen. Wie schnell das geht, hängt von deiner Auslastung und den jeweils aktuellen Preisen ab.
Funktioniert offline. Kein Anbieter kann den Dienst abschalten, die Preise erhöhen oder Nutzungsbedingungen ändern. Du wählst das Modell, die Version und die Einstellungen. Und du entscheidest, wann du wechselst.
Ehrliche Einordnung: Lokal heisst nicht «besser als Cloud». Für viele Aufgaben sind die grossen Cloud-Modelle überlegen: Sie haben mehr Parameter, bessere Trainingsdaten und werden ständig verbessert. Lokal ist die richtige Wahl, wenn Datenschutz, Kontrolle oder Kostenstruktur für dich entscheidend sind.
Wenn du ein Modell herunterlädst, lädst du eine grosse Datei voller Zahlen herunter. Diese Zahlen, die sogenannten «Gewichte» oder «Parameter», sind das, was das Modell während seines Trainings gelernt hat. Sie codieren Sprachmuster, Weltwissen, logische Zusammenhänge und vieles mehr.
Je mehr Parameter ein Modell hat, desto mehr «Wissen» kann es speichern, aber desto mehr Arbeitsspeicher (RAM) braucht es auch. Das ist die zentrale Abwägung bei lokalen Modellen: Leistung gegen Hardware-Anforderungen.
Die Abkürzungen «B» und «M» in Modellnamen stehen für die Anzahl der Parameter. «B» bedeutet Milliarden (englisch: Billion), «M» bedeutet Millionen. Ein «14B»-Modell hat also 14 Milliarden trainierbare Gewichte.
Stell dir vor, ein Modell mit 14 Milliarden Parametern hat 14 Milliarden winzige Entscheidungspunkte. Je mehr davon, desto differenzierter kann es «denken»: Es erkennt feinere Nuancen und kann komplexere Aufgaben lösen. Aber mehr Entscheidungspunkte brauchen auch ein grösseres Gehirn, sprich: mehr Arbeitsspeicher.
| Bezeichnung | Bedeutung | RAM (Q4) | Typischer Einsatz |
|---|---|---|---|
| 100–500M | Hundert Millionen Parameter | ~0.3–0.7 GB | Embedding-Modelle für Textsuche und RAG |
| 1.5B | 1.5 Milliarden | ~1.5 GB | Einfache Aufgaben, schnelle Antworten, mobile Geräte |
| 7B / 8B | 7–8 Milliarden | ~4–5 GB | Einstieg: einfache Texte, Zusammenfassungen |
| 14B | 14 Milliarden | ~8–9 GB | Allrounder: E-Mails, Analysen, leichtes Coding |
| 27B / 32B | 27–32 Milliarden | ~16–20 GB | Anspruchsvoll: Coding, kreatives Schreiben |
| 70B | 70 Milliarden | ~40 GB | Hoch: komplexe Aufgaben, viel Hardware |
| 200B+ | 200 Milliarden und mehr | ~120+ GB | Server-Hardware, MoE oft praktischer |
Achtung, diese Zahlen sind nur die halbe Miete: Sie gelten für das Modell allein. Sobald du mit dem Modell arbeitest, kommt der Speicher für deinen Text dazu, und der kann bei langen Dokumenten grösser werden als das Modell selbst. Wie du das ausrechnest, steht in Kapitel 6 unter «Der versteckte Speicherfresser».
Wichtig: Mehr Parameter bedeuten nicht automatisch bessere Ergebnisse. Ein gut trainiertes 14B-Modell kann ein schlecht trainiertes 70B-Modell übertreffen. Entscheidend ist die Kombination aus Modellgrösse, Trainingsqualität und Passgenauigkeit für deine Aufgabe.
Dense-Modelle rechnen bei jeder Anfrage mit allen Parametern. MoE-Modelle (Mixture of Experts) aktivieren nur einen Teil ihrer Parameter pro Anfrage. Das macht sie deutlich schneller als ein Dense-Modell derselben Gesamtgrösse. Beim Speicher sparst du dabei nichts: Es müssen trotzdem alle Parameter geladen sein, weil vorher niemand weiss, welcher Teil gleich gebraucht wird.
Ein Dense-Modell ist wie ein Allgemeinmediziner, der jede Frage allein beantwortet. Ein MoE-Modell ist wie eine Arztpraxis mit Spezialisten: Pro Anfrage ist nur der passende Facharzt aktiv. Das Team hat enormes Wissen (z.B. 30B Parameter), aber pro Behandlung arbeitet nur ein Teil davon (z.B. 3B aktive Parameter).
MoE erkennt man am Buchstaben «A» im Modellnamen: [Familie]-30B-A3B bedeutet 30 Milliarden Gesamtparameter, 3 Milliarden aktiv pro Token. Du brauchst den Speicher für 30B, aber die Geschwindigkeit entspricht eher einem 3B-Modell.
Die Merkregel für zwei Zahlen im Namen: Die grosse Zahl sagt dir, wie viel Speicher du brauchst. Die kleine Zahl sagt dir, wie schnell es läuft. Bei einem Dense-Modell steht nur eine Zahl, weil beides dasselbe ist.
Embedding-Modelle sind kleine Spezialisten (100–500M Parameter), die Text in mathematische Vektoren umwandeln. Sie generieren keinen lesbaren Text, machen aber Inhalte semantisch durchsuchbar. Wer ein RAG-System aufbaut (KI, die in eigenen Dokumenten sucht), braucht zwingend ein Embedding-Modell.
Modellgenerationen entwickeln sich schnell. Die Modellfamilien (Qwen, Llama, Gemma, Mistral, DeepSeek, Phi und andere) bleiben über Jahre relevant. Was sich häufig ändert: Versionsnummern und einzelne Modellgrössen. Die Konzepte aus diesem Glossar gelten generationsübergreifend.
Auf Hugging Face, der grössten Plattform für KI-Modelle, findest du pro Modell oft mehrere Dateiformate. Die Wahl ist nicht nur eine technische Frage. Es geht auch um die Sicherheit deines Systems.
Der Standard für lokale Modelle. Eine Datei enthält alles. Sicher, weil beim Laden kein Code ausgeführt wird.
Sicheres Format von Hugging Face. Keine Code-Ausführung. Vor allem für GPU-Training und -Inferenz.
Apples eigenes Format für Macs mit M-Chip. Auf einem Mac spürbar schneller als GGUF. Ebenfalls sicher.
Kann beim Laden beliebigen Code ausführen. Sicherheitsrisiko bei unbekannten Quellen.
Faustregel: GGUF und Safetensors sind sicher: Sie enthalten nur Zahlen, keinen ausführbaren Code. Pickle-Dateien (.pt, .bin, .pkl) nur von offiziellen Repos oder bekannten Entwicklern laden.
GGUF wurde im August 2023 von der llama.cpp-Community eingeführt und ist heute der De-facto-Standard für lokale Modelle. Eine einzige Datei enthält alles, kein Entpacken, keine Zusatzdateien. Du lädst die GGUF-Datei herunter, öffnest sie in deinem Tool, fertig.
Typischer Dateiname: Qwen3-14B-Instruct-Q4_K_M.gguf, wie du diesen Namen vollständig entschlüsselst, erfährst du in Kapitel 7.
Für Mac-Nutzer: Wenn du einen Mac mit M-Chip hast, schau nach, ob es das Modell auch als MLX-Version gibt. MLX ist Apples eigenes Format und nutzt die Hardware besser aus. Viele aktuelle Modelle werden von Anfang an in beiden Formaten veröffentlicht. GGUF funktioniert auf dem Mac auch, nur eben etwas langsamer.
Hier stolpern viele: Auf Hugging Face begegnen dir Abkürzungen wie GPTQ, AWQ, EXL2 oder FP8. Das sind keine Dateiformate, sondern Verfahren, mit denen ein Modell verkleinert wurde. Die fertigen Dateien liegen meistens als Safetensors vor.
Der Unterschied in einem Satz: GGUF und Safetensors beantworten die Frage «in welcher Verpackung?». GPTQ, AWQ und die Q-Bezeichnungen beantworten die Frage «wie stark zusammengedrückt?».
| Kürzel | Was es ist | Für wen relevant |
|---|---|---|
| GGUF | Verpackung für lokale Nutzung | Für dich. Der Normalfall auf dem eigenen Rechner. |
| MLX | Verpackung für Macs mit M-Chip | Mac-Nutzer, die Tempo wollen. |
| Safetensors | Verpackung, meist unkomprimiert | Wer selbst trainiert oder auf einem Server mit starker Grafikkarte arbeitet. |
| GPTQ / AWQ | Verkleinerungsverfahren für Grafikkarten | Server-Betrieb mit NVIDIA-Karten. Läuft nicht auf der CPU. |
| EXL2 | Verkleinerungsverfahren, reine Grafikkarte | Spezialfall für maximale Geschwindigkeit auf einer NVIDIA-Karte. |
| FP8 | Halbierte Genauigkeit, herstellerseitig | Server. Manche Hersteller liefern das direkt mit aus. |
Kurzfassung: Wenn du zu Hause oder im Büro auf einem normalen Rechner arbeitest, suchst du GGUF. Auf einem Mac zusätzlich MLX. Alles andere kannst du getrost ignorieren, bis du einen Server mit einer richtigen Grafikkarte betreibst.
1. Dateiformat: GGUF oder Safetensors? Dann ist es sicher. Bei Pickle-Dateien nur von offiziellen Quellen laden.
2. Quelle: Am sichersten sind die offiziellen Bereiche der Hersteller selbst, etwa Qwen/, google/ oder mistralai/. Daneben gibt es einige Community-Anbieter, die seit Jahren zuverlässig komprimierte Versionen bereitstellen: unsloth/, bartowski/ und mradermacher/. Diese drei Namen decken einen sehr grossen Teil dessen ab, was du brauchen wirst.
3. Community-Signale: Likes, Downloads, Kommentare? Ein Modell mit 0 Likes von einem unbekannten Account verdient Vorsicht.
4. Lizenz: Passt die Lizenz zu deinem Einsatzzweck? Dazu mehr in Kapitel 5.
1. Software aktuell halten: Dein Tool für lokale Modelle regelmässig updaten, denn Sicherheitslücken werden in neuen Versionen geschlossen.
2. Tool-Zugriff bewusst vergeben: Ein Modell ohne Tool-Zugriff kann nichts auf deinem System anrichten. Es liest nur deine Eingabe und generiert daraus Text.
3. Netzwerkzugriff einschränken: Wenn du das Modell über n8n oder eine API erreichbar machst, sichere den Zugang ab.
4. Uncensored-Modelle nicht öffentlich hosten: Du bist für die generierten Inhalte verantwortlich.
Gut zu wissen: Ein lokales Modell ohne Tool-Zugriff kann dir antworten, aber nichts anfassen. Erst wenn du ihm über n8n, MCP-Server oder eine API Werkzeuge gibst, kann es mit der Aussenwelt interagieren, und dann liegt die Verantwortung bei dir, diese Zugriffe sorgfältig zu konfigurieren.
Ein 14B-Modell in voller Qualität (BF16) braucht rund 28 GB RAM. Quantisierung löst dieses Problem: Sie komprimiert das Modell, indem die Genauigkeit der einzelnen Gewichte reduziert wird. Ein 14B-Modell mit Q4-Quantisierung braucht nur noch 8–9 GB RAM. Der Qualitätsverlust dabei ist viel kleiner, als die drastische Grössenreduktion vermuten lässt: In Messungen liegt ein Q4-Modell sehr nah am Original.
Ein Foto im RAW-Format hat 50 MB. Als JPEG hat dasselbe Bild noch 5 MB, und du siehst am Bildschirm keinen Unterschied. Genauso bei Modellen: Q4 ist ein gut eingestelltes JPEG, deutlich kleiner und im Alltag kaum vom Original zu unterscheiden. Q2 ist ein stark heruntergerechnetes JPEG, bei dem du die Artefakte siehst. Manchmal ist es trotzdem der einzige Weg, das Bild überhaupt zu zeigen.
Ein Name wie Q4_K_M folgt einer klaren Logik aus drei Teilen:
Q + Zahl: Bits pro Gewicht. Weniger Bits = kleinere Datei = weniger Genauigkeit.
Mittlerer Buchstabe: das Kompressionsverfahren. K steht für die K-Quants, das heute übliche Verfahren.
Letzter Buchstabe: die Variante: XS (kleinste), S, M (Mitte, empfohlen), L und XL (grösser).
Warum die K-Quants besser sind als das blosse Abrunden aller Zahlen: Sie behandeln nicht alle Teile des Modells gleich. Empfindliche Bereiche bekommen mehr Bits, robuste Bereiche weniger. Deshalb ist ein Q4_K_M deutlich besser als ein einfaches 4-Bit-Modell, obwohl beide «4 Bit» heissen.
Der letzte Buchstabe wird oft unterschätzt. Zwischen Q3_K_S und Q3_K_M liegen nur wenige hundert Megabyte, in der Qualität aber ein deutlicher Sprung. Wenn du schon bei 3 Bit bist, nimm auf keinen Fall die S-Variante.
| Stufe | Bits | Grösse gegenüber Original | Einordnung |
|---|---|---|---|
| Q2 | 2 Bit | rund ein Achtel | Stark komprimiert. Nur wenn es anders nicht geht. |
| Q3 | 3 Bit | rund ein Viertel | Merklich schwächer bei Logik und Rechnen. Für einfache Aufgaben brauchbar. |
| Q4 | 4 Bit | rund 30 Prozent | Sweet Spot. Im Alltag kaum vom Original zu unterscheiden. |
| Q5 | 5 Bit | rund 35 Prozent | Sicherheitspuffer nach oben. Sinnvoll, wenn der RAM es hergibt. |
| Q6 | 6 Bit | rund 40 Prozent | Praktisch das Original. Der Unterschied zu Q5 ist minimal. |
| Q8 | 8 Bit | rund die Hälfte | Messbar identisch zum Original. Lohnt sich selten. |
Zu dieser Frage kursieren im Netz viele Zahlen, die niemand belegt. Häufig liest man, Q4 liefere «rund 90 Prozent» der Originalqualität. Diese Zahl ist zu pessimistisch.
Eine kontrollierte Untersuchung aus dem Januar 2026 hat für ein 8B-Modell alle gängigen Stufen durch fünf Standardtests geschickt und mit dem unkomprimierten Original verglichen. Ergebnis: Bis hinunter zu Q4 bleibt der Durchschnitt praktisch auf dem Niveau des Originals. Erst unterhalb von 4 Bit wird der Verlust deutlich.
| Stufe | Datei kleiner um | Testergebnis gegenüber Original |
|---|---|---|
| Q8_0 | 47% | praktisch identisch |
| Q6_K | 59% | praktisch identisch |
| Q5_K_M | 64% | praktisch identisch |
| Q4_K_M | 69% | minimal darunter |
| Q3_K_M | 75% | rund 2 Prozent darunter |
| Q3_K_S | 77% | rund 6 Prozent darunter |
Quelle: Uygar Kurt, «Which Quantization Should I Use? A Unified Evaluation of llama.cpp Quantization on Llama-3.1-8B-Instruct», arXiv 2601.14277, Januar 2026. Gemessen an Llama-3.1-8B mit den Tests GSM8K, HellaSwag, IFEval, MMLU und TruthfulQA.
Der Verlust verteilt sich ungleich. Das ist die wichtigere Erkenntnis. Einfache Aufgaben wie Textverständnis überstehen selbst starke Komprimierung fast unbeschadet. Empfindlich sind Rechnen, mehrstufiges Denken und das genaue Einhalten von Anweisungen. Im selben Test fiel die Mathematikleistung bei der schwächsten 3-Bit-Stufe um über neun Punkte, während das Textverständnis unverändert blieb.
Für dich heisst das: Für Zusammenfassungen und Standardtexte kannst du getrost sparen. Für Analysen, Rechenaufgaben oder Workflows mit festen Ausgabeformaten geh nicht unter Q4.
Die wichtigste Faustregel überhaupt: Ein grosses Modell stark komprimiert schlägt fast immer ein kleines Modell schwach komprimiert. Wenn du zwischen «14B in Q4» und «7B in Q8» wählen musst und beide gleich viel Speicher brauchen, nimm das grössere Modell.
Neben den K-Quants gibt es eine zweite Familie: Namen wie IQ4_XS oder IQ3_M. Das I steht hier vor dem Q, nicht in der Mitte. Es kennzeichnet ein anderes, aufwändigeres Verfahren, das bei sehr starker Komprimierung mehr Qualität herausholt.
Der Haken: Diese I-Quants laufen auf NVIDIA-Grafikkarten schnell, auf einem Mac oder rein auf der CPU dagegen langsamer als ein K-Quant derselben Grösse.
Einfache Regel: Hast du eine NVIDIA-Grafikkarte und willst unter 4 Bit gehen, nimm IQ. In allen anderen Fällen bleib bei K-Quants. Wenn du dir unsicher bist, ist ein K-Quant nie die falsche Wahl.
Auf Hugging Face liest du häufig «imatrix» in einer Modellbeschreibung. Das ist kein Format und keine Stufe, sondern ein Qualitätsschritt beim Komprimieren: Der Anbieter lässt vorher Beispieltexte durch das Original laufen und misst, welche Zahlen im Modell besonders wichtig sind. Diese werden dann geschont.
Wichtig zu verstehen: Imatrix lässt sich auf alle Stufen anwenden, auch auf ganz normale K-Quants. Zwei Dateien, die beide Q4_K_M heissen, können deshalb unterschiedlich gut sein, je nachdem ob der Anbieter sich diese Mühe gemacht hat.
Die Datei selbst enthält davon nichts mehr. Sie ist nur besser abgestimmt. Bei den grossen Anbietern ist Imatrix inzwischen Standard, was ein weiteres Argument dafür ist, bei bekannten Namen zu bleiben.
4 Bit, K-Quant, mittlere Variante. ~88–93% Originalqualität bei stark reduziertem RAM-Bedarf. Standardempfehlung für die meisten Nutzer. Wenn du unsicher bist: Q4_K_M.
5 Bit, K-Quant, mittel. Spürbar besser als Q4, braucht rund 25% mehr RAM. Die richtige Wahl ab 24 GB RAM.
6 Bit, K-Quant. 95–97% Originalqualität. Für anspruchsvolle Aufgaben wie Coding, Analyse oder kreatives Schreiben.
8 Bit. 98–99% Originalqualität. Nur sinnvoll, wenn RAM wirklich kein Engpass ist.
Seit 2025 tauchen zwei Zusätze in Dateinamen auf, die es früher nicht gab. Beide bedeuten in der Regel bessere Qualität bei gleicher Grösse.
Steht für «Unsloth Dynamic». Der Anbieter Unsloth stellt für jedes Modell einzeln fest, welche Teile wie stark komprimiert werden dürfen, statt überall dasselbe Schema anzuwenden. Eine Datei namens UD-Q4_K_XL ist damit meist besser als ein gewöhnliches Q4 derselben Grösse. Wenn du die Wahl hast, nimm die UD-Variante.
Steht für «Quantization Aware Training». Hier hat schon der Hersteller beim Training berücksichtigt, dass das Modell später komprimiert wird. Google macht das bei Gemma. Solche Modelle vertragen die Komprimierung besser als nachträglich zusammengedrückte. Wenn ein Hersteller eine QAT-Version anbietet, ist sie fast immer die bessere Wahl.
Einfache Faustformel nach verfügbarem RAM:
Faustregel: Nimm immer die höchste Q-Stufe, die noch in deinen RAM passt, und lass mindestens 4 GB frei für Betriebssystem und andere Programme.
| Bezeichnung | Bedeutung | Empfehlung |
|---|---|---|
| Q4_K_M | 4 Bit, K-Quant, mittel | ★ Allround-Empfehlung |
| Q4_K_S | 4 Bit, K-Quant, klein | Wenn RAM knapp ist |
| Q5_K_S | 5 Bit, K-Quant, klein | Guter Kompromiss |
| Q5_K_M | 5 Bit, K-Quant, mittel | Gehobene Qualität |
| Q6_K | 6 Bit, K-Quant | Wenn RAM kein Problem ist |
| Q8_0 | 8 Bit, Basis | Fast wie das Original |
| Q4_K_L | 4 Bit, K-Quant, gross | Etwas mehr Qualität als Q4_K_M |
| IQ4_XS | 4 Bit, I-Quant, extra-klein | Kompakter als Q4_K_S. Nur mit NVIDIA-Karte sinnvoll |
| IQ4_NL | 4 Bit, I-Quant, non-linear | Spezialvariante |
| IQ3_M | 3 Bit, I-Quant, mittel | Wenn ein grösseres Modell sonst nicht passt |
| UD-Q4_K_XL | 4 Bit, dynamisch abgestimmt | ★ Falls verfügbar, besser als normales Q4 |
Ein häufiges Missverständnis: Wenn ein lokales Modell wirre Antworten gibt, sich selbst ins Wort fällt oder nicht aufhört zu schreiben, denken viele zuerst an eine zu starke Komprimierung. In den meisten Fällen liegt es an etwas anderem.
Jedes Modell erwartet, dass deine Frage in einem ganz bestimmten Muster verpackt wird, damit es weiss, wo deine Eingabe anfängt und wo seine Antwort beginnen soll. Dieses Muster heisst Chat-Template und ist von Modellfamilie zu Modellfamilie verschieden. Passt es nicht, wird die Ausgabe unbrauchbar, egal wie gut das Modell ist.
Was du dagegen tun kannst: Halte deine Software aktuell, damit sie neue Modellfamilien kennt. Lade Modelle bei Anbietern, die das Template mitliefern. Und wenn eine brandneue Modellgeneration erscheint, warte lieber ein paar Tage, bis die Tools nachgezogen haben. Der Fehler tritt fast nur in den ersten Tagen nach einer Veröffentlichung auf.
Auf Hugging Face stehen Zehntausende von Modellen zur Auswahl. Die Antwort auf «welches ist das richtige?» hängt von vier Fragen ab: Welche Aufgabe willst du lösen? Welcher Modelltyp passt? Wie viel Hardware hast du? Und welche Lizenz brauchst du?
Rohes vortrainiertes Modell. Vervollständigt Texte, beantwortet keine Fragen. Für Endnutzer ungeeignet.
Für Frage-Antwort und Anweisungen optimiert. Standardtyp für die meisten Anwendungen.
Älterer Begriff für dasselbe wie Instruct. Bei aktuellen Modellen gibt es diese Trennung meist nicht mehr.
Das Modell denkt vor der Antwort sichtbar nach. Bei neueren Modellen ein Schalter, kein eigenes Modell.
Sicherheitsschranken entfernt. Die Verantwortung für die Nutzung liegt vollständig bei dir.
Praxis-Tipp: Wenn du unsicher bist, nimm ein Instruct-Modell. Es deckt die allermeisten Anwendungsfälle ab.
Das hat sich 2026 geändert: Früher gab es für nachdenkliche Antworten eigene Modelle mit Zusätzen wie «-R» oder «-Thinking». Bei den aktuellen Generationen von Qwen und Gemma steckt beides im selben Modell und du schaltest um: schnell antworten oder erst nachdenken. Wenn du also ein separates Reasoning-Modell suchst und keines findest, liegt es womöglich daran, dass dein Modell das schon kann.
| Einsatzzweck | Empfohlene Eigenschaften | Typische Grösse | Worauf achten |
|---|---|---|---|
| Büroassistenz | Instruct, mehrsprachig | 7B–14B | Gute Deutsch-Unterstützung |
| Code-Unterstützung | Coder-Modell oder allgemeines mit Code-Training | 14B–30B (oft MoE) | Suffix «-Coder», Tool-Calling |
| RAG / Wissenssuche | Embedding-Modell + Instruct | 100M–500M + 7B–14B | Hoher Kontextumfang (128k+ ist heute üblich) |
| Kreatives Schreiben | Allround, höhere Temperature | 14B–32B oder MoE | Modell-Karten mit Story-Beispielen |
| Reasoning / Analyse | Modell mit Thinking-Modus | 14B–32B+ | Bei neueren Modellen ein Schalter, bei älteren ein Suffix wie «-R» |
| Bildverständnis | Vision-Modell (multimodal) | Variabel | Suffix «-VL», «-Vision» |
Konkrete Modellnamen wechseln, die Logik bleibt. Wenn du auf Hugging Face suchst, kombinierst du die Eigenschaften: «14B + Instruct + Q4_K_M» liefert aktuelle, passende Modelle, egal welche Generation.
Apache 2.0: Sehr verbreitet. Kommerzielle und private Nutzung ohne Einschränkungen. Nur Namensnennung erforderlich.
MIT: Eine der liberalsten Lizenzen. Praktisch keine Bedingungen ausser Beibehaltung der Lizenz.
Meta Llama Community License: Erlaubt kommerzielle Nutzung. Ab 700 Mio. monatlich aktiven Nutzern braucht es eine gesonderte Vereinbarung mit Meta. Für ein KMU also unkritisch.
Google Gemma Terms: Erlaubt Kommerz, aber mit Nutzungseinschränkungen. CC-BY-NC: Nur privat/Forschung, keine kommerzielle Nutzung.
| Familie | Entwickler | Typische Stärken | Lizenz |
|---|---|---|---|
| Qwen | Alibaba | Allround, mehrsprachig, Coder-Varianten | Apache 2.0 (die grössten Modelle abweichend) |
| Llama | Meta | Allround, grosses Ökosystem | Llama Community |
| Gemma | Sehr effizient, auch auf kleiner Hardware | Apache 2.0 (seit Gemma 4) | |
| Mistral / Mixtral | Mistral AI | Effiziente Dense- und MoE-Modelle, EU-basiert | Apache 2.0 (einzelne Modelle abweichend) |
| DeepSeek | DeepSeek (CN) | Reasoning, Coding, sehr permissiv | MIT |
| gpt-oss | OpenAI | Reasoning, in zwei Grössen (20B und 120B) | Apache 2.0 |
| Phi | Microsoft | Sehr kompakt, gut für schwache Hardware | MIT |
| GLM, Kimi, Nemotron | Z.ai, Moonshot, NVIDIA | Meist sehr grosse Modelle für Server | Unterschiedlich, im Einzelfall prüfen |
Lizenzen ändern sich, auch rückwirkend für neue Generationen. Google hat mit Gemma 4 von eigenen Nutzungsbedingungen auf Apache 2.0 gewechselt. Umgekehrt liefern manche Hersteller ihre grössten Modelle unter eigenen Bedingungen aus, während die kleineren frei bleiben. Prüf die Lizenz immer am konkreten Modell, nicht an der Familie.
Drei Dinge sind nötig: eine Software, die das Modell ausführt, genug Arbeitsspeicher, und optional eine Grafikkarte für mehr Geschwindigkeit.
| Eigenschaft | Msty Studio | Ollama | LM Studio | Open WebUI |
|---|---|---|---|---|
| Bedienung | Grafische Desktop-App | Kommandozeile, seit 2025 auch mit eigener App für Mac und Windows | Grafische Desktop-App, auch ohne Fenster als Server nutzbar | Browser-Interface |
| Modell-Suche | Eingebaut | Via CLI oder Hugging Face | Eingebauter HF-Browser | Via Ollama-Backend |
| API-Server | Ja | Ja (Port 11434) | Ja | Ja (OpenAI-kompatibel) |
| n8n-Integration | Über die API | Über die API | Über die API | Via API oder Pipe Functions |
| Mehrere Nutzer gleichzeitig | Nein | Eingeschränkt, über eine Einstellung | Eingeschränkt, im Servermodus | Ja |
| Lizenz | Closed Source, kostenlose Basis | Open Source (MIT) | Closed Source, kostenfrei | Open Source (MIT) |
| Ideal für | Einsteiger, polierte Oberfläche | Automation, Server, inzwischen auch Einsteiger | Einsteiger mit API-Bedarf | Teams, Server-Deployment |
| Website | msty.app | ollama.com | lmstudio.ai | openwebui.com |
Was unter der Haube läuft: Msty Studio, Ollama und LM Studio bauen alle auf llama.cpp auf, dem gleichen offenen Motor. Auf Macs mit M-Chip nutzen Ollama und LM Studio inzwischen zusätzlich Apples MLX, das dort schneller arbeitet. Open WebUI ist ein Browser-Frontend und braucht eines der anderen Tools als Unterbau. Für n8n-Automatisierungen eignen sich alle vier: Ollama, Msty und LM Studio über ihre direkte API, Open WebUI über seine eigene OpenAI-kompatible API oder via Pipe Functions.
Die Tools sind austauschbarer geworden. Früher galt: Ollama für Entwickler, LM Studio für Einsteiger. Beide haben inzwischen nachgezogen, Ollama hat eine grafische App bekommen, LM Studio einen Servermodus. Du kannst dich also nach der Oberfläche entscheiden, die dir besser gefällt, ohne dir Möglichkeiten zu verbauen. Unter Linux bleibt Ollama bei der Kommandozeile.
Alle Speicherangaben bis hierher gelten für das Modell allein. Sobald du damit arbeitest, kommt ein zweiter Posten dazu, den fast alle übersehen: Das Modell muss sich merken, was bisher im Gespräch stand. Dieser Zwischenspeicher heisst KV-Cache.
Er wächst mit jedem Wort, das im Gespräch steht: mit deiner Frage, mit angehängten Dokumenten und mit allem, was das Modell bereits geantwortet hat. Und er wächst gleichmässig weiter. Doppelt so viel Text bedeutet doppelt so viel Zwischenspeicher.
Das Modell ist das Nachschlagewerk im Regal und hat immer dieselbe Grösse. Der KV-Cache ist der Notizblock daneben, auf dem alles mitgeschrieben wird, was ihr bisher besprochen habt. Bei einer kurzen Frage ist das ein Zettel. Wenn du einen 80-seitigen Vertrag hineinkopierst, ist es ein ganzer Stapel Papier. Und der Stapel braucht Platz auf demselben Tisch.
Bei sehr langen Texten kann der Zwischenspeicher grösser werden als das Modell selbst. Das erklärt einen Effekt, den viele erleben: Das Modell startet problemlos, läuft eine Weile, und stürzt dann ab oder wird plötzlich zäh, sobald ein längeres Dokument dazukommt.
So rechnest du realistisch: Modellgrösse plus Reserve für den Zwischenspeicher plus Reserve fürs Betriebssystem. Als Anhaltspunkt für den Alltag: Nimm zur Modellgrösse noch einmal ein Viertel bis ein Drittel dazu, wenn du mit normalen Texten arbeitest. Wenn du regelmässig ganze Dokumente einliest, plane grosszügiger.
Der wichtigste Regler, den du kennen solltest: Jedes Tool hat eine Einstellung für die maximale Kontextlänge, oft «Context Length» oder «num_ctx» genannt. Steht sie sehr hoch, reserviert das Programm entsprechend Speicher, selbst wenn du ihn nie brauchst. Wenn dein Modell nicht laden will, obwohl es der Grösse nach passen müsste, ist diese Einstellung fast immer die Ursache. Setz sie auf einen Wert, der zu deiner Arbeit passt, statt aufs Maximum.
Lokale Modelle laufen grundsätzlich auf jedem modernen Rechner, auch allein mit der CPU. Eine Grafikkarte oder ein Mac mit M-Chip beschleunigt die Antwortgeschwindigkeit aber erheblich.
| Geschwindigkeit | Nutzererlebnis |
|---|---|
| 1–5 Tokens/Sekunde | Spürbar langsam. Geduld erforderlich, aber nutzbar für kurze Antworten. |
| 5–15 Tokens/Sekunde | Etwa Lesegeschwindigkeit. Akzeptabel für die meisten Aufgaben. |
| 15–30 Tokens/Sekunde | Flüssig. Antworten erscheinen ohne spürbare Wartezeit. |
| 30+ Tokens/Sekunde | Sehr schnell. Vergleichbar mit Cloud-Diensten. |
Ein weit verbreiteter Irrtum: Viele glauben, ein Modell laufe entweder komplett auf der Grafikkarte oder gar nicht. Tatsächlich lässt sich ein Modell aufteilen. Ein Teil liegt auf der Grafikkarte, der Rest im normalen Arbeitsspeicher, und beide rechnen zusammen.
In den Tools heisst diese Einstellung meist GPU Layers oder n_gpu_layers. Du gibst an, wie viele Schichten des Modells auf die Grafikkarte sollen. Die meisten Programme schätzen das automatisch, aber du kannst nachhelfen.
Die Grafikkarte ist die Werkbank: schnell, aber klein. Der Arbeitsspeicher ist das Lagerregal nebenan: gross, aber der Weg dorthin kostet Zeit. Was du oft brauchst, legst du auf die Werkbank. Der Rest bleibt im Regal. Je mehr auf die Werkbank passt, desto flüssiger arbeitest du.
Was das praktisch bedeutet: Mit 8 GB Grafikspeicher und 32 GB Arbeitsspeicher kannst du ein 14B-Modell betreiben, auch wenn es nicht ganz auf die Karte passt. Es wird langsamer als bei voller Auslagerung, bleibt aber nutzbar. Deine Grafikkarte setzt also keine harte Obergrenze. Sie bestimmt nur das Tempo.
Beim Schreiben einer Antwort muss das Modell für jedes einzelne Wort seine Gewichte durchlesen. Der Engpass ist deshalb nicht die Rechenleistung, sondern wie schnell die Zahlen aus dem Speicher geholt werden können. Fachbegriff dafür: Speicherbandbreite.
Es hilft dir nichts, einen stärkeren Motor an der Pumpe zu haben, wenn der Schlauch der Engpass ist. Bei lokalen Modellen ist der Schlauch die Speicherbandbreite. Deshalb kann eine Karte mit viel, aber langsamem Speicher enttäuschen, während ein Mac mit M-Chip überraschend gut abschneidet: Apple hat den Schlauch breit gebaut.
Für die Kaufentscheidung heisst das: Schau zuerst darauf, wie viel Speicher zur Verfügung steht, denn er entscheidet, ob ein Modell überhaupt läuft. Danach auf die Bandbreite, denn sie entscheidet über das Tempo. Die reine Rechenleistung ist beim Betrieb lokaler Modelle der am wenigsten wichtige Wert.
Anschaffung: Hardware, einmalige Ausgabe, abhängig von Modellgrösse und Geschwindigkeitsanspruch.
Laufende Kosten: Praktisch nur Strom. Ein Desktop-Rechner kostet im Betrieb wenige Franken pro Monat.
Rechnet sich, wenn: Du intensiv und regelmässig KI nutzt, mit sensiblen Daten arbeitest oder mehrere Personen Zugriff brauchen.
Anschaffung: Keine. Du nutzt die Hardware des Anbieters.
Laufende Kosten: Monatliches Abo oder Token-Preise, die mit intensiverer Nutzung steigen.
Rechnet sich, wenn: Du nur gelegentlich KI brauchst oder immer Zugriff auf die neuesten Modelle willst.
Konkrete Preise ändern sich. Statt einer Tabelle mit Beträgen, die schnell überholt sind: Rechne kurz vor der Anschaffung mit aktuellen Preisen. Hardware wird günstiger, Abos werden angepasst.
Du siehst auf Hugging Face einen Namen wie unsloth/Qwen3-Coder-30B-A3B-Instruct-Q4_K_M.gguf und denkst: Was?! Wenn du die einzelnen Bausteine kennst, kannst du jeden Modellnamen lesen, auch von Familien, die du noch nicht kennst.
Lesereihenfolge: Vorne steht, wer die Datei bereitstellt. Das kann der Hersteller selbst sein (Qwen/, google/) oder jemand, der die komprimierte Version erstellt hat (unsloth/, bartowski/). Danach folgen Basismodell und Spezialisierungen, am Ende Komprimierungsstufe und Format. Nicht jeder Name enthält alle Teile, aber die Reihenfolge bleibt immer dieselbe.
Wenn du beim Lesen eines Modellnamens ins Stocken gerätst, liegt es meistens an einer dieser drei Stellen.
Bei Qwen3.8-27B ist 3.8 die Generation des Modells und 27B die Grösse. Das ist kein 3,8-Milliarden-Modell. Umgekehrt wäre Qwen3-8B tatsächlich ein 8-Milliarden-Modell aus der dritten Generation. Ein Punkt und ein Bindestrich unterscheiden also zwei völlig verschiedene Dinge.
Bei 30B-A3B gilt die erste Zahl für den Speicherbedarf, die zweite für das Tempo. Wer nur die zweite Zahl liest, unterschätzt den Speicherbedarf um das Zehnfache.
IQ4_XS und Q4_K_S sind beide vier Bit, benutzen aber verschiedene Verfahren. Auf die Position des Buchstabens achten: vorne bedeutet I-Quant, in der Mitte bedeutet K-Quant.
Standardisierte Tests zum Modellvergleich. Bekannte Beispiele: MMLU (Allgemeinwissen), HumanEval (Coding), GSM8K (Mathematik). Wichtig: Benchmarks können «überoptimiert» sein: Ein Modell, das auf einem Benchmark gut abschneidet, ist nicht zwingend gut für deine konkrete Aufgabe.
Das Standardformat für unkomprimierte Modelle. 16 Bit pro Gewicht, das gilt als «volle Qualität», an der alle Quantisierungen gemessen werden.
Wie viel Text das Modell gleichzeitig «sehen» kann, gemessen in Tokens. Früher waren 2k–4k üblich, heute sind 128k der Normalfall und neuere Modelle erreichen 256k und mehr. Ein grösseres Kontextfenster ist wichtig für RAG, lange Dokumente und mehrteilige Dialoge. Beachte dabei: Ein grosses Fenster wirklich zu nutzen kostet Arbeitsspeicher, siehe Kapitel 6.
Wie schnell Daten aus dem Speicher gelesen werden können. Bei lokalen Modellen der entscheidende Wert für das Tempo, wichtiger als die reine Rechenleistung. Siehe Kapitel 6.
Das Muster, in dem deine Frage an das Modell übergeben wird, damit es Eingabe und Antwort auseinanderhalten kann. Jede Modellfamilie hat ein eigenes. Ein falsches Template ist die häufigste Ursache für unbrauchbare Ausgaben.
Eine Trainingstechnik, bei der ein kleines Modell vom Verhalten eines grossen lernt. Das kleine Modell wird dadurch leistungsfähiger, als seine Grösse vermuten lässt.
Nachtraining eines Basismodells für einen spezifischen Anwendungsfall (z.B. Recht, Medizin, kreatives Schreiben). Das Basismodell bleibt erhalten, wird aber für die neue Aufgabe spezialisiert.
Die Aufteilung eines Modells zwischen Grafikkarte und Arbeitsspeicher. Je mehr Schichten auf der Grafikkarte liegen, desto schneller antwortet das Modell. Ein Modell muss nicht vollständig auf die Grafikkarte passen, um zu laufen.
Ein Zusatzschritt beim Komprimieren: Vorher wird gemessen, welche Zahlen im Modell besonders wichtig sind, damit sie geschont werden. Lässt sich auf alle Komprimierungsstufen anwenden. Zwei Dateien mit demselben Namen können deshalb unterschiedlich gut sein.
Der Zwischenspeicher, in dem das Modell das laufende Gespräch behält. Wächst mit der Textmenge und kann bei langen Dokumenten mehr Platz brauchen als das Modell selbst. Der häufigste Grund, warum ein rechnerisch passendes Modell trotzdem nicht läuft.
Apples Format und Rechenbibliothek für Macs mit M-Chip. Dort schneller als GGUF. Viele Modelle werden inzwischen in beiden Formaten veröffentlicht.
Zusatzdatei bei Vision-Modellen. Sie übersetzt Bilder in die Form, die das Sprachmodell verarbeiten kann. Bei Vision-Modellen lädst du immer zwei Dateien: Modell + mmproj-Datei.
Prompt: Deine Eingabe an das Modell. System-Prompt: Eine spezielle Anweisung, die das Verhalten des Modells für die gesamte Sitzung festlegt (z.B. «Du bist ein hilfreicher Schweizer Steuerberater»).
Der Hersteller berücksichtigt schon beim Training, dass das Modell später komprimiert wird. Solche Modelle vertragen die Komprimierung besser. Erkennbar an «QAT» im Namen.
Steuert die «Kreativität» des Modells. Niedrige Werte (0.1–0.3) → präzise, vorhersagbare Antworten. Höhere Werte (0.7–1.0) → variantenreiche, kreativere Antworten.
Das Modell denkt vor der Antwort sichtbar nach, oft in <think>-Blöcken. Verbessert die Qualität bei komplexen Aufgaben und erhöht die Antwortzeit. Bei älteren Modellen erkennbar an Suffixen wie «-R» oder «-Thinking». Bei den aktuellen Generationen ist es meist ein Schalter im selben Modell.
Die Grundeinheit, in der KI-Modelle Text verarbeiten. Ein Token entspricht ungefähr einer Silbe oder einem kurzen Wort. Für Deutsch gilt eine ungünstigere Rechnung als für Englisch, weil unsere zusammengesetzten Wörter in mehrere Tokens zerlegt werden: Aus «Betriebshaftpflichtversicherung» werden schnell fünf oder sechs Tokens. Als grobe Orientierung: Eine A4-Seite deutscher Text sind rund 600 bis 800 Tokens.
Die Geschwindigkeit, mit der das Modell antwortet. Siehe Tabelle in Kapitel 6 zur Einordnung der Werte.
Technische Parameter, die zusätzlich zur Temperature die Wortauswahl des Modells steuern. Für die meisten Anwendungen sind die Standardwerte gut (Top-P ≈ 0.9, Top-K ≈ 40).
Modelle, die nicht nur Text, sondern auch Bilder verstehen können. Erkennbar an Suffixen wie «-VL», «-Vision» oder «mm-». Bei neueren Modellen ist das Bildverständnis oft schon eingebaut, ohne dass es im Namen steht.
Ein Verfahren, mit dem sich das Kontextfenster eines Modells über den ursprünglich trainierten Umfang hinaus dehnen lässt. Wird auf Modellkarten oft erwähnt («262k nativ, 1M via YaRN»). Der Zugewinn ist nicht gratis: Sehr kurze Anfragen können dadurch etwas schlechter beantwortet werden.
Genug Theorie. Hier sind drei Wege, wie du in den nächsten 30 Minuten dein erstes lokales Modell zum Laufen bringst.
Lade eine grafische Desktop-App herunter (Msty Studio oder LM Studio). Installieren, ein 7B/8B-Modell wählen, herunterladen, Frage stellen. Ohne Kommandozeile, fertig in 10–15 Minuten.
Ollama installieren, mit ollama run [modellname] starten. Das Modell läuft als API, ideal für Scripts, Programmierumgebungen und Automations-Workflows.
Ollama oder LM Studio mit n8n verbinden. Das lokale Modell wird Teil deiner Automatisierungen, ohne dass Daten die eigene Infrastruktur verlassen.
Diese sechs Prompts helfen dir, Stärken und Schwächen verschiedener Modelle schnell zu erkennen. Sie funktionieren generationsübergreifend und decken die wichtigsten Fähigkeitsbereiche ab.
Testet, ob das Modell Inhalte erfassen und zusammenfassen kann.
Testet, ob das Modell eine mehrstufige Aufgabe sauber zu Ende rechnet und dabei eine Bedingung nicht übersieht. Bekannte Knobelrätsel eignen sich dafür nicht mehr, weil die Modelle sie auswendig kennen. Ändere die Zahlen ruhig ab, dann siehst du, ob wirklich gerechnet wird.
Testet gleich dreierlei: Sprachqualität im Deutschen, Einhaltung von Tonalität und Länge, und ob das Modell Schweizer Konventionen kennt. Achte besonders auf das ß: In gutem Schweizer Hochdeutsch kommt es nicht vor. Viele Modelle sind überwiegend auf deutschem Text trainiert und fallen hier durch.
Testet, ob das Modell für Programmieraufgaben taugt.
Testet, ob das Modell präzisen Formatvorgaben folgt.
Der wichtigste Test für den Geschäftsalltag: Gibt das Modell zu, wenn es etwas nicht weiss? Setz hier etwas ein, das es unmöglich kennen kann, zum Beispiel deine eigene Firma, wenn sie klein ist, oder ein erfundenes Produkt. Ein gutes Modell sagt, dass es dazu nichts weiss. Ein schlechtes erfindet eine überzeugend klingende Antwort.
So vergleichst du Modelle fair: Stelle jedem Modell exakt die gleichen sechs Prompts. Bewerte: Wurde die Aufgabe verstanden? Wurde das Format eingehalten? Stimmt die Antwort sachlich? Klingt das Deutsch natürlich? Gibt das Modell Nichtwissen zu? War die Geschwindigkeit akzeptabel?
Teste immer mit deinen echten Aufgaben. Diese sechs Prompts zeigen dir die Grundfähigkeiten. Ob ein Modell für deinen Betrieb taugt, entscheidet sich an deinen tatsächlichen Texten: deinen Angeboten, deinen Kundenmails, deinen Protokollen. Nimm drei typische Aufgaben aus deinem Alltag und lass sie jedes Modell lösen. Das sagt mehr aus als jede Benchmark-Tabelle.
Empfohlene Startwahl: Wähle ein Modell mit 7 bis 14 Milliarden Parametern in Q4_K_M, mit Apache-2.0-Lizenz, aus der Qwen-, Gemma- oder Mistral-Familie. Es passt auf nahezu jeden modernen Rechner, ist kommerziell frei nutzbar und liefert genug Qualität, um das Konzept zu verstehen. Wenn du zwischen mehreren Generationen wählen kannst, nimm die neueste: Der Fortschritt zwischen zwei Generationen ist bei gleicher Grösse meist deutlich grösser als der Unterschied zwischen zwei Komprimierungsstufen.