Eine riesige Modelldatei wird deutlich kleiner, und plötzlich scheint lokale KI auf einem erreichbaren Gerät möglich. Der Speichergewinn ist sichtbar. Unsichtbar bleibt zunächst, welche Information bei der veränderten Zahlendarstellung verloren geht und ob dieser Verlust für deine Aufgabe wichtig ist.
Die Quantisierungsdokumentation von llama.cpp beschreibt Verfahren, mit denen Modellgewichte mit geringerer Präzision gespeichert werden. Das kann Platz sparen und die Verarbeitung verändern, kann aber auch Qualität kosten. Eine Bitzahl ist deshalb eine technische Eigenschaft und kein allgemeines Gütesiegel.
Ein Zahlenversuch ohne Modell
Zum Verstehen genügt zunächst ein selbst gebautes Spielzeugverfahren. Wir begrenzen Zahlen auf den Bereich von minus eins bis eins und ordnen sie gleichmäßig verteilten Stufen zu. Vier Stufen passen theoretisch in zwei Bits, sechzehn Stufen in vier. Dieses Beispiel bildet kein konkretes GGUF-Verfahren nach.
def runden_auf_stufen(wert, stufen):
wert = max(-1.0, min(1.0, wert))
index = round((wert + 1) * (stufen - 1) / 2)
return 2 * index / (stufen - 1) - 1
werte = [-0.83, -0.12, 0.18, 0.76]
for stufen in (4, 16):
angenaehert = [runden_auf_stufen(x, stufen) for x in werte]
fehler = max(abs(a-b) for a, b in zip(werte, angenaehert))
print(stufen, angenaehert, "groesste Abweichung:", fehler)Führe das kleine Python-Beispiel aus und verändere anschließend einen Wert nahe einer Stufengrenze. Du kannst direkt beobachten, wie unterschiedliche Eingaben auf dieselbe gespeicherte Stufe fallen. Das ist ein Verlust an numerischem Detail, kein gemessener Fehler einer Sprachmodellantwort.
Echte Quantisierungsverfahren sind komplexer. Sie können Gewichte in Blöcken behandeln und zusätzliche Skalierungsinformationen verwenden. Schon deshalb lässt sich eine Modellgröße nicht zuverlässig aus einer einzelnen Bitangabe als einfache Speicherrechnung ableiten.
Die fachliche Aufgabe entscheidet
Lege vor einem Modellvergleich fünf kurze Aufgaben mit bekannten Anforderungen an. Eine Notiz enthält eine Teilnehmerzahl. Eine zweite enthält eine Verneinung. Eine dritte nennt eine Ausnahme. Eine vierte enthält widersprüchliche Angaben, und einer fünften fehlt eine gesuchte Information.
Für jede Aufgabe schreibst du auf, was erhalten bleiben muss. Beispielsweise: sechs Teilnehmer, Material nur nach Freigabe, unbekannter Termin bleibt unbekannt. Damit beurteilst du Auswirkungen auf deine Arbeit und nicht nur, ob die Antwort angenehm klingt.
Eine kleinere Variante könnte bei einfachen Zusammenfassungen gut passen und bei einer bestimmten Randaufgabe scheitern. Ein einzelner Erfolg ist keine allgemeine Qualitätsaussage. Ebenso wenig ist jede sprachliche Abweichung fachlich wichtig; entscheidend sind die vorab festgelegten Anforderungen.
Ein fairer Vergleich verändert möglichst wenig
Wähle Varianten derselben Ausgangsrevision und halte Prompt, Laufzeit und Aufgaben gleich. Wenn eine andere Modellgeneration ins Spiel kommt, beginnt ein anderer Vergleich. Dateiname, Quelle und Prüfsumme helfen, die tatsächlich verwendeten Artefakte später wiederzuerkennen.
Notiere neben fachlichen Abweichungen auch tatsächlich gemessenen Speicherbedarf und Zeit. Die Gewichtedatei allein beschreibt nicht den vollständigen Laufzeitbedarf; weitere Verarbeitung und der verwendete Kontext benötigen ebenfalls Ressourcen. Übertrage deshalb keine fremden Gerätewerte auf deinen Rechner.
Vermeide zudem eine scheinbar präzise Rangliste aus einer einzigen Aufgabe. Für die eigene Entscheidung kann eine seltene verlorene Einschränkung wichtiger sein als einige Sekunden Unterschied. Das Auswertungsblatt sollte solche Fehler sichtbar lassen.
Was die kleinere Datei wirklich ermöglicht
Quantisierung eröffnet zusätzliche lokale Einsatzmöglichkeiten, indem sie die numerische Darstellung der Gewichte verändert. Die passende Auswahl bleibt eine Abwägung zwischen Ressourcen und dem, was deine Aufgaben fachlich benötigen.
Der kleine Stufenversuch zeigt das Grundprinzip ohne Download, GPU oder Modellaufruf. Der spätere Variantenvergleich untersucht eine andere Ebene: Wie wirkt sich die gewählte Darstellung in deiner tatsächlichen Anwendung aus? Wenn du diese Ebenen getrennt hältst, wird aus der beeindruckend kleinen Datei eine nachvollziehbare technische Entscheidung.
Quellen und Stand
Quellenstand: 25. Oktober 2026. llama.cpp quantize documentation.
