Een enorm modelbestand wordt aanzienlijk kleiner, en ineens lijkt lokale AI mogelijk op een apparaat binnen handbereik. De geheugenbesparing is zichtbaar. Wat eerst onzichtbaar blijft, is welke informatie door de gewijzigde getalweergave verloren gaat en of dat verlies voor jouw taak van belang is.
De documentatie over kwantisatie van llama.cpp beschrijft methoden waarmee modelgewichten met lagere precisie worden opgeslagen. Dat kan ruimte besparen en de verwerking veranderen, maar het kan ook kwaliteit kosten. Een aantal bits is daarom een technische eigenschap en geen algemeen kwaliteitskeurmerk.
Een getallenexperiment zonder model
Om het idee te begrijpen, volstaat om te beginnen een zelfgemaakte speelgoedmethode. We beperken getallen tot het bereik van min één tot één en beelden ze af op gelijkmatig verdeelde niveaus. In theorie passen vier niveaus in twee bits, zestien niveaus in vier. Dit voorbeeld bootst geen specifieke GGUF-methode na.
def runden_auf_stufen(wert, stufen):
wert = max(-1.0, min(1.0, wert))
index = round((wert + 1) * (stufen - 1) / 2)
return 2 * index / (stufen - 1) - 1
werte = [-0.83, -0.12, 0.18, 0.76]
for stufen in (4, 16):
angenaehert = [runden_auf_stufen(x, stufen) for x in werte]
fehler = max(abs(a-b) for a, b in zip(werte, angenaehert))
print(stufen, angenaehert, "largest deviation:", fehler)Voer het kleine Python-voorbeeld uit en verander daarna een waarde dicht bij een niveaugrens. Je kunt direct zien hoe verschillende invoerwaarden op hetzelfde opgeslagen niveau terechtkomen. Dat is een verlies aan numeriek detail, geen gemeten fout in het antwoord van een taalmodel.
Echte kwantisatiemethoden zijn complexer. Ze kunnen gewichten in blokken verwerken en aanvullende schalingsinformatie gebruiken. Alleen al daarom kan de grootte van een model niet betrouwbaar uit één enkel bitgetal worden afgeleid als eenvoudige opslagberekening.
De werkelijke taak beslist
Stel vóór een modelvergelijking vijf korte taken op met bekende eisen. Eén notitie bevat een aantal deelnemers. Een tweede bevat een ontkenning. Een derde noemt een uitzondering. Een vierde bevat tegenstrijdige gegevens en in een vijfde ontbreekt een gezocht stukje informatie.
Schrijf per taak op wat behouden moet blijven. Bijvoorbeeld: zes deelnemers, materiaal alleen na goedkeuring, een onbekende datum blijft onbekend. Zo beoordeel je de gevolgen voor je werk en niet alleen of het antwoord prettig klinkt.
Een kleinere variant kan goed passen bij eenvoudige samenvattingen en bij een bepaalde randtaak falen. Eén enkel succes is geen algemene uitspraak over kwaliteit. Evenmin is elke taalkundige afwijking inhoudelijk belangrijk; wat telt, zijn de vooraf vastgelegde eisen.
Een eerlijke vergelijking verandert zo weinig mogelijk
Kies varianten van dezelfde basisrevisie en houd prompt, runtime en taken gelijk. Als er een andere modelgeneratie in het spel komt, begint een andere vergelijking. Bestandsnaam, bron en checksum helpen je om later de daadwerkelijk gebruikte artefacten te herkennen.
Noteer naast inhoudelijke afwijkingen ook de daadwerkelijk gemeten geheugenbehoefte en tijd. Het gewichtenbestand alleen beschrijft niet de volledige runtimebehoefte; verdere verwerking en de gebruikte context hebben ook middelen nodig. Neem de apparaatcijfers van anderen dus niet over voor jouw computer.
Vermijd ook een schijnbaar nauwkeurige rangorde op basis van één enkele taak. Voor je eigen beslissing kan een zelden verloren beperking belangrijker zijn dan een paar seconden verschil. Het beoordelingsblad moet zulke fouten zichtbaar houden.
Wat het kleinere bestand echt mogelijk maakt
Kwantisatie opent extra lokale toepassingen door de numerieke weergave van de gewichten te veranderen. De juiste keuze blijft een afweging tussen middelen en wat je taken inhoudelijk nodig hebben.
Het kleine niveau-experiment laat het basisprincipe zien zonder download, GPU of modelaanroep. De latere vergelijking van varianten onderzoekt een ander niveau: hoe beïnvloedt de gekozen weergave je werkelijke toepassing? Als je deze niveaus uit elkaar houdt, wordt het indrukwekkend kleine bestand een navolgbare technische beslissing.
Bronnen en stand
Bronnen per 25 oktober 2026. Documentatie over quantize van llama.cpp.
