Un archivo de modelo enorme se vuelve considerablemente más pequeño y, de repente, la IA local parece posible en un dispositivo a tu alcance. El ahorro de memoria es visible. Lo que al principio queda invisible es qué información se pierde con la representación numérica modificada y si esa pérdida importa para tu tarea.
La documentación de cuantización de llama.cpp describe métodos con los que los pesos del modelo se almacenan con menor precisión. Esto puede ahorrar espacio y cambiar el procesamiento, pero también puede costar calidad. Por tanto, un número de bits es una propiedad técnica y no un sello general de calidad.
Un experimento numérico sin modelo
Para entender la idea, al principio basta con un método de juguete casero. Limitamos los números al intervalo de menos uno a uno y los asignamos a niveles distribuidos uniformemente. En teoría, cuatro niveles caben en dos bits, y dieciséis niveles en cuatro. Este ejemplo no reproduce ningún método GGUF concreto.
def runden_auf_stufen(wert, stufen):
wert = max(-1.0, min(1.0, wert))
index = round((wert + 1) * (stufen - 1) / 2)
return 2 * index / (stufen - 1) - 1
werte = [-0.83, -0.12, 0.18, 0.76]
for stufen in (4, 16):
angenaehert = [runden_auf_stufen(x, stufen) for x in werte]
fehler = max(abs(a-b) for a, b in zip(werte, angenaehert))
print(stufen, angenaehert, "largest deviation:", fehler)Ejecuta el pequeño ejemplo en Python y después cambia un valor cercano al límite de un nivel. Puedes observar directamente cómo entradas distintas caen en el mismo nivel almacenado. Eso es una pérdida de detalle numérico, no un error medido en la respuesta de un modelo de lenguaje.
Los métodos de cuantización reales son más complejos. Pueden tratar los pesos en bloques y usar información de escalado adicional. Solo por eso, el tamaño de un modelo no puede deducirse de forma fiable a partir de una única cifra de bits como un simple cálculo de almacenamiento.
Decide la tarea real
Antes de comparar modelos, prepara cinco tareas breves con requisitos conocidos. Una nota contiene un número de participantes. Una segunda contiene una negación. Una tercera nombra una excepción. Una cuarta contiene datos contradictorios, y a una quinta le falta un dato que se busca.
Para cada tarea, anota qué debe conservarse. Por ejemplo: seis participantes, material solo tras la aprobación, una fecha desconocida sigue siendo desconocida. Así evalúas los efectos en tu trabajo y no solo si la respuesta suena agradable.
Una variante más pequeña podría servir bien para resúmenes sencillos y fallar en una tarea límite concreta. Un único éxito no es una afirmación general sobre la calidad. Tampoco toda desviación lingüística es importante en cuanto al fondo; lo que cuenta son los requisitos fijados de antemano.
Una comparación justa cambia lo menos posible
Elige variantes de la misma revisión base y mantén iguales el prompt, el entorno de ejecución y las tareas. Si entra en juego otra generación de modelos, empieza una comparación distinta. El nombre del archivo, la fuente y la suma de comprobación te ayudan a reconocer más adelante los artefactos realmente utilizados.
Además de las desviaciones de fondo, anota también la memoria necesaria y el tiempo realmente medidos. El archivo de pesos por sí solo no describe todos los requisitos de ejecución; el procesamiento adicional y el contexto utilizado también necesitan recursos. Así que no traslades a tu ordenador las cifras de dispositivos de otras personas.
Evita también una clasificación aparentemente precisa basada en una sola tarea. Para tu propia decisión, una restricción perdida en raras ocasiones puede ser más importante que unos segundos de diferencia. La hoja de evaluación debe mantener visibles esos errores.
Lo que el archivo más pequeño hace posible de verdad
La cuantización abre usos locales adicionales al cambiar la representación numérica de los pesos. La elección correcta sigue siendo un equilibrio entre los recursos y lo que tus tareas necesitan en cuanto al fondo.
El pequeño experimento de niveles muestra el principio básico sin descarga, GPU ni llamada a un modelo. La comparación posterior de variantes examina un plano distinto: ¿cómo afecta la representación elegida a tu aplicación real? Si mantienes separados estos planos, el archivo impresionantemente pequeño se convierte en una decisión técnica trazable.
Fuentes y estado
Fuentes a fecha de 25 de octubre de 2026. Documentación de quantize de llama.cpp.
