Porque é que uma IA grande cabe de repente no teu computador: a quantização explicada

Um ficheiro de modelo enorme fica consideravelmente mais pequeno e, de repente, a IA local parece possível num dispositivo ao teu alcance. A poupança de memória é visível. O que fica invisível à primeira vista é que informação se perde com a representação numérica alterada e se essa perda importa para a tua tarefa.

A documentação de quantização do llama.cpp descreve métodos pelos quais os pesos do modelo são armazenados com menor precisão. Isto pode poupar espaço e alterar o processamento, mas também pode custar qualidade. Um número de bits é, por isso, uma propriedade técnica e não um selo geral de qualidade.

Uma experiência numérica sem modelo

Para compreender a ideia, basta, para começar, um método de brincar feito em casa. Limitamos os números ao intervalo de menos um a um e associamo-los a níveis distribuídos uniformemente. Em teoria, quatro níveis cabem em dois bits, dezasseis níveis em quatro. Este exemplo não reproduz nenhum método GGUF específico.

def runden_auf_stufen(wert, stufen):
    wert = max(-1.0, min(1.0, wert))
    index = round((wert + 1) * (stufen - 1) / 2)
    return 2 * index / (stufen - 1) - 1

werte = [-0.83, -0.12, 0.18, 0.76]
for stufen in (4, 16):
    angenaehert = [runden_auf_stufen(x, stufen) for x in werte]
    fehler = max(abs(a-b) for a, b in zip(werte, angenaehert))
    print(stufen, angenaehert, "largest deviation:", fehler)

Executa o pequeno exemplo em Python e depois altera um valor próximo de um limite entre níveis. Podes observar diretamente como entradas diferentes caem no mesmo nível armazenado. Isso é uma perda de detalhe numérico, não um erro medido na resposta de um modelo de linguagem.

Os métodos de quantização reais são mais complexos. Podem tratar os pesos em blocos e utilizar informação de escala adicional. Só por esse motivo, o tamanho de um modelo não pode ser derivado de forma fiável a partir de um único valor de bits como um simples cálculo de armazenamento.

A tarefa real é que decide

Antes de uma comparação de modelos, prepara cinco tarefas curtas com requisitos conhecidos. Uma nota contém um número de participantes. Uma segunda contém uma negação. Uma terceira refere uma exceção. Uma quarta contém detalhes contraditórios e a uma quinta falta uma informação que se procura.

Para cada tarefa, escreve o que tem de ser preservado. Por exemplo: seis participantes, material só após aprovação, uma data desconhecida continua desconhecida. Desta forma, avalias os efeitos no teu trabalho e não apenas se a resposta soa agradável.

Uma variante mais pequena pode adequar-se bem a resumos simples e falhar numa tarefa-limite específica. Um único sucesso não é uma afirmação geral sobre a qualidade. Nem todos os desvios linguísticos são importantes em substância; o que importa são os requisitos definidos previamente.

Uma comparação justa altera o mínimo possível

Escolhe variantes da mesma revisão de base e mantém iguais o prompt, o ambiente de execução e as tarefas. Se entrar em jogo uma geração de modelo diferente, começa uma comparação diferente. O nome do ficheiro, a origem e a soma de verificação ajudam-te a reconhecer mais tarde os artefactos efetivamente utilizados.

Além dos desvios em substância, regista também os requisitos de memória e o tempo efetivamente medidos. O ficheiro de pesos, por si só, não descreve todos os requisitos de execução; o processamento adicional e o contexto utilizado também precisam de recursos. Por isso, não transfiras os valores de dispositivos de outras pessoas para o teu computador.

Evita também uma classificação aparentemente precisa baseada numa única tarefa. Para a tua própria decisão, uma rara restrição perdida pode ser mais importante do que uma diferença de alguns segundos. A folha de avaliação deve manter esses erros visíveis.

O que o ficheiro mais pequeno torna realmente possível

A quantização abre utilizações locais adicionais ao alterar a representação numérica dos pesos. A escolha certa continua a ser um compromisso entre os recursos e aquilo de que as tuas tarefas precisam em substância.

A pequena experiência de níveis mostra o princípio básico sem transferência, GPU ou chamada a um modelo. A comparação posterior de variantes examina um nível diferente: como afeta a representação escolhida a tua aplicação real? Se mantiveres estes níveis separados, o ficheiro impressionantemente pequeno torna-se uma decisão técnica rastreável.

Fontes e estado

Fontes à data de 25 de outubro de 2026. Documentação de quantize do llama.cpp.