D'on surt cada número

Què mesurem i per què

Un model de llenguatge fa dues coses molt diferents amb un document, i cadascuna la limita una peça diferent de l'ordinador.

La mesura de referència

Aquesta és l'única xifra que no és estimació: està cronometrada sobre una targeta de debò el 21 de setembre del 2026.

Amb aquells números, classificar i treure les dades d'una factura de la llum de debò (1.052 tokens d'entrada, 160 de sortida) surt a uns 0,9 segons llegint i uns 4,1 segons escrivint.

Les fórmules, tal com les fem servir

Aquí no hi ha res amagat. Això és literalment el que calcula l'estimador, en el mateix ordre.

1 · Velocitat d'escriptura

Cada token que s'escriu obliga a recórrer els pesos actius del model a la memòria (t_mem) i a fer el càlcul associat (t_c):

t_mem       = pesos_actius_GB ÷ (amplada_de_banda_GB/s × η)
t_c         = 1 ÷ prefill_tps
decode_tps(1) = 1 ÷ (t_mem + t_c)

Amb diverses peticions alhora el recorregut de memòria es comparteix entre totes, però el càlcul no. D'aquí que atendre deu persones cundi molt més que atendre'n una:

tokens/s agregats (N peticions) = 0,85 × N ÷ (t_mem + N × t_c)

El 0,85 és el que ret el processat en paral·lel real davant de l'ideal: amb ell, el model dóna 240 t/s per a una RTX 5090 amb quatre peticions i la mesura pública amb vLLM és de 223 t/s. El «mode fàbrica» del lloc fa servir el punt a partir del qual afegir peticions gairebé no suma —quan el càlcul ja pesa igual que la memòria—, amb un sostre de 16 i del que càpiga a la memòria:

N (mode fàbrica) = mín( t_mem ÷ t_c , 16 , peticions que caben a la memòria )

Compte: en paral·lel només s'abarateix escriure. Llegir el document costa el mateix, o sigui que les feines de molta lectura i poca escriptura (classificar) hi guanyen menys que les de molta escriptura (treure dades, traduir).

2 · Velocitat de lectura

Llegir està limitat pel càlcul. Cada token d'entrada costa aproximadament dues operacions per paràmetre actiu:

prefill_tps = κ × TFLOPS × 10¹² ÷ (2 × paràmetres_actius)

3 · De la velocitat a la feina

segons/doc = tokens_entrada ÷ prefill_tps + tokens_sortida ÷ decode_tps
docs/dia   = 86.400 ÷ segons/doc

tokens_entrada i tokens_sortida surten de la feina triada: una factura per classificar no ocupa el mateix que un contracte per auditar.

Com es calibra cada targeta

Les dues lletres gregues de les fórmules són les que eviten que això sigui paper mullat.

• η (eficiència de memòria) — cap targeta no arriba a la seva amplada de banda nominal. És la fracció que de debò s'aprofita recorrent els pesos.
• κ (eficiència de càlcul) — el mateix amb els TFLOPS: la fracció de la potència teòrica que arriba a fer-se servir llegint.

Totes dues es calibren per targeta amb les proves públiques de llama.cpp (Llama 2 7B en Q4_0, proves pp512 i tg128), i després es corregeixen amb l'àncora mesurada a la 3090 Ti: si el model prediu la 3090 Ti amb una desviació, aquella mateixa desviació s'aplica a la resta. Una targeta amb prova pública es mostra com a MESURAT.

Quan una targeta no té dada pública (novetats, models rars), es fan servir els valors típics de la seva família i arquitectura, i la xifra es marca sempre com a ESTIMAT. Mai es presenta un càlcul com si fos una mesura.

Hi cap, el model?

Abans de parlar de velocitat cal saber si el model entra a la targeta. No n'hi ha prou amb els pesos: cada token de context de cada petició simultània ocupa memòria a la KV-cache.

memòria necessària = pesos + KV-cache(context × peticions) + ~1,5 GB de marge

El marge cobreix la memòria intermèdia del càlcul, la que reserva el mateix sistema i l'escriptori. Si el total passa de la memòria que hi ha, el rànquing ho diu sense embuts: «no hi cap, necessita X GB», i comprova si hi entraria repartint-ho entre dues o quatre targetes iguals.

Quantització: de quina versió del model parlem

Dir «Qwen3.8 27B» i prou no vol dir res: el mateix model existeix en diverses versions que ocupen i reten diferent. Per això en aquest lloc tot model es diu amb la seva quantització exacta. Quantitzar és comprimir: desar cada número del model amb menys bits.

La mesura de referència es va fer amb la versió de 4 bits (Qwen3.8-⁠27B-UD-Q4_K_XL.gguf, 17,55 GB): és la que cap als 24 GB d'una RTX 3090 Ti. En 8 bits ja no hi entra i sense quantitzar necessita més de 56 GB. Quan un model no existeix en la quantització triada, el lloc fa servir la que tingui i ho avisa. La KV-cache (la memòria de la conversa) es calcula sempre a 16 bits, que és el prudent; a la mesura es va fer servir a 8 bits, i per això hi caben 64K de context.

Com s'ordenen els rànquings

Totes les ordenacions surten del mateix càlcul; només canvia la dada que mana. Les que no aguanten el model van sempre al final.

• Feina al dia: unitats de la feina en 24 hores seguides.
• Feina per euro: unitats al dia ÷ preu de compra (amb 2 targetes, el de totes dues).
• Amortització: preu ÷ estalvi mensual davant de pagar aquella mateixa feina a l'API del mateix model, amb la targeta a ple rendiment. Si l'API surt més barata que el corrent: «no s'amortitza».
• Eficiència: unitats per kWh consumit. Corrent per 1.000: euros d'electricitat per cada mil unitats.
• Escriptura / Lectura: tokens per segon generant i llegint. Espera: segons per unitat amb una sola petició.
• Persones: persones en jornada de 8 h que farien aquella mateixa feina. Preu, memòria, consum: dades de catàleg.

De tokens a persones i a euros

Persones equivalents

Cada feina porta apuntat quants minuts triga una persona a fer-la a mà (human_minutes). Amb una jornada de 8 hores:

persones_equivalents = (docs/dia × human_minutes) ÷ (8 × 60)

És una equivalència de volum, no una comparació de qualitat: diu quanta gent caldria per moure aquell munt de paper, no que el resultat sigui igual de bo.

Cost elèctric

cost = W × segons ÷ 3.600.000 × €/kWh

Es fa servir el consum real mesurat quan n'hi ha (361 W a la 3090 Ti) i el TDP de la targeta quan no. El preu del kWh per defecte és orientatiu i es pot canviar. No s'hi compta la resta de l'equip: placa, processador, discos i ventilació sumen a banda.

Límits i lletra petita

• No hi entra l'OCR. Es parteix que el document ja és text. Digitalitzar un PDF escanejat és un pas a banda, amb el seu propi cost.
• No hi entren les cues ni l'arrencada. Carregar el model, esperar torn o tornar a provar després d'un error no hi està comptat. Són segons o minuts que a la vida real existeixen.
• No es mesura la qualitat. Aquí només hi ha velocitat. Que una targeta escrigui 40 tokens per segon no diu res sobre si el model encerta l'import de la factura.
• Els preus són orientatius. Canvien cada setmana, depenen del mercat de segona mà i no hi entren impostos ni la resta de l'equip.
• Diverses targetes = rèpliques. Quan es compten 2 o 4 targetes, es tracten com a còpies independents processant documents diferents en paral·lel, no com una targeta més grossa i més ràpida.
• Un model físic no és un banc de proves. Les estimacions encerten l'ordre de magnitud i les comparacions relatives; el número exacte d'una targeta concreta només el dóna mesurar-la.
• Les dades de tercers van amb el seu enllaç. Hi són totes a sota, una per una, perquè qualsevol les pugui comprovar.

Fonts

136 enllaços, generats a partir dels mateixos catàlegs de dades. Si una xifra és al lloc, el seu origen és en aquesta llista.

Veus una xifra que no et quadra amb la teva experiència? Probablement tens raó: mesura la teva targeta i compara. Aquesta és tota la gràcia.