Mesura real · no simulada
Proves en directe
Tot el que calcula la resta del lloc surt d'un model físic. Aquí es comprova: aquesta pàgina llança la feina de debò contra la targeta de l'ordinador on corre, ensenya els tokens a mesura que surten i desa la mesura. Si el número del lloc és mentida, aquí es nota.
—
- Model
- —
- Quantització
- —
- Fitxer
- —
- KV-cache
- —
- Context
- —
- Motor
- llama.cpp
Un sol slot: les proves van d'una en una.
Aquesta pàgina només va a l'ordinador que té la targeta
Les proves en directe necessiten parlar amb el motor que corre en aquella targeta. Des de fora no hi ha res a mesurar: el que veuries serien números inventats, i això és justament el que aquesta pàgina existeix per evitar.
Les xifres mesurades que fa servir la resta del lloc es van obtenir així, i són al mètode.
1 · Tria la prova
Cadascuna és una feina administrativa de debò, amb el seu propi encàrrec.
2 · La targeta treballant
3 · Totes les mesures
Cada execució queda desada. Les mitjanes deixen fora les fallides i les arrencades en fred.
Totes les mesures de l'històric són del mateix model: Qwen3.8 27B · quantitzat a 4 bits (Qwen3.8-27B-UD-Q4_K_XL.gguf, 17,55 GB) amb la KV-cache en q8_0 (8 bits).
| Quan | Prova | Entrada | Sortida | Llegeix (t/s) | Escriu (t/s) | Total | Vats |
|---|---|---|---|---|---|---|---|
| Carregant l'històric… | |||||||
Com es mesura
Les xifres de llegeix (prefill: pair el document) i escriu (decode: redactar la resposta) no les cronometra el navegador: les dóna el mateix motor llama.cpp a l'últim tros del flux. La potència i la memòria es llegeixen amb nvidia-smi al mig de la generació, que és quan la targeta treballa de debò.
La primera prova després d'una estona parada acostuma a sortir molt més lenta del normal: la targeta estava en repòs. Aquelles execucions es desen igualment, es marquen com a arrencada en fred i no compten per a les mitjanes.