Una persona davant de la pantalla
—
preguntes i respostes per minut
Aquí mana l'humà, no la targeta: s'ha de teclejar la pregunta i llegir la resposta.
Conversa
Com se sent parlar amb aquesta targeta?
Un document es processa i ja està. Un xat es viu: la persona escriu, espera i llegeix mentre el model contesta. Aquí veuràs la conversa a la velocitat real de la targeta que triïs, quantes preguntes i respostes acaba en un minut i a quanta gent pot atendre alhora.
Carregant les dades…
En directe
La conversa, al ritme de debò
Res no està gravat en vídeo: la persona escriu a velocitat humana, el model llegeix tota la conversa acumulada (això és el temps fins a la primera paraula) i després escriu als tokens per segon reals de la targeta triada.
Escenari
Mode pensar
Velocitat
El «mode pensar». Quan el model raona abans de contestar escriu entre 5 i 10 vegades més tokens dels que veus: un esborrany amagat. No canvia com de ràpid escriu, però retarda la primera paraula, i això és just el que la persona nota com a lentitud. Activa'l a dalt i mira el rellotge.
La mesura
El minut de xat
La pregunta honesta no és «quants tokens per segon», és quantes preguntes i respostes caben en un minut. I hi ha dues respostes molt diferents: la d'una persona sola (que a més ha de llegir i teclejar) i la de la targeta atenent sense parar.
La targeta atenent sense parar
—
respostes per minut que pot generar
Peticions en paral·lel
Per què el paral·lel suma. Mentre el model escriu una resposta, la targeta no està al límit: li sobren càlculs entre token i token. Si atén diverses converses alhora, cadascuna va una mica més lenta però el total puja força. El límit el posa la memòria de la targeta, que ha de guardar el context de cada conversa oberta.
Capacitat
A quanta gent atén alhora?
Una persona en una conversa no escriu sense parar: pensa, llegeix, es distreu. De mitjana envia un missatge cada tres quarts de minut. Per això una sola targeta atén molta més gent de la que sembla.
—
—
persones conversant alhora sense esperar
—
—
És el forat que cobreix un equip d'atenció al client d'aquesta mida durant l'hora punta, amb aquesta targeta sola contestant en primera línia.
—
Una oficina d'aquesta mida fent servir l'assistent cada dia (uns 30 missatges per persona i dia), deixant marge de sobres per a les hores de més enrenou.
Com surt el número. Respostes per minut de la targeta × (segons entre missatges ÷ 60), i al resultat li traiem un 30 % de marge perquè ningú es quedi mirant l'«escrivint…». És una estimació de capacitat, no una promesa: una punta de missatges alhora sempre fa cua.
Cara a cara
La mateixa conversa en altres targetes
Mateix model i mateixa quantització, mateixa conversa, targeta diferent.
Taula de sensació
Amb el model i la quantització triats a dalt, així se sent cada targeta escrivint. La línia que importa són els 5 tokens per segon: per sota, esperes l'ordinador; per sobre de 30, l'ordinador t'espera a tu.
| Velocitat | Sensació | Què notes | Targetes aquí |
|---|
D'on surten aquestes velocitats
La conversa de dalt és simulada: la persona escriu a velocitat humana i el model llegeix i escriu a la velocitat de la targeta triada. Aquesta velocitat està mesurada a la RTX 3090 Ti i estimada a les altres a partir de l'amplada de banda de memòria i la potència de càlcul.
Com es calcula cada xifra: Mètode.