Una persona delante de la pantalla
—
preguntas y respuestas por minuto
Aquí manda el humano, no la tarjeta: hay que teclear la pregunta y leer la respuesta.
Conversación
¿Cómo se siente hablar con esta tarjeta?
Un documento se procesa y ya está. Un chat se vive: la persona escribe, espera y lee mientras el modelo contesta. Aquí verás la conversación a la velocidad real de la tarjeta que elijas, cuántas preguntas y respuestas completa en un minuto y a cuánta gente puede atender a la vez.
Cargando datos…
En vivo
La conversación, al ritmo de verdad
Nada está pregrabado en vídeo: la persona teclea a velocidad humana, el modelo lee toda la conversación acumulada (eso es el tiempo hasta la primera palabra) y luego escribe a los tokens por segundo reales de la tarjeta elegida.
Escenario
Modo pensar
Velocidad
El «modo pensar». Cuando el modelo razona antes de contestar escribe entre 5 y 10 veces más tokens de los que ves: un borrador oculto. No cambia lo rápido que escribe, pero retrasa la primera palabra, y eso es justo lo que la persona percibe como lentitud. Actívalo arriba y mira el reloj.
La medida
El minuto de chat
La pregunta honesta no es «cuántos tokens por segundo», es cuántas preguntas y respuestas caben en un minuto. Y hay dos respuestas muy distintas: la de una persona sola (que además tiene que leer y teclear) y la de la tarjeta atendiendo sin parar.
La tarjeta atendiendo sin parar
—
respuestas por minuto que puede generar
Peticiones en paralelo
Por qué el paralelo suma. Mientras el modelo escribe una respuesta, la tarjeta no está al límite: le sobran cálculos entre token y token. Si atiende varias conversaciones a la vez, cada una va algo más lenta pero el total sube bastante. El límite lo pone la memoria de la tarjeta, que tiene que guardar el contexto de cada conversación abierta.
Capacidad
¿A cuánta gente atiende a la vez?
Una persona en una conversación no escribe sin parar: piensa, lee, se distrae. De media manda un mensaje cada tres cuartos de minuto. Por eso una sola tarjeta atiende a mucha más gente de la que parece.
—
—
personas conversando a la vez sin esperar
—
—
Es el hueco que cubre un equipo de atención al cliente de ese tamaño durante la hora punta, con esta tarjeta sola contestando en primera línea.
—
Una oficina de ese tamaño usando el asistente a diario (unos 30 mensajes por persona y día), dejando margen de sobra para las horas de más lío.
Cómo sale el número. Respuestas por minuto de la tarjeta × (segundos entre mensajes ÷ 60), y al resultado le quitamos un 30 % de margen para que nadie se quede mirando el «escribiendo…». Es una estimación de capacidad, no una promesa: un pico de mensajes simultáneos siempre genera cola.
Cara a cara
La misma conversación en otras tarjetas
Mismo modelo y misma cuantización, misma conversación, distinta tarjeta.
Tabla de sensación
Con el modelo y la cuantización elegidos arriba, así se siente cada tarjeta escribiendo. La línea que importa son los 5 tokens por segundo: por debajo, esperas al ordenador; por encima de 30, el ordenador te espera a ti.
| Velocidad | Sensación | Qué notas | Tarjetas aquí |
|---|
De dónde salen estas velocidades
La conversación de arriba es simulada: la persona escribe a velocidad humana y el modelo lee y escribe a la velocidad de la tarjeta elegida. Esa velocidad está medida en la RTX 3090 Ti y estimada en las demás a partir del ancho de banda de memoria y la potencia de cálculo.
Cómo se calcula cada cifra: Método.