Vés al contingut
1 / 10 Surt

Automata IA Local

Què pot fer una targeta gràfica amb IA?

IA al teu ordinador, sense núvol.

—

—

Fotografia de la GeForce RTX 3090

Què és aquesta presentació

Són deu diapositives per explicar a pantalla sencera què fa una targeta gràfica amb IA en un ordinador de l'oficina: què és un token, què vol dir quantitzar a 4 bits, com llegeix i escriu el model i quanta feina treu en un dia. Va bé per ensenyar-ho en una reunió o a qui ha de decidir la compra.

A dalt tries la targeta, el model, la quantització i la feina, i totes les xifres de les diapositives es tornen a calcular. Es passa de diapositiva amb les fletxes del teclat o amb els botons dels costats. La RTX 3090 Ti amb Qwen3.8 27B a 4 bits està mesurada al laboratori: 1.158 tokens per segon llegint i 39,7 escrivint. La resta són estimacions. Com es calcula cada xifra: Mètode.