Un modello da 35 miliardi su una scheda da 8 GB

Sette articoli su cosa entra in otto gigabyte, perché entra, e dove si ferma

Ho una RTX 4070 laptop con 8 GB di memoria. Il modello è Qwen3.6-35B-A3B: trentacinque miliardi di parametri, che a quattro bit per parametro fanno circa venti gigabyte. Non ci sta, e gira comunque — abbastanza da fare da backend a Claude Code.

La parte interessante non è che funzioni. Motori che spostano pesi fra la memoria di sistema e quella della scheda ce ne sono diversi, e questo è il mestiere che fanno. La parte interessante è che ogni numero uscito da una misura ha una ragione precisa a monte, e quasi mai è quella che avevo in mente prima di misurare. Il tetto del contesto è una sottrazione fra tre pool di memoria. La strategia di calcolo più veloce è quella che sembra sbagliata. Il vocabolario, da solo, pesa quanto tutti gli esperti che si accendono per un token.

Questi sette articoli seguono l'esperimento nell'ordine in cui l'ho fatto, con i comandi e i numeri per rifarlo, ed escono uno alla volta. Gli 8 GB non sono un handicap da cui lamentarsi: sono la scheda di un portatile normale, ed è esattamente per questo che vale la pena sapere dove si fermano.

1. 01Il banco di provaCosa ho messo sul tavolo, e perché la parte interessante non è se funziona
2. 02Come ci può stareTrentacinque miliardi di parametri in otto gigabyte, e la ragione non è la compressionein arrivo
3. 03Dove si perde il tempoIl modello va più veloce di quanto la strada consenta, e la ragione ribalta l'intuizionein arrivo
4. 04Cosa occupa lo spazio che restaLa conversazione cresce mentre parlate, ma solo in un livello su quattroin arrivo
5. 05Il tettoDove mi sono fermato, perché non era un muro, e il conto che dice esattamente dov'èin arrivo
6. 06Quello che mancaIl modello risponde. Poi gli chiedi di cercare una cosa su internet e non succede nientein arrivo
7. 07Il verdettoCosa basta e cosa no, misurato in minuti invece che in token al secondoin arrivo