Un model mai mic are nevoie de un buget complet de memorie

Un număr mai mic de parametri poate schimba lista variantelor de instalare care merită investigate. Nu spune însă dacă modelul încape pe un anumit calculator sau dacă poate răspunde unui număr util de cereri simultane. Lansarea Llama 3.3 a făcut distincția concretă: calculați bugetul pentru întreaga sarcină de inferență, apoi evaluați utilitatea răspunsurilor. Scorurile apropiate la evaluări standard nu pot înlocui niciuna dintre decizii.

Retrospectiva din noiembrie 2026 privește săptămâna începută la 4 decembrie 2024. Fișa modelului Llama 3.3 publicată de Meta indică 6 decembrie 2024 drept data lansării modelului de 70B, ajustat pentru instrucțiuni și destinat textului. Fișa descrie un context de 128k și prezintă rezultate de evaluare. Pagina este întreținută în continuare: câmpul datei fixează evenimentul, dar conținutul actual nu este o copie imuabilă a zilei lansării.

Începeți cu sarcina, apoi cu ponderile

Luați un asistent intern ipotetic, care redactează răspunsuri pe baza unor documente. Sarcina utilă include documentele furnizate modelului, lungimea răspunsului așteptat și numărul de persoane care îl folosesc simultan. O demonstrație cu o instrucțiune scurtă și un singur utilizator răspunde unei întrebări mai restrânse. Articolul nu prezintă teste de instalare, măsurători comparative sau rezultate obținute pentru clienți AL+.

Stocarea ponderilor este primul termen important. Ca exemplu aritmetic intenționat simplificat, 70 de miliarde de parametri, cu doi octeți pentru fiecare, înseamnă aproximativ 140 de miliarde de octeți de date brute. Cu patru biți pe parametru, valoarea idealizată corespunzătoare este de aproximativ 35 de miliarde de octeți. Niciuna nu este o cerință de echipament sau o afirmație despre memoria totală. Calculele omit metadatele reprezentării, alocările din execuție și restul procesului de inferență.

Tocmai aceste omisiuni pot face înșelătoare o comparație atrăgătoare între echipamente. Dimensiunea fișierelor descărcate, memoria ocupată după încărcare și consumul maxim din timpul servirii cererilor sunt cantități diferite. Faptul că un calculator poate stoca fișierele nu dovedește că poate executa sarcina dorită. Chiar și încărcarea reușită spune puțin despre cererile simultane sau timpul acceptabil de răspuns.

Contextul ocupă o altă parte a bugetului

La generarea succesivă a tokenurilor, păstrarea cheilor și valorilor mecanismului de atenție evită repetarea unor calcule pentru tokenurile precedente. Documentația actuală Transformers despre memoria cache, consultată în noiembrie 2026, explică strategiile și compromisurile de memorie. Este îndrumare actuală de implementare, nu dovada configurației folosite de o echipă în decembrie 2024.

Consecința practică este includerea lungimii contextului și a cererilor simultane în decizia de capacitate. O secvență păstrată mai lungă și mai multe secvențe active pot cere mai multă memorie pentru cache, în funcție de arhitectură și strategie. Atenția cu interogări grupate și alegerile implementării influențează cantitatea. Limita contextului acceptat descrie modelul; nu promite că un anumit calculator poate servi acea limită la numărul dorit de cereri simultane.

Execuția are nevoie și de spațiu de lucru. Zonele temporare de memorie și programul care servește cererile pot influența consumul maxim. Mutarea unor date într-un alt nivel de memorie poate schimba performanța. Sunt motive să înregistrați programele și setările propuse, nu să inventați un procent unic de consum suplimentar. Fără măsurători pentru configurația respectivă, o cifră precisă pentru întregul sistem ar sugera dovezi pe care articolul nu le are.

Cuantizarea schimbă varianta evaluată

Fișa modelului descrie opțiuni de încărcare cu mai puțini biți. Cuantizarea poate reduce memoria ponderilor, dar nu justifică presupunerea aceluiași comportament la orice sarcină. Contează formatul, implementarea și echipamentul vizat. Contează și calitatea cerută de produs. Un model comprimat care respectă bugetul de memorie, dar greșește inacceptabil, nu este o instalare reușită pentru acea sarcină.

Pentru asistentul cu documente, evaluarea propusă ar include întrebări cu un pasaj clar de sprijin, întrebări fără răspuns în documente și cereri care impun păstrarea unei condiții precise. Stabiliți calitatea așteptată înainte de comparație. Acestea sunt cazuri sugerate, nu teste executate aici, și nu implică o rată de reușită.

Pentru română există o limită importantă: limba nu apare între cele opt limbi acceptate enumerate în fișă. Nota despre limbile suplimentare descrie condiții pentru extinderea utilizării dincolo de acea listă. Rezultatele în engleză nu stabilesc astfel adecvarea pentru română. O decizie bilingvă cere dovezi și verificări proprii pentru limbă, nu traducerea unei promisiuni comerciale.

Scorurile apropiate oferă un motiv de investigare

Un tabel de evaluări acoperă sarcini definite în condiții precizate. Nu stabilește echivalența cu alt model pentru orice documente, limbă sau interacțiune cu unelte. Rezultatele pot justifica evaluarea unei variante mai economice. Declararea ei drept înlocuitor interschimbabil înainte de evaluare ar transforma un indiciu util într-o concluzie nesusținută.

Întrebarea diferă de discuția despre licențierea unei versiuni de 405B. Permisiunea utilizării și capacitatea de a rula configurația sunt decizii separate. Retrospectiva nu folosește nici estimări de carbon adăugate în ianuarie 2025 ca dovezi contemporane săptămânii din decembrie.

Pentru utilizare ocazională, alternativa puternică este un serviciu găzduit. Acesta poate evita rezervarea unor echipamente adesea inactive, dar cere verificarea datelor trimise, a condițiilor serviciului și a responsabilității de exploatare. Nu este automat mai ieftin, mai privat sau mai fiabil. Pentru proiecte cu agenți AI, definiți configurația, contextul și cererile simultane înainte de alegerea echipamentelor. Evaluați răspunsurile și consumul maxim în acele limite. Modelul nou adaugă o variantă; produsul are nevoie de una care face munca necesară într-un buget pe care echipa îl poate administra.