Cache-ul pentru prompturi economisește când reutilizați prefixul

O citire mai ieftină din cache ajută doar dacă cererea poate refolosi efectiv intrarea păstrată. Pentru o aplicație AI, întrebarea utilă este de câte ori reutilizați un prefix stabil al promptului înainte să expire sau să se schimbe. Un prompt lung, trimis o singură dată, poate fi un candidat slab pentru cache, chiar dacă reducerea anunțată pentru citire pare atrăgătoare.

Privind din noiembrie 2026, înregistrarea din notele de lansare Anthropic pentru 14 august 2024 confirmă disponibilitatea funcției în versiune beta publică. Nu oferă o factură istorică completă pentru orice aplicație. Decizia tehnică trebuie să pornească de la un model al cererilor, apoi să folosească termenii aplicabili modelului AI și datei alese.

Cronologia limitează calculul istoric

Vechea adresă a anunțului trimite acum spre o pagină de resurse Claude care afișează data de 14 august 2025 și o actualizare din 17 decembrie 2024. Pagina discută tarifele pentru scriere și citire, însă această cronologie mixtă nu ajunge pentru reconstituirea tuturor condițiilor inițiale din august 2024.

De aceea, articolul omite tarifele istorice exacte în dolari și duratele exacte de păstrare în cache. O retrospectivă poate explica mecanismul fără să prezinte documentația de astăzi drept contractul nemodificat al lansării. Exemplele de mai jos folosesc unități de calcul inventate, separate explicit de prețurile furnizorului. Ele propun un mod de decizie; nu sunt măsurători ale unei aplicații AL+.

Împărțiți intrarea în partea care poate rămâne identică între cereri și partea care se schimbă pentru fiecare sarcină. Un bloc stabil de instrucțiuni, urmat de o întrebare diferită, este un aranjament posibil. Eligibilitatea unei cereri depinde de regulile furnizorului pentru potrivire și de limitele aplicabile. Asemănarea de sens nu dovedește că a avut loc o citire din cache.

Includeți și prima folosire

Într-un exemplu deliberat ipotetic, presupuneți că trimiterea obișnuită a blocului reutilizabil costă 100 de unități. Crearea intrării în cache costă 140 de unități, iar citirea aceluiași bloc costă 20 de unități. Cifrele explică formula; nu reprezintă tarife Anthropic din niciun an.

La o singură folosire, intrarea obișnuită costă 100, iar varianta cu cache costă 140. Nu există economie. La două folosiri ale aceluiași bloc, dacă a doua se califică drept citire, comparația devine 200 față de 160. Reutilizarea schimbă concluzia. În aceste condiții, este necesară cel puțin o citire reușită pentru a recupera costul inițial suplimentar.

Pentru N folosiri, dacă prima creează intrarea și toate celelalte o refolosesc, comparați N × 100 cu 140 + (N − 1) × 20. Expresia simplificată nu include intrarea variabilă, generarea răspunsului și alte costuri. Adăugați-le separat într-o estimare reală. Reducerea unei componente a intrării nu înseamnă aceeași reducere procentuală a întregii facturi.

Schimbați acum distribuția cererilor. Dacă fiecare cerere creează alt bloc reutilizabil, fiecare costă 140 în varianta ipotetică cu cache. O aplicație intens folosită poate cheltui astfel mai mult, chiar dacă fiecare citire individuală rămâne ieftină. Numărul total al cererilor nu dovedește reutilizarea utilă a aceluiași conținut eligibil.

Contează momentul și alcătuirea promptului

Cererile venite de la mulți clienți, răspândite în timp, pot repeta prea puțin conținut în durata de păstrare aplicabilă. Lucrul concentrat asupra aceluiași material poate avea alt rezultat. Estimați reutilizarea pentru fiecare bloc stabil și în raport cu timpul, fără să împărțiți pur și simplu intrarea zilnică la o dimensiune teoretică de cache.

Modificarea începutului promptului poate compromite aranjamentul propus. Dacă fiecare cerere pune ora, un identificator unic sau date specifice clientului înaintea instrucțiunilor comune, verificați dacă prefixul vizat mai coincide. Acestea sunt riscuri ilustrative de alcătuire, care trebuie verificate pentru API-ul ales, nu rezultate măsurate într-un sistem publicat.

Corectitudinea sarcinii are prioritate față de rata de reutilizare. Dacă instrucțiunile sau documentele se schimbă, aplicația trebuie să folosească versiunea potrivită. Păstrarea conținutului vechi doar pentru a obține citiri mai ieftine poate produce răspunsuri greșite la cost mai mic. Dați instrucțiunilor schimbate o versiune explicită și evaluați costurile noii distribuții de cereri.

Un prefix comun trebuie să conțină numai material potrivit cererilor cărora le este destinat. Optimizarea costurilor nu justifică amestecarea datelor clienților sau eliminarea restricțiilor de acces. Aplicația stabilește ce informații pot intra în fiecare cerere înainte să caute repetări care pot fi evitate.

Citirea reușită nu validează răspunsul

Păstrarea intrării în cache privește costul și prelucrarea contextului repetat. Nu dovedește că acel context este relevant, actual sau suficient. O citire reușită poate furniza de fiecare dată același document incomplet. Răspunsul corect poate cere în continuare consultarea altei surse sau o decizie umană.

Este o întrebare diferită de alegerea dintre căutarea documentelor relevante și o fereastră mare de context. Decideți întâi ce informație cere sarcina și cum o selectați. Abia apoi examinați cât de des se repetă părțile stabile. Altfel, un calcul de cost poate ajunge să dicteze arhitectura informației.

Cea mai puternică obiecție este costul implementării. Pentru puține cereri, în mare parte unice, economia probabilă poate să nu acopere gestionarea versiunilor promptului și diagnosticarea suplimentară. Cererile obișnuite pot fi o alegere rezonabilă. Disponibilitatea funcției nu justifică singură construirea aplicației în jurul ei.

Într-un proiect de agenți AI, cereți o estimare care separă intrarea obișnuită, crearea intrărilor în cache, citirile eligibile și răspunsul. Întrebați ce distribuție observată sau propusă susține reutilizarea estimată. Un proiect pilot poate examina categoriile de consum și facturile reale, fără o suită elaborată de măsurători. Păstrați comparația cu cererile obișnuite și reluați calculul când se schimbă instrucțiunile, documentele sau traficul. Economia utilă privește factura pentru munca făcută corect, după costurile de scriere și cererile fără reutilizare.