Două milioane de tokeni nu au eliminat nevoia de căutare
Alegeți între context lung și căutare după documente, drepturi de acces și ritmul actualizărilor. Fereastra nu decide singură arhitectura asistentului.
De 
Paul. AI și programare cu agenți
Un asistent care poate primi întregul manual al firmei are în continuare nevoie de o regulă pentru a alege manualul, revizia și cititorul căruia îi răspunde. De aceea, ferestrele mari de context nu au încheiat discuția despre căutarea documentelor relevante. Alegerea documentelor rămâne o responsabilitate a aplicației, chiar dacă întreaga colecție încape într-o singură cerere.
Decizia utilă pornește de la activitate. Contextul lung se potrivește întrebărilor care depind de relațiile dintre documentele unui set delimitat. Căutarea se potrivește întrebărilor repetate asupra unei colecții care se schimbă, mai ales când oamenii au drepturi de acces diferite. Nicio variantă nu garantează corectitudinea răspunsului. Privind din noiembrie 2026, anunțul din 2024 ajută la separarea capacității tehnice de responsabilitate.
Ce s-a schimbat în iunie 2024
La 27 iunie 2024, Google a deschis tuturor dezvoltatorilor accesul la fereastra de două milioane de tokeni a Gemini 1.5 Pro. Același anunț prezenta păstrarea contextului în cache pentru Gemini 1.5 Pro și 1.5 Flash drept o modalitate de a reduce costul folosirii repetate a acelorași tokeni de intrare. Accesul anunțat anterior fusese condiționat de înscrierea pe o listă de așteptare. Era o extindere a accesului, nu prima menționare a capacității.
Faptele susțin o concluzie mai restrânsă decât dispariția nevoii de căutare. Putea fi trimis mai mult material într-o cerere, iar intrările repetate aveau un nou mecanism de cost. Anunțul nu arăta că fiecare întrebare necesita întreaga colecție sau că modelul găsea sigur fiecare pasaj relevant. Prezenta un produs și o capacitate, nu o evaluare a documentelor firmei.
Raportul tehnic al echipei Gemini, versiunea 3 din 14 iunie 2024, oferă contextul de cercetare pentru capacitatea de a folosi un context lung. Evaluările sale rămân ale producătorului modelului, nu dovezi de acceptare pentru asistentul firmei.
Articolul analizează retrospectiv o alegere de proiectare; nu recomandă cumpărarea astăzi a unui model din 2024. Nu presupune tarife actuale, o listă de modele disponibile sau o durată de păstrare a contextului. Aceste detalii trebuie verificate pentru serviciul ales.
Lucrul cu documente întregi are un rost
Luați un exemplu ilustrativ: compararea responsabilităților din câteva proiecte de contract pe care o persoană are dreptul să le citească. O clauză dintr-o secțiune poate limita o promisiune făcută în alta. Un sistem care selectează pasaje izolate poate omite limitarea. Trimiterea întregului set delimitat poate fi un punct de plecare mai simplu.
Exemplul nu dovedește corectitudinea juridică și nu înlocuiește verificarea profesională. Arată de ce regula de a selecta mereu fragmentul cel mai mic este prea rigidă. Dacă întrebarea depinde de document în ansamblu, selectarea fragmentelor adaugă o posibilă sursă de eroare. Trebuie evaluat dacă materialul ales păstrează informațiile necesare răspunsului.
Un prototip util poate porni de la documente întregi, cu identificatori expliciți. Păstrați fix setul de intrare, notați reviziile și cereți ca răspunsul să indice pasajele pe care se bazează. Verificați apoi dacă pasajele susțin concluzia. O trimitere care arată ca o citare devine dovadă doar după verificarea acestei legături de către o persoană sau printr-un control adecvat.
Colecția are reguli care nu țin de dimensiune
Imaginați acum alt asistent, tot ca exemplu ilustrativ: angajații întreabă despre proceduri interne, iar managerii pot consulta și documente comerciale cu acces restricționat. Trimiterea întregii colecții la fiecare întrebare ar introduce în context materiale neautorizate pentru unii utilizatori. O instrucțiune prin care modelului i se cere să nu le menționeze nu înlocuiește excluderea lor.
Căutarea poate selecta materialul după ce aplicația a verificat accesul. Este o posibilitate de proiectare, nu o proprietate automată a unei baze de date vectoriale. Drepturile trebuie să limiteze selecția înainte de generare; filtrele au nevoie de verificare, iar orice cache comun trebuie să respecte aceleași limite. Și o soluție cu documente întregi poate proteja accesul dacă aplicația selectează numai documentele permise solicitantului.
Modificarea informațiilor creează o obligație asemănătoare. Un pasaj selectat dintr-un index vechi poate fi depășit. La fel și un document complet păstrat în cache. Soluția are nevoie de identificatori pentru revizii și de o regulă pentru înlocuirea sau invalidarea materialului vechi. Nici denumirea RAG, adică generare cu ajutorul informațiilor selectate prin căutare, nici „context lung” nu stabilește cine răspunde de regulă.
Anunțul original Google lega explicit cache-ul de reutilizarea acelorași tokeni. Consecința pentru proiectare este simplă: intrările stabile și repetate reprezintă alt tip de activitate decât intrările revizuite continuu. Evaluați-le separat, în loc să le atribuiți aceeași estimare optimistă de cost.
Comparați costul unui răspuns acceptat
Căutarea presupune pregătirea documentelor, găsirea materialului relevant și întreținerea acestei pregătiri când colecția se schimbă. Cererile cu documente întregi pot evita o parte din mecanism. Pot însă procesa mult mai mult material decât cere întrebarea. O reducere de tarif pentru cache nu stabilește singură costul total mai mic.
Folosiți întrebări reprezentative și includeți pregătirea documentelor, cererile către model, eventualele taxe pentru cache și corectarea de către oameni. Comparați răspunsurile acceptate, nu cea mai ieftină cerere izolată. Notați separat timpul de răspuns: un rezultat mai ieftin care sosește prea târziu poate fi nepotrivit. Acestea sunt criterii propuse, nu rezultate ale unui experiment efectuat pentru articol.
Includeți cazurile pe care fiecare variantă le-ar putea rata. Puneți o întrebare al cărei răspuns traversează secțiuni. Puneți una fără răspuns în material. Înlocuiți un document și repetați întrebarea. Verificați accesul cu doi utilizatori care au drepturi diferite. Aceste situații spun mai mult despre aplicație decât o demonstrație cu o întrebare convenabilă.
Stabiliți limitele înaintea mecanismului
Cea mai puternică obiecție față de căutare este complexitatea administrării. Pentru o colecție modestă, stabilă și accesibilă integral acelorași oameni, întreținerea indexului poate cere mai mult efort decât economisește. Contextul integral merită atunci evaluat serios. Obiecția principală față de contextul integral este că o fereastră în creștere poate ascunde selecția slabă a documentelor până când apar probleme de cost, actualitate sau acces.
O combinație poate avea sens: selectați setul autorizat, apoi trimiteți suficient context complet pentru întrebare. Complexitatea suplimentară se justifică dacă evaluarea arată un câștig util.
Înainte să comandați un asistent AI, precizați colecția, ritmul modificărilor, limitele accesului și dovezile cerute răspunsului. Dimensiunea ferestrei devine o constrângere în această decizie. Nu poate lua decizia în locul firmei.