Păstrați identitatea fragmentelor înainte să schimbați modelul

Un pasaj poate conține cifra căutată fără să constituie o dovadă utilizabilă. Dacă lipsesc firma, perioada de raportare sau versiunea documentului, sistemul de căutare îl poate selecta pentru altă întrebare. Înainte să înlocuiți modelul care redactează răspunsul, verificați dacă fragmentele selectate mai arată la ce se referă. Refacerea contextului este o intervenție concretă asupra căutării, a cărei valoare depinde de păstrarea dovezii originale.

Privit din noiembrie 2026, articolul Anthropic din 19 septembrie 2024 despre Contextual Retrieval oferă un mecanism util. Metoda adaugă înaintea fiecărui fragment o explicație scurtă, bazată pe documentul întreg, înainte de calcularea reprezentărilor vectoriale și de indexarea BM25. Astfel se schimbă informația pe care o poate recunoaște căutarea. Metoda nu dovedește că explicația este adevărată sau că persoana care întreabă are dreptul să citească sursa.

Pasajul și descrierea lui au roluri diferite

Luați ca exemplu de proiectare un asistent care caută în rapoarte comerciale succesive. Un paragraf spune că veniturile au crescut, dar titlul care identifică firma și trimestrul rămâne în afara fragmentului. Căutarea numai în acel paragraf poate rata firma potrivită sau poate găsi o frază asemănătoare din altă perioadă. Exemplul este ipotetic, nu un rezultat observat într-un sistem AL+.

O descriere contextuală ar putea reface aceste legături. Păstrați descrierea separat de pasajul original, chiar dacă le combinați la indexare. Asociați ambelor un identificator stabil al documentului, versiunea și locul din sursă. Persoana care verifică răspunsul trebuie să poată distinge cuvintele documentului de cele generate în etapa de pregătire.

Această separare stabilește ce poate cita răspunsul. Trimiterea către un fragment îmbogățit ar trebui să deschidă pasajul original în context. Dacă explicația spune că o regulă se aplică tuturor clienților, iar sursa o limitează la un singur contract, explicația nu poate deveni dovada propriei afirmații. Răspunsul trebuie să respecte limita din document.

Dacă metadatele verificate conțin deja titlul, data sau identificatorul clientului, folosiți acele câmpuri. Nu este nevoie să cereți modelului să le deducă. Contextul generat merită încercat mai ales când relațiile relevante există în document, dar lipsesc din fragment. Generarea repetată a unor câmpuri deja cunoscute introduce o posibilitate de eroare fără să adauge neapărat informație.

Ce măsoară procentul publicat

Anthropic a raportat scăderea ratei de eșec la găsirea informației între primele 20 de rezultate de la 5,7% la 2,9%, prin combinarea reprezentărilor vectoriale contextuale cu BM25 contextual. Reducerea relativă este de 49%. Cu o etapă suplimentară de reordonare, compania a raportat 1,9%, adică o reducere relativă de 67%. Rezultatul agregat prezentat folosea Gemini Text 004 pentru reprezentările vectoriale, pe domeniile evaluate; experimentul de reordonare folosea Cohere. Metrica era unu minus recall la 20. Sunt rezultate ale furnizorului în condițiile descrise, nu o creștere cu 49% a corectitudinii răspunsurilor.

Distincția contează când cumpărați un sistem. Găsirea dovezii potrivite este necesară pentru multe răspunsuri, însă modelul o poate interpreta greșit. Invers, găsirea a 20 de fragmente poate conta drept succes, deși rezultatele amestecă reguli actuale și reguli vechi. Scorul căutării și acceptarea răspunsului de către firmă trebuie urmărite separat.

Procentele nu prezic rezultatele pentru documente în română, contracte scanate sau colecții filtrate după drepturile de acces. Calitatea extragerii textului, abrevierile și întrebările pot schimba problema dominantă. Sursa justifică încercarea metodei acolo unde se pierde identitatea fragmentului. Nu justifică promisiunea aceluiași câștig într-o ofertă.

Contextul adăugat moștenește restricțiile sursei

Și pregătirea documentelor are nevoie de reguli de acces. Dacă serviciul citește un document restricționat pentru a explica un paragraf aparent public, descrierea generată poate transfera informații confidențiale în indexul acelui paragraf. Accesul la fragmentul original nu acordă automat acces la explicația bazată pe documentul întreg.

Un proiect justificabil păstrează contextul adăugat în limitele de acces ale documentului-sursă. Restrângeți selecția înainte de a trimite materialul modelului care răspunde. Păstrați aceleași restricții în indexuri, în intrările pentru reordonare și în memoria cache. Și deschiderea unei citări trebuie să respecte drepturile valabile atunci; identificatorul nu trebuie să devină o adresă publică de descărcare.

Aceeași logică se aplică versiunilor. Înlocuirea sursei cere înlocuirea sau invalidarea descrierilor bazate pe conținutul anterior. Păstrați proveniența necesară pentru refacerea indexului și pentru identificarea versiunii folosite efectiv într-un răspuns. O regulă veche care se găsește ușor poate fi mai periculoasă decât una greu de găsit, tocmai fiindcă pare relevantă.

Verificați ipoteza contextului lipsă

O comparație propusă ar păstra fixe întrebările, versiunile surselor, identitatea utilizatorului, limitele fragmentelor și modelul care răspunde. Comparați fragmentele originale cu unele completate numai prin metadate și cu unele însoțite de explicații generate din document. Folosiți un buget comparabil de rezultate. Altfel, diferența poate veni din mai mult material returnat sau din schimbarea simultană a mai multor componente.

Examinați mai întâi cazurile ratate. Sursa necesară a intrat între candidați? Clasarea a eliminat-o? Răspunsul a contrazis o condiție deja prezentă? Primele două sunt în principal probleme de căutare. Dacă afirmația necesară nu există în documente, contextul adăugat nu trebuie să fabrice răspunsul.

Includeți întrebări care deosebesc versiuni aproape identice și întrebări fără răspuns în documentele permise. Verificați separat dacă citările susțin afirmațiile. Sunt cazuri de evaluare propuse, nu experimente executate pentru articol. Ceea ce merită măsurat pentru firmă este reducerea răspunsurilor fără suport și a muncii de corectare, cu separarea costului pregătirii de costul folosirii sistemului.

Uneori documentul întreg rămâne alegerea potrivită

Obiecția cea mai puternică este că o colecție mică și stabilă poate să nu aibă nevoie de căutare pe fragmente. Un document întreg, selectat cu respectarea accesului, păstrează relațiile fără o etapă de îmbogățire. Fragmentele mai mari sau titlurile corecte pot rezolva și ele problema cu mai puțină muncă. Metoda trebuie să justifice pregătirea și gestionarea versiunilor când variantele simple nu ajung.

Pentru un proiect cu asistent AI, cereți analiza unui eșec concret înainte să aprobați schimbarea modelului: întrebarea, versiunea sursei, pasajul găsit și concluzia fără suport. Dacă pasajul și-a pierdut identitatea, refaceți acea legătură și comparați din nou. Acceptați contextul adăugat când ajută la găsirea unor dovezi utilizabile, păstrând vizibile sursa, limitele și drepturile de acces.