Aprobarea umană trebuie să păstreze o decizie reală

Persoana care aprobă o recomandare AI trebuie să poată lua o altă decizie. În activitățile din sectorul public cu urmări importante, acest lucru cere acces la dovezile folosite, dreptul de a interveni și o procedură pentru cazurile nelămurite. Un buton de aprobare pus după răspunsul modelului nu îndeplinește singur niciuna dintre aceste condiții.

În articolul din 1 octombrie 2024, Jacob Kaplan-Moss deosebește sistemele care asistă un operator uman de cele care acționează singure. Autorul prezintă o poziție etică personală, pornind de la însemnări începute în 2021. Privită din noiembrie 2026, distincția ridică o problemă de proiectare. Ea nu stabilește o regulă juridică universală și nu dovedește că verificarea umană face automat acceptabilă o aplicație.

Stabiliți unde se ia decizia

Să luăm un asistent propus pentru examinarea unei cereri de acces la un serviciu public. Este un exemplu de proiectare, nu un proiect realizat de AL+. Asistentul ar putea găsi pasaje relevante, semnala documente lipsă și pregăti un rezumat. Funcționarul ar stabili în continuare dacă documentele justifică decizia potrivit regulilor aplicabile.

Notați exact de unde începe influența sistemului. Ordinea în care apar fișierele poate schimba ce citește funcționarul. Marcarea unui dosar drept incomplet îl poate întârzia înainte să existe un refuz formal. Dacă proiectul numește „decizie” doar semnătura finală, poate trece cu vederea etapele care determină rezultatul.

Precizați în scris ce poate face asistentul, ce acțiuni cer autorizare și cine le poate autoriza. Dreptul de a redacta trebuie separat de dreptul de a trimite o notificare sau de a modifica dosarul. Aceste deosebiri trebuie să se regăsească atât în comportamentul aplicației, cât și în instrucțiunile de lucru.

Responsabilitatea trebuie asumată și în afara echipei tehnice. Programatorii pot implementa permisiunile, însă instituția stabilește cine are autoritatea de a lua decizia de fond. Dacă nimeni nu poate spune cine poate schimba recomandarea, implementarea trebuie oprită la această limită până când responsabilitatea este lămurită.

Oferiți dovezi care pot fi contestate

Rezumatul este o interpretare propusă. Păstrați legătura cu pasajul original și cu versiunea documentului, astfel încât persoana care verifică să poată vedea pe ce se sprijină. Deosebiți informația scrisă explicit într-un fișier de concluzia modelului. Un răspuns absent trebuie să rămână absent, fără completări prezentate drept certitudini.

În exemplul cererii, ecranul de verificare ar putea afișa concluzia propusă alături de documentele folosite și de contradicțiile nelămurite. Funcționarul ar trebui să poată consulta și materialele omise, în limitele permisiunilor sale. Dacă vede numai pasajele favorabile recomandării, îi va fi greu să descopere dovezile care o contrazic.

Regulile de acces rămân valabile. A oferi suficiente dovezi nu înseamnă a deschide toate fișierele instituției. Dacă dosarul cere informații pe care funcționarul desemnat nu are dreptul să le consulte, este necesară o procedură prin care cazul ajunge la o persoană autorizată. Lărgirea accesului doar ca asistentul să funcționeze ar schimba problema, fără să o rezolve.

Verificarea are și un cost de operare. Consultarea atentă cere timp. Dacă sistemul produce mai multe recomandări decât poate examina personalul, dosarele se pot acumula. Estimarea proiectului trebuie să includă personalul disponibil și repartizarea cazurilor. O ciornă obținută mai repede ajută numai dacă instituția poate încheia munca rămasă.

Dezacordul trebuie să aibă o cale prevăzută

Persoana care verifică trebuie să poată corecta ciorna, cere informații, respinge recomandarea sau trimite cazul unui coleg autorizat. Fiecare acțiune are nevoie de o destinație clară. Un buton „Trimiteți spre analiză” este insuficient dacă mesajul ajunge într-o coadă pe care nimeni nu o urmărește, iar termenul continuă să curgă.

Păstrați o înregistrare a dovezilor disponibile, a propunerii asistentului și a deciziei funcționarului. Conținutul înregistrării trebuie să fie proporțional cu dosarul și cu obligațiile instituției privind datele. Stocarea fără termen a tuturor instrucțiunilor trimise modelului ar crea alte probleme de acces și păstrare. Scopul este explicarea deciziei, nu acumularea unui istoric tehnic nelimitat.

Dezacordul nu trebuie să ceară o improvizație în afara sistemului. Dacă funcționarul este nevoit să copieze date într-un tabel privat pentru a evita acceptarea recomandării, aplicația nu îi susține autoritatea. Verificați împreună procedura scrisă și interfața: ambele trebuie să descrie aceleași opțiuni disponibile.

Evaluarea ar trebui să includă dosare cu documente contradictorii și dovezi insuficiente. Verificați dacă persoana poate opri acțiunea propusă și trimite cazul cui trebuie. Numărul aprobărilor nu ar testa afirmația principală a proiectului. Pentru acest articol nu a fost efectuată o asemenea evaluare.

Există și automatizări justificate

Cel mai puternic contraargument este că verificarea fiecărei acțiuni poate risipi resurse publice limitate. O confirmare de primire sau un transfer administrativ făcut în condiții precise poate fi potrivit pentru automatizare. Și oamenii pot decide inconsecvent, în grabă sau greșit. Prezența unui om nu rezolvă toate aceste probleme.

Limita relevantă ține de consecințele acțiunii și de aprecierea pe care o cere. Confirmarea primirii unui dosar diferă de stabilirea eligibilității. Definiți acțiunile de rutină, modul de detectare a excepțiilor și persoana care le poate opri sau anula. Argumentul etic al lui Kaplan-Moss justifică examinarea acestei limite, fără să devină o interdicție generală a automatizării.

O procedură bună de verificare nu rezolvă singură problemele de echitate, corectitudine sau autoritate juridică. O politică dăunătoare poate fi aplicată cu înregistrări impecabile. Evaluarea instituțională și juridică trebuie să examineze separat utilizarea concretă, persoanele afectate și jurisdicția.

Pentru un flux de lucru cu agenți AI, descrieți o decizie, persoana autorizată care răspunde de ea și dovezile necesare pentru a contesta recomandarea. Înainte de extinderea utilizării, stabiliți ce se întâmplă când acea persoană spune că asistentul greșește. Acolo se vede dacă aprobarea umană este o responsabilitate care poate fi exercitată.