AL+

RO EN

Scrieți-ne

Cât costă integrarea AI într-o aplicație: mai ales inginerie

În mai 2024, GPT-4o a înjumătățit prețul unui model de clasă GPT-4. Doi ani și jumătate mai târziu, costul unei funcții AI ține de integrare și mentenanță.

. De . AI și programare cu agenți

Read this article in English

Pe 13 mai 2024, OpenAI a lansat GPT-4o și l-a pus în API chiar în aceeași zi. Presa a vorbit mai ales despre demonstrația cu vocea. Pentru cine plătea o funcție AI, fraza importantă era mai jos în anunț: GPT-4o egala GPT-4 Turbo la text în engleză și la cod și era „de 2 ori mai rapid, la jumătate de preț și cu limite de utilizare de 5 ori mai mari”. În anunțul pentru programatori, asta însemna 5 dolari pe milion de tokeni de intrare și 15 dolari pe milion de tokeni de ieșire. Simon Willison a observat în aceeași zi că prețul era exact de zece ori cel al GPT-3.5.

La doi ani și jumătate distanță, scăderea prețului e partea care merită ținută minte din acea săptămână, pentru că a schimbat socoteala. Pentru o firmă mică sau mijlocie care vrea să integreze un model AI, precum cel din ChatGPT, într-o aplicație existentă, factura pentru model decide rar dacă funcția merită banii. Decid integrarea, testarea, limitele puse modelului și mentenanța. Acolo trebuie să meargă bugetul.

Prețurile au continuat să scadă

GPT-4o nu a fost o reducere izolată. Două luni mai târziu, OpenAI a lansat GPT-4o mini, care, după calculul lui Simon Willison, era de 33 de ori mai ieftin decât GPT-4o la intrare și de 25 de ori la ieșire. În august, o nouă versiune, gpt-4o-2024-08-06, a coborât prețul la 2,50 dolari pe milion de tokeni de intrare și 10 dolari la ieșire, adică jumătate din prețul de intrare al versiunii din mai.

Acestea sunt și astăzi prețurile de listă pentru GPT-4o și GPT-4o mini pe pagina de prețuri OpenAI, iar cel mai ieftin model din tabelul principal de la începutul paginii, gpt-6-luna, costă 0,10 dolari pe milion de tokeni de intrare și 0,50 dolari la ieșire.

Un calcul pe care îl puteți face singuri

Să luăm o funcție obișnuită: aplicația citește o cerere de la un client, de circa 2.000 de tokeni, și pregătește un răspuns de 300 de tokeni, pe care îl verifică un om. Presupunem 10.000 de cereri pe lună. Calculul de mai jos folosește doar prețurile de listă, fără reducerile pentru cache sau pentru procesarea în batch.

Model și preț Intrare pe lună Ieșire pe lună Total pe lună
GPT-4o, mai 2024 (5 $ / 15 $) 100 $ 45 $ 145 $
GPT-4o, august 2024 (2,50 $ / 10 $) 50 $ 30 $ 80 $
GPT-4o mini (0,15 $ / 0,60 $) 3 $ 1,80 $ 4,80 $

Cifrele sunt ilustrative și nu provin dintr-un sistem real. Contează ordinul de mărime. La aceste prețuri, modelul costă între câțiva dolari și aproximativ 150 de dolari pe lună. Comparați suma cu cât vă costă o săptămână de lucru a unui programator și vedeți singuri unde se duc banii.

Pentru un proprietar de firmă, împărțirea utilă e între ce crește odată cu utilizarea și ce nu crește.

Costuri care cresc odată cu utilizarea: tokenii, găzduirea părților care apelează modelul și timpul în care oamenii dumneavoastră verifică ciornele. Dintre acestea, doar primul a scăzut puternic în 2024.

Costuri fixe de dezvoltare: legarea modelului de datele și de aplicațiile firmei, regulile despre ce are și ce nu are voie să facă, ecranul în care un om aprobă rezultatul, testarea pe exemple din trecut, jurnalul cu ce a făcut modelul și tratarea situațiilor în care greșește, răspunde greu sau nu e disponibil.

Costuri recurente de dezvoltare: tot ce e mai sus trebuie ținut în funcțiune în timp ce furnizorul schimbă modele, prețuri și API-uri.

Liniile fixe și recurente nu s-au ieftinit odată cu tokenii. Un prompt care redactează răspunsuri se scrie într-un weekend. Proiectul propriu-zis înseamnă ca răspunsul să citeze lista de prețuri actuală, să nu promită niciodată un termen de livrare pe care depozitul nu îl poate respecta și să ajungă la o persoană anume înainte să ajungă la client.

Costul recurent e mai mare decât pare

Cea mai bună dovadă pentru costul de mentenanță e chiar pagina de modele retrase a OpenAI (în engleză). Pentru versiunea originală gpt-4o-2024-05-13, modelul lansat în acea săptămână, retragerea a fost anunțată pe 22 aprilie 2026, iar accesul a fost oprit pe 23 octombrie 2026. Pe 14 octombrie 2026, OpenAI le-a anunțat programatorilor că versiunile ulterioare de GPT-4o, GPT-4o mini și GPT-4.1 vor fi scoase din API pe 14 ianuarie 2027.

Așadar, o funcție construită pe GPT-4o în mai 2024 a ajuns deja la un model schimbat sau retras. Dacă funcția este încă folosită și depinde de versiunile vizate de anunț, va avea nevoie de un model înlocuitor până la termen. Fiecare mutare înseamnă lucru de inginerie: noul model rulează pe aceleași exemple din trecut, răspunsurile se compară, prompturile și limitele se ajustează, apoi urmează lansarea. O echipă care nu și-a construit de la început un set de exemple de test face comparația de mână sau o sare și află de la clienți.

De aceea cred că bugetul trebuie pus în testare și în integrare. Pariul că tokenii se vor ieftini a fost corect. Pariul că integrarea se va ieftini sau că nu va mai trebui atinsă nu a fost.

Cel mai puternic contraargument

A scăzut prețul pe token pentru un anumit nivel de capacitate. Factura totală pentru tokeni nu a urmat mereu aceeași direcție.

Modelele de raționament generează tokeni interni înainte să răspundă, iar documentația OpenAI spune că acești tokeni de raționament sunt facturați ca tokeni de ieșire (în engleză): de la câteva sute la zeci de mii pe cerere, după complexitatea problemei. Un agent AI care apelează unelte în buclă retrimite modelului, la fiecare pas, conversația din ce în ce mai lungă. Nici vârful gamei nu s-a ieftinit: gpt-6-astra, primul în tabelul de prețuri de astăzi, costă 10 dolari pe milion de tokeni de intrare și 50 de dolari la ieșire, mult peste prețul de lansare al GPT-4o, iar modelele „pro” costă și mai mult.

Obiecția e întemeiată și schimbă sfatul într-un singur punct. Costul de utilizare nu mai e o cifră pe care o estimați o dată și o uitați. Trebuie măsurat pe traficul real și plafonat în cod, de exemplu cu o limită de tokeni de ieșire pe cerere și cu o alertă pentru bugetul lunar. Teza rămâne însă în picioare, ba chiar se întărește. Alegerea celui mai ieftin model care trece exemplele de test, limitarea pașilor pe care îi poate face un agent și urmărirea facturii sunt tot muncă de inginerie. Facturile mari pot veni și din muncă dificilă, valoroasă sau din volum legitim; suma singură nu arată calitatea ingineriei.

Unde concluzia nu se aplică

Concluzia privește firmele care adaugă AI la o sarcină bine definită, cu un volum moderat. Nu se aplică în trei situații.

Volum foarte mare. Dacă procesați milioane de documente pe lună, factura pentru tokeni e o cheltuială reală, iar alegerea modelului, cache-ul și prețurile pentru batch merită aceeași atenție ca restul codului.

Agenți care lucrează mult timp și raționament intens. O funcție care lasă modelul să „gândească” mult sau să facă multe apeluri de unelte pentru fiecare cerere poate costa câțiva dolari pe sarcină. Măsurați înainte să promiteți un preț propriilor clienți.

Când răspunsul corect e fără AI. Dacă sarcina e o regulă fixă, un formular sau un raport, o automatizare simplă costă mai puțin și nu are niciun model de migrat. Un furnizor serios vă spune asta înainte să vă dea o ofertă pentru o funcție AI.

Ce să întrebați înainte să plătiți o funcție AI

Cereți furnizorului să separe cele trei linii: costul lunar estimat pentru model la volumul dumneavoastră, construcția inițială și ce presupune întreținerea. Întrebați pe ce exemple din trecut va fi testată funcția, cine aprobă rezultatul și ce se întâmplă când furnizorul modelului îl retrage. Dacă oferta vorbește mai ales despre model, se uită la partea cea mai ieftină a lucrării.

Oferta noastră pentru agenții AI și funcțiile AI pornește de la o singură sarcină, descrisă în scris, testată pe exemplele dumneavoastră din trecut, cu un om care aprobă rezultatul și cu costurile de funcționare estimate separat de dezvoltare.

Surse