AI automatizavimas gali tyliai pablogėti: kaip pastebėti reasoning drift ir apsaugoti verslą

Įsivaizduokite: prieš šešis mėnesius įdiegėte AI pokalbių robotą klientų aptarnavimui. Pirmą mėnesį -- puiku: tikslūs atsakymai, patenkinti klientai, mažiau skambučių. Po trijų mėnesių pradeda rastis skundų: robotas duoda netikslius atsakymus, nesupranta sudėtingesnių užklausų, kartais paprasčiausiai neatsako.

Kas nutiko? Programinė įranga nepasikeitė. Jūsų verslo taisyklės nepasikeitė. Pasikeitė kažkas kitas -- pats AI modelis.

Tai vadinama "reasoning drift" -- kai komerciniai AI modeliai tyliai praranda kokybę tarp atnaujinimų. Problema yra ta, kad jūs to paprastai nepastebite iš karto. Modelis ir toliau veikia -- tiesiog blogiau.

"Reasoning drift" yra ne viena problema, o kelių reiškinių derinys. Pirma -- faktinė kokybės degradacija: modelis tiesiog tampa prastesnis sudėtingesnėse situacijose. Antra -- atsakymo formato pokyčiai, kurie gali suardyti jūsų automatizacijos logiką. Trečia -- padidėjęs nenuspėjamumas: tas pats klausimas gauna skirtingus atsakymus skirtingais momentais.

Stanford HAI (Human-centered AI) stebėjimo indeksas fiksuoja nerimą keliančią tendenciją: AI pramonės skaidrumo rodiklis nukrito nuo 58 taškų 2024 metais iki 40 taškų 2025 metais. Anthropic surinko 31 iš 100, OpenAI -- 30, Google -- 24. Šie skaičiai rodo ne tai, kad modeliai tapo blogesni, o tai, kad tiekėjai teikia vis mažiau informacijos apie tai, kaip jų modeliai keičiasi.

Versle tai reiškia: jūs mokate už AI paslaugą, kuri gali keistis be jūsų žinios ar sutikimo. Vartotojai visame pasaulyje praneša apie neužbaigtus atsakymus, prarastą kontekstą ir situacijas, kai AI paprasčiausiai palieka neišspręstą problemą.

Lietuvai ši problema ypač aktuali dėl kelių priežasčių. Pirma -- mūsų rinka maža, o klientų lojalumas -- trapus. Jei AI pokalbių robotas pradės duoti netikslią informaciją apie paslaugas ar kainas, vienas nusivylęs klientas gali tapti dešimčia neigiamų atsiliepimų Google Maps ar Facebook.

Antra -- daugelis lietuviškų įmonių naudoja AI tiekėjų API tiesiogiai: OpenAI, Anthropic, Google. Šie tiekėjai atnaujina savo modelius -- ir dažnai ne taip, kaip tikimasi. Tai, kas gerai veikė su GPT-4o prieš tris mėnesius, gali veikti kitaip su dabartine versija.

Trečia -- AI automatizacija dažnai liečia kritinius procesus: rezervavimą, klientų aptarnavimą, dokumentų tvarkymą. Klaida čia -- ne tik nepatogumas, o prarastas klientas arba netinkamas dokumentas.

Keturios konkrečios priemonės, kurias gali įdiegti bet kuri įmonė:

1. Fiksuokite modelio versijas. Naudokite konkretaus modelio versijas (pvz., gpt-4o-2024-08-06), o ne bendrus pavadinimus (gpt-4o). Kiekvieną kartą, kai tiekėjas atnaujina modelį, jūs nesate priversti pereiti iš karto.

2. Sukurkite testo klausimų rinkinį. 10-20 tipinių klausimų su tikėtinais atsakymais. Testuokite juos kiekvieną savaitę automatiškai -- ir gaukite įspėjimą, jei atsakymų kokybė krenta.

3. Stebėkite klientų skundus pagal temą. Skundų padaugėjimas konkrečia tema -- dažnai pirmasis degradacijos signalas.

4. Nustatykite "bazinę liniją". Prieš diegiant AI, užfiksuokite, kaip atrodo "geras" atsakymas į 20 tipinių situacijų. Tai taps jūsų atskaitos tašku.

Pasak Habr analitinės apžvalgos: "Atsakomybė aptikti kokybės degradaciją gamybinėse sistemose pereina pas klientus -- tiekėjai šios problemos nesprendžia." (šaltinis)

AI automatizavimas sukuria realią vertę -- bet tik tada, kai jis veikia taip, kaip planuota. Reasoning drift yra verslo rizika, ne tik techninė smulkmena.

Webedge.dev teikia AI sistemų palaikymą ir monitoringą -- stebime jūsų AI kokybę, testuojame atnaujinimus ir informuojame, kai kažkas keičiasi. Jei naudojate AI ir neturite atsakymo į klausimą "kaip žinau, ar jis vis dar veikia gerai?" -- susisiekite su mumis.

Degradacija gali vykti per savaitę po tiekėjo atnaujinimo. Daugeliu atvejų ji yra laipsniška -- pastebite tik tada, kai pradeda daugėti skundų.

Labiausiai paveiktos sistemos, kurios naudoja viešus API tiekėjų (OpenAI, Anthropic, Google). Lokaliai diegiami modeliai su fiksuotomis versijomis -- saugesni.

Paprastas testų rinkinys gali kainuoti kelias valandas sukonfigūruoti ir veikti automatiškai. Sudėtingesni observability sprendimai (Arize, LangSmith) -- nuo keliasdešimt eurų per mėnesį.

Pirma -- grįžkite prie ankstesnės modelio versijos, jei galima. Antra -- fiksuokite konkrečius atvejus, kur AI klydo. Trečia -- kreipkitės į savo AI diegimo partnerį.