AI-agent eksib. Õige küsimus ei ole, kas vigu tuleb, vaid kas süsteem tunneb riskantse olukorra ära, peatub õigel hetkel ja jätab lõpliku otsuse inimesele.

Agent võib lugeda tehniliselt jooniselt värvikoodi valesti, ajada kaks artiklit segamini või täita puuduva välja oletusega. Nii muutub väike tekstiviga valeks hinnaks, valeks tellimuseks või praagiks. Seetõttu ei tohi AI-agenti ehitada kõiketeadvaks automaadiks. See tuleb ehitada kontrollitavaks töötajaks.

AI-vead ei ole kõik ühesugused

Praktilises töövoos tasub vead jagada vähemalt nelja klassi.

Väljavõtteviga. Failis on väärtus olemas, kuid agent loeb selle valesti. Näiteks muutub RAL 7016 väärtuseks RAL 7015.

Seostamisviga. Väärtus on õige, kuid agent seob selle vale toote, rea või projektiga.

Oletusviga. Sisendist puudub vajalik info ja agent täidab lünga usutava vastusega.

Toimingu viga. Agent koostab õige info põhjal vale toimingu: kirjutab üle olemasoleva rea, saadab mustandi välja või tellib vale koguse.

Need vead vajavad erinevaid kaitseid. Õigekirjakontroll ei aita vale artiklikoodi vastu. Suurem keelemudel ei paranda puuduvat kinnitusetappi.

Kolm väljundiklassi: leitud, tuletatud, puudu

Kõige kasulikum reegel on nõuda, et agent märgiks iga olulise väärtuse päritolu.

  1. Leitud – väärtus on sisendfailis selgelt olemas ja agent saab näidata allikat.
  2. Tuletatud – väärtus on arvutatud või järeldatud etteantud reegli põhjal.
  3. Puudu või ebaselge – usaldusväärset vastust ei ole ja inimene peab otsustama.

Näiteks võib agent leida jooniselt mõõdu 1200 mm, arvutada valemiga materjali vajaduse ja jätta pinnatöötluse tühjaks, kui seda pole kirjeldatud. Halb agent täidaks ka kolmanda välja millegagi, mis näeb õige välja.

Eesmärk ei ole panna AI-d alati vastama. Eesmärk on õpetada süsteemile, millal vastamata jätmine on parim vastus.

Usaldusskoor üksi ei ole kontroll

Mõni lahendus kuvab iga väärtuse kõrval protsendi. See võib olla kasulik, kuid number ei tõesta, et vastus on õige. Mudel võib olla väga enesekindel ka siis, kui ta eksib.

Usaldusskoor peab olema seotud kontrollreegliga. Näiteks:

  • ✓artiklikood peab leiduma kinnitatud registris;
  • ✓värvikood peab vastama lubatud formaadile ja kataloogile;
  • ✓kogus peab olema positiivne täisarv;
  • ✓arvutatud summa peab võrduma ridade summaga;
  • ✓joonise number peab kattuma faili nime või projekti registriga;
  • ✓kriitiline mõõt vajab allikaviidet ja inimese kinnitust.

Kui kontroll ebaõnnestub, ei tohi agent tulemust vaikselt parandada. Ta peab näitama vastuolu.

Inimese kontroll peab asuma enne tagajärge

„Inimene on protsessis” ei tähenda midagi, kui inimene näeb tulemust alles pärast kliendile saatmist.

Kontrollpunkt peab asuma enne tegevust, millel on rahaline, lepinguline või tootmist mõjutav tagajärg. Tüüpilised kinnitamist vajavad sammud on:

  • ✓lõplik müügihind ja marginaal;
  • ✓tehnilised tolerantsid;
  • ✓tarneaja lubadus;
  • ✓ostutellimuse saatmine;
  • ✓ERP-i põhiandmete muutmine;
  • ✓kliendile või tarnijale saadetav kiri;
  • ✓faili kustutamine või varasema versiooni ülekirjutamine.

Agent võib teha kogu eeltöö: lugeda failid, täita tabeli, tuua välja vastuolud ja koostada kirja. Vastutav inimene peab nägema just neid välju, mille kinnitamisel on päris tagajärg. Sama põhimõte määrab, kas AI jääb meeskonnas päriselt kasutusse.

Kontrollikuva peab näitama erinevusi, mitte kogu tööd uuesti

Kui töötaja peab AI tulemuse kontrollimiseks kogu algmaterjali nullist läbi töötama, ei ole automatiseerimine aega säästnud. Hea kontrollikuva näitab:

  • ✓algallika lõiku või joonise piirkonda;
  • ✓agendi leitud väärtust;
  • ✓kasutatud reeglit;
  • ✓varasema versiooni ja uue tulemuse erinevust;
  • ✓ebakindlaid või puuduvaid välju;
  • ✓kinnitamise ja tagasilükkamise võimalust.

Inimese tähelepanu tuleb suunata eranditele. Tavalised, reeglitele vastavad read võivad liikuda kiiresti; kriitilised erinevused peavad silma torkama.

Veal peab olema jälg

Kui AI-agent teeb vea, peab olema võimalik vastata neljale küsimusele:

  1. Milline sisend talle anti?
  2. Millist reeglit või mudeliversiooni kasutati?
  3. Millise tulemuse agent andis?
  4. Kes tulemuse kinnitas või tagasi lükkas?

See logi ei ole mõeldud süüdlase leidmiseks. Selle eesmärk on vältida sama vea kordumist ja eristada mudeliviga protsessiveast.

Kui vale väärtus oli algdokumendis, ei lahenda seda mudeli vahetamine. Kui agent nägi ainult poolikut faili, tuleb parandada sisendit. Kui inimene kinnitas hoiatuse vaatamata, tuleb muuta kontrollikuva või vastutust.

NIST-i AI riskijuhtimise raamistik soovitab rolle, mõõtmist, dokumenteerimist ja järelevalvet käsitleda kogu AI-süsteemi elutsükli jooksul. See on praktiline põhimõte ka väikese ettevõtte jaoks: risk ei kao pärast piloodi lõppu.

Tagasiside ei tohi muuta agenti kontrollimatult

Tihti öeldakse, et agent „õpib kasutaja tagasisidest”. See võib tähendada väga erinevaid asju.

Turvalises töövoos ei muuda üks kasutaja märkus automaatselt kõigi järgmiste projektide reegleid. Parandus salvestatakse ettepanekuna, vastutaja kinnitab selle, muudatus saab versiooninumbri ja seda testitakse vanade näidete peal.

Muidu võib ühe erandprojekti reegel hakata vaikselt mõjutama kõiki tavalisi projekte. Kuidas ligipääse ja logisid eraldada, sellest loe lähemalt artiklist AI-agent ja andmeturve.

Millal võib agent töötada ilma iga sammu kinnitamata?

Autonoomiat saab suurendada siis, kui:

  • ✓ülesanne on kitsalt piiritletud;
  • ✓sisend on stabiilne;
  • ✓vead on kiiresti avastatavad ja pööratavad;
  • ✓testandmetel on saavutatud kokkulepitud tulemus;
  • ✓agent ei tee rahalist ega lepingulist otsust;
  • ✓toimingute logi töötab ja inimesel on võimalik töö peatada.

Näiteks faili ümbernimetamine kinnitatud reegli järgi võib olla automaatne. Kliendile hinna lubamine ei peaks olema. Enne kui annad agendile rohkem autonoomiat, testi lahendust sama rangelt kui AI-partnerit.

Korduma kippuvad küsimused

Kas AI hallutsinatsioone saab täielikult vältida?+
Ei. Nende mõju saab tugevalt piirata allikaviidete, registrikontrollide, puuduva info märkimise, testimise ja inimese kinnitusega.
Kas suurem või uuem mudel lahendab veaprobleemi?+
Mudel võib parandada kvaliteeti, kuid ei asenda töövoo kontrolle. Vale sisend, puuduv reegel ja liiga lai ligipääs jäävad probleemiks ka tugevama mudeliga.
Kes vastutab AI-agendi otsuse eest?+
Ettevõte peab vastutuse rollide kaupa ise määrama. Agent võib soovitada ja ette valmistada, kuid hinnad, tehnilised otsused ja välised lubadused peavad jääma nimetatud inimese vastutusele.
Mida teha, kui agent eksib?+
Peata mõjutatud tegevus ning säilita sisend ja logi. Määra vea klass, paranda reegel või sisend ning testi muudatust nii ebaõnnestunud näite kui ka varasemate õigete näidete peal.

Allikad