Kahe nädalaga ei ehita ettevõttele valmis autonoomset AI-süsteemi. Kahe nädalaga saab tõestada, kas üks kitsas töövoog töötab päris failide, päris reeglite ja päris kasutajaga piisavalt hästi, et investeeringuga edasi minna.

Hea AI-piloot ei tõesta, et AI on tark. Ta tõestab, et konkreetne töö muutus mõõdetavalt kiiremaks, kontrollitavamaks või vähem veaohtlikuks.

Piloot algab ühest töövoost

Kõige sagedasem viga on eesmärk „võtame AI ettevõttes kasutusele”. See on liiga lai, et seda 14 päevaga mõõta.

Paremad piloodiküsimused on näiteks:

  • Kas agent suudab saabunud päringu failidest täita pakkumise eeltöö tabeli?
  • Kas agent leiab joonistest BOM-i read ja seob need artikliregistriga?
  • Kas agent koostab tarnijapäringu mustandi ning märgib puuduva info?
  • Kas agent võrdleb kahte revisjoni ja toob välja muutunud väljad?

Üks piloot võib kasutada mitut programmi, kuid tal peab olema üks selge algus ja lõpp.

Enne ehitamist mõõda tänast tööd

Kui algtaset ei ole mõõdetud, võib piloot tunduda muljetavaldav, kuid selle väärtust ei saa otsustada.

Vähemalt kolme kuni viie varasema näite peal tasub fikseerida:

  • kui palju inimese tööaega kulus;
  • mitu korda tuli infot käsitsi ümber tõsta;
  • millised vead või puuduvad andmed tekkisid;
  • mitu täpsustavat kirja saadeti;
  • kui kaua kulus päringu saabumisest kontrollitava mustandini.

Mõõta tuleb inimese aktiivset tööaega, mitte ainult kalendripäevi. Kui päring ootas kaks päeva järjekorras, ei tähenda see, et eeltöö võttis 16 töötundi.

Vali testmaterjal, mis esindab päris tööd

Piloot ei tohiks koosneda ainult ühest ideaalsest failist. Vali kaks või kolm terviklikku varasemat projekti ning lisa eraldi veajuhtumid.

Heas testikomplektis on:

  • vähemalt üks tavapärane projekt;
  • üks kehva või pooliku sisendiga projekt;
  • üks erand, mis nõudis spetsialisti otsust;
  • erinevad failiformaadid;
  • teadaolevad õiged lõpptulemused;
  • konfidentsiaalsuse jaoks anonümiseeritud või kinnitatud materjalid.

Agent ei pea erandit automaatselt lahendama. Sageli on parem tulemus see, kui ta tunneb erandi ära ja suunab selle inimesele.

Mida teha 14 päeva jooksul?

Päevad 1–2: töövoog ja piirid

Kaardistatakse sisend, väljund, kasutatavad süsteemid, otsustusreeglid ja inimese kontrollpunktid. Kohe pannakse kirja, mida agent ei tohi teha.

Näiteks võib agent koostada hinnatabeli mustandi, kuid ei tohi muuta marginaali ega saata pakkumist kliendile.

Päevad 3–4: testandmed ja kontrollvastused

Valitakse näidisprojektid ning spetsialist märgib õiged väljad. Tekib kuldstandard, millega agendi tulemust võrrelda.

Kui õiget vastust pole kirjalikult olemas, tuleb see enne testi kokku leppida. Muidu vaieldakse hiljem selle üle, kas agent eksis või oli protsess ise ebaselge.

Päevad 5–8: esimene töötav versioon

Ehitatakse kitsas töövoog, mis loeb sisendi, rakendab ettevõtte reegleid ja loob kokkulepitud väljundi. Esimene versioon võib töötada kontrollitud kaustas või eraldi arvutis. Täielik ERP-integratsioon ei ole veel vajalik, kui sama väärtust saab tõestada turvalise vahefailiga.

Päevad 9–11: vead ja parandused

Tulemusi võrreldakse kontrollvastustega. Vead jagatakse klassidesse: valesti loetud, vale seos, puuduva info oletus, formaadiviga või töövoo viga.

Parandused testitakse ka varasemate õigete näidete peal. See väldib olukorda, kus ühe projekti erand rikub tavalise töö.

Päevad 12–13: kasutaja test

Töötaja kasutab lahendust ilma ehitaja kõrval istumiseta. Siin selgub, kas sisendi andmine, vigade leidmine ja tulemuse kinnitamine on arusaadav.

Kui kasutaja peab iga kord arendajalt küsima, mida teha, pole töövoog veel üleandmiseks valmis.

Päev 14: otsus

Piloodi lõpus ei küsita „kas meile AI meeldib?”. Võrreldakse kokkulepitud mõõdikuid ning tehakse üks kolmest otsusest:

  1. edasi tootmisversiooni;
  2. kitsendada töövoogu ja testida uuesti;
  3. lõpetada, sest kvaliteet või tasuvus ei ole piisav.

Ka kolmas vastus on väärtuslik. Odav piloot võib ära hoida suure ja vale investeeringu.

Mida piloot peab mõõtma?

Mõõdikud sõltuvad töövoost, kuid vähemalt viis näitajat tasub alati läbi vaadata.

Täpsus. Kui suur osa olulistest väljadest oli õige?

Kriitilised vead. Kas tekkis viga, mis võinuks mõjutada hinda, kogust, materjali või tähtaega?

Ajavõit. Kui palju vähenes aktiivne eeltööaeg koos kontrolliga?

Kontrollikoormus. Kas töötaja pidi kogu töö uuesti tegema või nägi ainult erandeid?

Kasutatavus. Kas vastutav töötaja oskas lahendust iseseisvalt kasutada ja vea korral peatada?

„90% täpne” ei ole piisav otsus. Kui ülejäänud 10% sisaldab vale hinda või tootmismõõtu, võib tulemus olla kasutuskõlbmatu. Väljade olulisus peab olema kaalutud.

Mida kahe nädalaga ei tõestata?

Piloot ei tõesta, et lahendus töötab kõigi tulevaste klientide, failitüüpide ja eranditega. Samuti ei tõesta see pikaajalist hooldusvajadust, mudelivahetuse mõju ega kogu ettevõtte kasutuselevõttu.

Seetõttu peab lõpparuandes olema kaks eraldi nimekirja:

  • mis on testidega tõestatud;
  • mis on veel oletus või järgmise etapi töö.

Aus piir suurendab usaldust rohkem kui suur autonoomialubadus.

Milline on hea piloodi lõpptulemus?

Kahe nädala lõpuks peaks ettevõttel olema:

  • töötav esimene versioon;
  • testitud näidisprojektid;
  • mõõdetud tulemus võrreldes varasema tööga;
  • vigade ja piirangute nimekiri;
  • andmevoo ning ligipääsude kirjeldus;
  • otsus järgmise etapi mahu, hinna ja vastutajate kohta.

Piloodi eesmärk ei ole siduda ettevõtet pakkujaga. Eesmärk on muuta järgmine otsus tõenduspõhiseks.

Korduma kippuvad küsimused

Kas 14 päeva on alati piisav?

See on piisav kitsa ja ligipääsetava töövoo võimekustestiks. Kui süsteemid on suletud, andmed korrastamata või otsustusreeglid teadmata, tuleb ettevalmistus eraldi teha.

Kas piloot peab kohe ERP-iga ühenduma?

Mitte alati. Esmalt võib väärtust tõestada kontrollitud vahefailiga. ERP-i kirjutamisõigus lisatakse siis, kui väljundi kvaliteet ja kontroll on tõestatud.

Mitu näidisprojekti on vaja?

Prototüübi jaoks sobib kaks kuni kolm terviklikku projekti. Usaldusväärse täpsuse hindamiseks tuleb hiljem kasutada laiemat ja mitmekesisemat testikomplekti.

Kes peab piloodis osalema?

Vähemalt protsessi igapäevane tegija, otsustaja ja tehnilise ligipääsu eest vastutav inimene. Ainult juhiga tehtud demo ei näita, kas töövoog päriselt kasutusse jääb.

Kui sul on üks käsitööd täis protsess, mille väärtust tahad enne suuremat investeeringut tõestada, räägime 30 minutit. Paneme paika piloodi küsimuse, mõõdiku ja selge lõpetamiskriteeriumi.

Allikad