Za hranice chatbota: AI jako součást řízeného firemního procesu

AI ve firemním procesu potřebuje víc než kvalitní odpověď.

Microsoft ARIA ukazuje, jak spojit práci modelů, pevná pravidla a lidské rozhodování, aby bylo možné ověřit podklady, dohledat vznik doporučení a jasně určit odpovědnost za další krok.

Zjistěte, co využít při návrhu vlastního procesu.

Microsoft nadále rozvíjí projekt ARIA - AI Regulatory Inspection Accelerator. Na projektu Microsoft ARIA mě zaujalo především rozdělení odpovědností. Samotný scénář regulatorní kontroly je zajímavý, ale důležitější je architektura: AI zpracovává podklady, deterministická pravidla vyhodnocují podmínky a člověk rozhoduje.

Právě tak podle mě dává smysl přistupovat k agentní AI v rámci firemních procesů.

Agenti tam, kde AI přináší hodnotu. Pravidla tam, kde potřebujeme předvídatelnost. Lidé tam, kde záleží na odpovědnosti.

Tento princip posouvá pozornost od schopnosti modelu odpovědět na otázku ke schopnosti celého systému provést kontrolovatelný pracovní postup. Kvalita odpovědi zůstává důležitá. Vedle ní ale potřebujeme vědět, které kontroly proběhly, na jakých podkladech výsledek vznikl a kdo může povolit další krok.

ARIA zpracovává případ, ne jednotlivý dokument

ARIA znamená AI Regulatory Inspection Accelerator. Microsoft jej představuje jako referenční řešení pro kontrolu souvisejících dokumentů, vyhodnocování pravidel a přípravu vysvětlitelného doporučení pro lidského posuzovatele.

První referenční implementace se věnuje kontrole dovozu potravin. Pracuje s fakturami, deklaracemi, zdravotními osvědčeními, osvědčeními o původu a certifikáty Halal. Podstatnou jednotkou zpracování je celý případ: dokumenty musí dávat smysl i ve vzájemných souvislostech.

Architektura využívá Azure Durable Functions k orchestraci pěti specializovaných agentů:

Předběžná validace kontroluje podání a povinné podklady.
Extrakce dokumentů získává strukturované údaje.
Posouzení a porovnání údajů hledá shody a rozpory mezi dokumenty.
Pravidla a politiky vyhodnocují definované podmínky.
Doporučení a předání výsledku připravuje výstup pro navazující systém a člověka.

Samostatná aktivita zajišťuje uložení údajů o riziku. Každý agent má omezenou odpovědnost a dalšímu kroku předává kontrolovatelný výstup.

Označení „agent“ zde přitom neznamená, že každou činnost provádí jazykový model. Referenční implementace kombinuje Azure AI Document Intelligence a strukturovanou extrakci pomocí Azure OpenAI s deterministickými komponentami pro porovnání údajů, pravidla, rizika, předání výsledku a audit.

To je důležitý detail. Více agentů automaticky neznamená větší autonomii.

Model nemusí řídit celý postup

Při návrhu agentní aplikace lze snadno sklouznout k představě, že model dostane cíl, nástroje a odpovědnost za celý proces. Sám si vybere, co zkontroluje, koho zapojí a kdy skončí.

Pro otevřené úlohy může být taková volnost užitečná. U schvalovacího procesu ale často předem víme, které kroky musí proběhnout. Kontrola povinných příloh nebo schválení oprávněnou osobou nemají záviset na tom, zda je model v konkrétním běhu považuje za nezbytné.

Dokumentace Microsoft Agent Framework proto rozlišuje, kdo má v jednotlivých krocích rozhodovat: model, běžná aplikační logika, nebo člověk. Workflow určuje strukturu, pořadí a kontrolní body. AI pracuje uvnitř vymezených částí tohoto postupu.

Podobné rozlišení používá Anthropic v článku Building effective agents. Workflow vede modely a nástroje předem definovanými cestami. U autonomního agenta naopak model dynamicky řídí postup a používání nástrojů.

Z tohoto pohledu je pro mě ARIA především příkladem řízeného workflow se specializovanými komponentami. Jeho hodnota spočívá v tom, že model nemusí mít všude volnost.

Pravidla mimo model mají konkrétní význam

ARIA odděluje pravděpodobnostní extrakci od deterministického vyhodnocování politik a rizikového skóre. Pravidla, normalizace údajů a rizikové parametry jsou součástí doménové konfigurace.

Praktický význam lze ukázat na ilustrativním příkladu kontroly dodavatelských podkladů.

AI získá z faktury, osvědčení a deklarace identifikátory zásilky a relevantní data. Navazující logika sjednotí jejich formát a porovná hodnoty. Definované pravidlo pak určí, že chybějící povinný doklad nebo nesoulad identifikátoru vyžaduje další posouzení. Člověk dostane konkrétní nález a podklady, ze kterých vznikl.

Model zde pomáhá převést různé dokumenty do zpracovatelné formy. Nemá oprávnění rozhodnout, že tentokrát lze povinný doklad vynechat.

Deterministické vyhodnocení ale nezaručuje správný výsledek. Pravidlo může být chybné, zastaralé nebo může pracovat s nesprávně vytěženou hodnotou. Předvídatelnost provedení není totéž co správnost podkladů.

ARIA proto podle dokumentace validuje výstupy modelu, používá prahy důvěryhodnosti a kvality dokumentů, hledá chybějící nebo konfliktní údaje a nejisté případy předává člověku. Důležitá je právě návaznost těchto kontrol. Samotný pravidlový modul chybu na vstupu neodstraní.

Audit musí ukázat cestu od podkladu k výsledku

U běžné odpovědi chatbota může stačit přečíst výstup. U firemního rozhodnutí potřebujeme rekonstruovat, jak výsledek vznikl.

ARIA popisuje dohledatelnost nálezů ke zdrojovým podkladům, deterministickým pravidlům, složkám rizika, verzím modelu a politik, časovým údajům a zásahům posuzovatele. Člověk může doporučení změnit a zaznamenat důvod.

Pro vlastní implementaci bych z toho odvodil jednoduchý požadavek: u každého významného nálezu musí být možné projít cestu zpět ke konkrétnímu údaji a jeho zdroji.

Plynulé slovní vysvětlení samo o sobě nestačí. Posuzovatel potřebuje ověřit, zda doporučení skutečně odpovídá podkladům a použitým pravidlům. Stejné informace potřebuje také vlastník procesu při hledání chyb nebo při vyhodnocování změn.

Schvalování člověkem není automatická pojistka

Formulace „finální rozhodnutí dělá člověk“ zní uklidňujícím způsobem. Její hodnota však závisí na tom, jak je lidská kontrola navržena.

Článek 14 evropského AI Actu u vysoce rizikových systémů výslovně pracuje s rizikem automatického nebo nadměrného spoléhání na výstup AI, tedy s automation bias. Požaduje také možnost výstup správně interpretovat, ignorovat, změnit či zvrátit a do fungování systému zasáhnout nebo jej bezpečně zastavit. Dohled má odpovídat riziku, míře autonomie a kontextu použití.

Pro návrh procesu z toho plyne více než jen přidání tlačítka „Schválit“.

Doporučil bych posuzovateli zpřístupnit původní důkazy vedle doporučení, výrazně zobrazit rozpory a nejistotu a umožnit vrácení případu k doplnění. Součástí ověřování procesu by měly být také připravené testovací případy s již známými chybami. Ty mohou ukázat, zda kontrola chyby skutečně zachytí.

Měřit bych proto doporučil nejen rychlost vyřízení a počet schválení, ale také přehlédnuté chyby, důvody změn doporučení a objem následných oprav.

To jsou doporučení pro návrh provozu, nikoli doložené výsledky ARIA. Záznam o schválení prokazuje, že člověk provedl daný úkon. Sám neprokazuje účinný dohled.

Co si z ARIA vzít do vlastního projektu

Nezačínal bych otázkou, kolik agentů potřebujeme. Nejdříve bych popsal rozhodovací proces a u každého kroku určil:

Úlohu AI: kterou část nelze rozumně vyřešit běžným kódem a podle čeho ověříme její výstup.
Závaznou kontrolu: které podmínky musí systém vynutit nezávisle na modelu.
Rozhodovací pravomoc: kdo smí případ schválit, odmítnout nebo vrátit.
Chování při nejistotě: co nastane při chybějících podkladech, rozporu nebo selhání služby.
Důkazy o průběhu: co potřebujeme uchovat pro kontrolu a opravu.

Teprve potom má smysl vybírat orchestraci a technické komponenty. V dokumentaci Microsoftu Agent Framework doporučuje nejprve vyzkoušet jednodušší postupy.

ARIA je v tomto směru užitečnou referencí, nikoli důkazem připravenosti konkrétního firemního řešení. Hostované demo je výslovně označeno jako průběžná ukázka, ne produkční služba. Dokumentace před produkčním použitím vyžaduje lidský dohled, vyhodnocení zkreslení, posouzení ochrany soukromí, bezpečnostní testování, průběžné monitorování a regulatorní schválení.

Na projektu mě tedy nejvíc zajímá přenositelný princip: AI dostává vymezenou práci uvnitř procesu, jehož pravidla a odpovědnosti zůstávají explicitní.

Chatbot může být jeho uživatelským rozhraním. Důvěryhodnost ale vzniká tím, co systém dovolí provést, jak ověří podklady a jak umožní člověku skutečně rozhodnout.