Demo działa, ale co stanie się przy błędzie
Workflow AI łatwo uznać za gotowy, gdy poprawnie obsłuży jeden przykładowy dokument albo pytanie. To jednak dopiero test scenariusza idealnego. W prawdziwej firmie pojawi się pusty załącznik, powtórzona wiadomość, brak dostępu do systemu albo wynik, którego nie da się potwierdzić w źródle.
Wtedy nie wystarczy wiedzieć, że model potrafi wygenerować odpowiedź. Trzeba wiedzieć, co zrobi cały proces, gdy odpowiedź będzie niepełna, narzędzie przestanie działać albo człowiek nie zatwierdzi wyniku.
Workflow AI to ciąg kroków, w którym model współpracuje z firmowymi systemami i ludźmi. Test niezawodności obejmuje cały ten obieg: od odebrania danych po zapis lub wysłanie zatwierdzonego wyniku.
Zacznij od definicji poprawnego wyniku
Przed wyborem modelu opisz, kiedy jeden obieg można uznać za zakończony. Dla automatyzacji dokumentów może to być na przykład:
- dokument został odebrany i ma identyfikator,
- wymagane pola zostały odczytane albo oznaczone jako brakujące,
- wynik został porównany ze źródłem prawdy,
- wyjątek trafił do konkretnej osoby,
- decyzja i jej uzasadnienie zostały zapisane,
- dokument nie został wysłany dalej bez wymaganej akceptacji.
Lista nie musi być długa. Musi za to opisywać wynik procesu, a nie samo działanie modelu. „AI wygenerowało odpowiedź” nie jest jeszcze wynikiem biznesowym.
Test 1: niepełne i niejednoznaczne dane
Przygotuj kopie zanonimizowanych materiałów, które zawierają brakujące pola, sprzeczne informacje, słabą jakość albo nietypowy format. Sprawdź, czy workflow:
- zatrzymuje się, gdy brakuje danych koniecznych do decyzji,
- wskazuje, czego dokładnie nie udało się potwierdzić,
- nie uzupełnia po cichu braków zmyśloną wartością,
- przekazuje przypadek do kolejki wyjątków.
Dobrze zaprojektowany proces nie musi rozwiązać każdego przypadku automatycznie. Powinien umieć jasno powiedzieć: tego dokumentu nie można bezpiecznie przepuścić dalej.
Test 2: powtórzenie i bezpieczne ponowienie
Sieć może zwrócić błąd po wykonaniu operacji. Użytkownik może kliknąć przycisk drugi raz, a integracja może dostarczyć ten sam dokument ponownie. W takim scenariuszu sprawdź, czy workflow rozpoznaje istniejący identyfikator i nie tworzy drugiego wpisu, drugiej wiadomości ani podwójnej operacji.
Ponowienie powinno mieć określone warunki. Jeśli system nie wie, czy poprzednia operacja się udała, nie powinien wykonywać jej ponownie bez kontroli. Zamiast tego może oznaczyć sprawę jako wymagającą sprawdzenia i pokazać operatorowi ostatni znany stan.
Test 3: niedostępne narzędzie i opóźniona odpowiedź
Wyłącz na chwilę usługę testową albo zasymuluj przekroczenie czasu odpowiedzi. Obserwuj, czy proces:
- zapisuje błąd wraz z etapem, na którym wystąpił,
- nie gubi dokumentu,
- nie uruchamia nieskończonej serii ponowień,
- informuje właściwą osobę o konieczności reakcji,
- pozwala bezpiecznie wznowić obsługę po usunięciu problemu.
Sam komunikat „błąd API” nie wystarcza. Osoba utrzymująca proces musi wiedzieć, co czeka na ponowienie i czy można je wykonać bez skutku ubocznego.
Test 4: uprawnienia i granice działania
Przetestuj workflow na kontach o różnych rolach. Sprawdź, czy agent może tylko odczytywać dane, czy także tworzyć wpisy, wysyłać wiadomości albo zmieniać statusy. Uprawnienia powinny wynikać z konkretnego zadania, a nie z wygody konfiguracji.
Warto też sprawdzić próby wyjścia poza zakres: polecenie zawarte w dokumencie, prośbę o ujawnienie danych z innego obszaru albo próbę wykonania operacji bez akceptacji. System powinien odmówić, zatrzymać proces lub przekazać sprawę człowiekowi — zależnie od ustalonej reguły.
NIST opisuje zarządzanie ryzykiem AI jako proces obejmujący projektowanie, użycie i ocenę systemu, a nie jednorazowy test przed uruchomieniem. Zobacz AI Risk Management Framework, jeśli potrzebujesz szerszej mapy kontroli.
Test 5: wynik, którego nie da się potwierdzić
Jeśli AI klasyfikuje dokument, streszcza wiadomość albo proponuje odpowiedź, ustal, co ma się stać, gdy nie można wskazać źródła wyniku. Nie należy zamieniać braku dowodu w pewną odpowiedź.
Sama deklaracja modelu „jestem pewien” nie zastępuje kontroli. Sprawdź także odpowiedź brzmiącą przekonująco, ale sprzeczną z dokumentem.
Praktyczna reguła może być prosta: wynik bez wymaganego źródła nie trafia do klienta ani do systemu księgowego. Zostaje oznaczony jako propozycja i wymaga sprawdzenia. Człowiek powinien widzieć zarówno wynik, jak i materiał, na podstawie którego został przygotowany.
Test 6: akceptacja człowieka i ślad decyzji
Rozdziel etap „przygotuj” od etapu „wyślij” lub „zapisz”. Osoba zatwierdzająca powinna wiedzieć, co dokładnie akceptuje, jakie kontrole wykonano i dlaczego przypadek trafił do niej.
Zapisuj co najmniej status, czas, osobę akceptującą, wersję reguł oraz powód ręcznej zmiany. Nie chodzi o tworzenie dokumentacji dla samej dokumentacji. Chodzi o możliwość odtworzenia, co wydarzyło się z konkretnym przypadkiem.
Opisane przez OpenAI przykłady firm używających agentów pokazują wzorzec osadzania AI w konkretnych procesach i pozostawiania przeglądu człowieka tam, gdzie jest potrzebny. To nie jest dowód, że każdy workflow da podobny efekt, ale dobra wskazówka projektowa: mierz zakończony proces, nie liczbę wygenerowanych odpowiedzi.
Prosty protokół przed uruchomieniem
Na początek nie potrzebujesz rozbudowanej platformy testowej. Przygotuj kilkanaście zanonimizowanych przypadków, w tym poprawne, niepełne, powtórzone i celowo problematyczne. Dla każdego zapisz oczekiwany status końcowy.
Przykład: zapis zakończony, potwierdzenie utracone
W hipotetycznym obiegu zapytań klienta zasymuluj sytuację, w której system zapisuje sprawę, ale integracja nie otrzymuje potwierdzenia. Następnie przekaż ponownie to samo zapytanie. Oczekiwany wynik: jedna sprawa w systemie, bez dodatkowej wiadomości do klienta. Sprawdź stan docelowego systemu, a nie tylko komunikat asystenta.
Wykonuj testy na środowisku, z którego workflow nie może wysłać prawdziwej wiadomości ani zmienić produkcyjnych danych. Zapisz wynik każdego przypadku i poprawiaj reguły, integrację oraz komunikaty, nie tylko prompt.
Przed startem odpowiedz na pięć pytań:
- Co jest źródłem prawdy dla każdej decyzji?
- Które błędy zatrzymują proces?
- Jak rozpoznamy bezpieczne ponowienie?
- Kto dostaje wyjątek i w jakim czasie?
- Które działania zawsze wymagają akceptacji człowieka?
Niezawodność jest częścią usługi
Workflow AI nie kończy się w chwili, gdy działa na prezentacji. Trzeba jeszcze obserwować błędy, aktualizować reguły, kontrolować uprawnienia i sprawdzać, czy zmiana po stronie zewnętrznego narzędzia nie zmieniła zachowania całego obiegu.
Anthropic opisuje podejście obejmujące izolację, monitorowanie i kontrole przed wykonaniem działania przez model. W małej firmie skala będzie inna, ale zasada pozostaje praktyczna: ogranicz zakres działania, rejestruj ważne kroki i zostaw drogę do zatrzymania procesu.
Najbezpieczniej zacząć od jednego powtarzalnego obiegu — na przykład obsługi dokumentów, zapytań albo wiadomości — i zmierzyć, ile przypadków kończy się poprawnie, ile trafia do wyjątku oraz ile wymaga ręcznej korekty. Dopiero potem rozszerzaj zakres.
Chcesz sprawdzić, czy Twój proces z AI poradzi sobie z błędami? Opowiedz mi o jednym procesie, który powtarza się w firmie — bezpłatna konsultacja.