Testowanie i ciągłe doskonalenie agentów
Agent to nie projekt z datą zakończenia. To produkt, który zmienia się co tydzień, więc potrzebuje testów, szkiców, wersji i możliwości cofnięcia. Jak każdy porządny software.
Największa zmiana w dojrzałych wdrożeniach to podejście do jakości. Kiedyś „test” oznaczał kilka rozmów kierownika z botem przed startem. Dziś agent ma zestaw scenariuszy, które uruchamiają się po każdej zmianie instrukcji, wiedzy czy narzędzi, a zmiany trafiają do klientów dopiero, gdy testy przechodzą.
Testy Q&A z symulowanym klientem
W X-TALK scenariusz testowy opisuje sytuację i oczekiwane zachowanie, np. „Klient chce leasing dla osoby prywatnej: agent wyjaśnia ofertę i nie obiecuje decyzji kredytowej”. Podczas testu AI odgrywa klienta, agent prowadzi rozmowę (na czacie albo głosem), a „sędzia” AI ocenia, czy zachowanie spełnia kryteria. Narzędzia, które coś zapisują, są w testach symulowane.
Scenariusze z mapy intencji
Po jednym-dwóch na każdą intencję, plus przypadki graniczne: brak zgody na kontakt, klient bez danych, prośba o człowieka, próba wyciągnięcia instrukcji.
AI proponuje scenariusze
Copilot sam zaproponuje zestaw testów na podstawie instrukcji, wiedzy i narzędzi agenta. Ty wybierasz i doprecyzowujesz.
Kilka powtórzeń
Model nie odpowiada identycznie za każdym razem. Uruchom scenariusz 3×. Jeśli przechodzi raz na trzy, to nie jest „zielony”.
Laboratorium rozmów pozwala porównać warianty agenta (np. dwie wersje instrukcji albo dwa modele) na tych samych scenariuszach, a test na czacie kosztuje ok. grosz za rozmowę, więc nie ma powodu, żeby nie testować.
Copilot agenta: zmiany w szkicu, nie na produkcji
Zamiast ręcznie edytować prompt, piszesz Copilotowi, co ma się zmienić: „agent za szybko proponuje konsultanta”, „dodaj pytanie o numer zamówienia”, „opisz w instrukcji nowe narzędzia”. Copilot przygotowuje zmiany w szkicu z wyjaśnieniem „dlaczego” i widokiem przed/po. Agent na żywo działa bez zmian, dopóki nie klikniesz „Zastosuj”, a przed tym możesz uruchomić testy na szkicu.
Każda wersja instrukcji zostaje w historii zmian: można porównać i przywrócić poprzednią. To samo dotyczy narzędzi własnych.
Od złej rozmowy do poprawki w 5 minut
Najcenniejsze źródło poprawek to prawdziwe rozmowy. W X-TALK możesz otworzyć konkretną rozmowę w kontekście Copilota i napisać, co Ci się nie podobało. Copilot widzi zapis rozmowy z czasem, wywołania narzędzi z argumentami i wynikami, użyte fragmenty wiedzy i błędy, stawia diagnozę i proponuje poprawkę razem z nowym scenariuszem testowym, który odtwarza problem.
- 1Zła rozmowaz hotspotu, oceny klienta lub odsłuchu
- 2DiagnozaCopilot wskazuje turę, regułę i przyczynę
- 3Poprawka w szkicuinstrukcja, wiedza lub narzędzie
- 4Nowy scenariusztest odtwarzający problem
- 5Testy przechodzązastosuj; wpis w historii zmian
Dla najbardziej wymagających wdrożeń debugger rozmowy pokazuje, jakie informacje i źródła wpłynęły na odpowiedź, które narzędzia zostały użyte i co warto poprawić. Ten sam mechanizm jest dostępny z zewnątrz przez MCP (rozdział 23), np. scenariusz „Dlaczego agent nie odpowiedział”.
Gotowy na następny krok?
Opisz swoją firmę w darmowym Copilocie na x-talk.me. W kilka minut zobaczysz własnego agenta na czacie i przez telefon. Albo porozmawiajmy o tym, jak centrum komunikacji AI może wyglądać u Ciebie.
+48 732 106 896 · x-talk.me