Agenci AI i modele językowe

Halucynacje AI: jak ich unikać? ugruntuj odpowiedź w źródle i przetestuj odmowę

Halucynacja nie jest usterką, którą usuwa się poprawką. To ryzyko operacyjne: model przewiduje kolejny fragment tekstu, a nie sprawdza faktu, więc brzmi tak samo pewnie, gdy wie, i gdy zgaduje. Poniżej to, co je zbija: odpowiedź z danych firmy ze wskazanym źródłem, zaprojektowana odmowa i test, który zrobisz w jeden dzień.

8 minut czytania

5 do 10 sekundtyle trwa odpowiedź agenta złożona z danych firmy, razem ze wskazaniem źródła, po którym da się ją sprawdzić
20 pytańzestaw kontrolny przed produkcją: 10 z odpowiedzią w danych i 10 bez odpowiedzi, żeby sprawdzić, czy agent odmówi
0,02 do 0,30 złkoszt jednego zapytania do modelu, płacony dostawcy bezpośrednio; sprawdzanie drugim modelem podwaja tę pozycję
30 i 90 dnikiedy powtarzamy ten sam zestaw pytań, bo zmiana modelu albo źródła zmienia zachowanie agenta

Krótka odpowiedź

Jak unikać halucynacji AI w firmie?

Nie da się ich wyzerować, da się nimi zarządzać. Model liczy, jaki fragment tekstu jest najbardziej prawdopodobny po tym, co już napisał; nie ma w środku bazy faktów ani sygnału „tego nie wiem”. Traktuj to jak każde ryzyko błędu w procesie: ograniczasz je technicznie i wpisujesz w procedurę, kto sprawdza.

Środek zaradczy numer jeden: agent odpowiada z danych firmy i pokazuje, skąd wziął odpowiedź. Zamiast pytać model o wiedzę ogólną, pobierasz rekord z CRM, fakturę albo fragment dokumentu i dopiero z tego powstaje zdanie. Odpowiedź bez źródła traktuj jak niesprawdzoną.

Numer dwa: zachowanie „nie wiem” ustawia się celowo i testuje. Przed produkcją zadajesz agentowi pytania, na które w danych odpowiedzi nie ma, i liczysz odmowy. Do tego dzielisz zastosowania: wyszukiwanie wewnętrzne idzie bez nadzoru, oferta do klienta ma przed sobą człowieka.

Dlaczego model językowy wymyśla fakty?

Model przewiduje tekst. Zdanie prawdziwe i zmyślone powstają u niego tym samym mechanizmem, więc oba brzmią równie gładko i dostają ten sam pewny ton. W środku nie ma bazy prawdy ani miernika własnej pewności.

Im węższa dziedzina i im rzadsze dane w treningu, tym większa szansa, że model wypełni lukę czymś prawdopodobnym: numerem paragrafu, nazwą produktu albo liczbą, która pasuje do zdania. Jak firmy używają modeli na co dzień, opisujemy w poradniku LLM w biznesie.

Model przewiduje tekst, nie sprawdza faktu: nie ma czego odpytać ani czym zaprzeczyć
Brak sygnału pewności: odmowę trzeba narzucić instrukcją i sprawdzić testem
Luki w danych treningowych model wypełnia treścią prawdopodobną, nie prawdziwą
Wyższa losowość doboru słów (parametr temperature) daje więcej zmyśleń, więc ustawiamy ją blisko zera

Czym różni się odpowiedź z danych firmy od odpowiedzi z wiedzy modelu?

To jest podział, który decyduje o ryzyku. Pytanie „ile faktur wystawiliśmy w sierpniu” ma odpowiedź w Twoim systemie: agent ją pobiera i przepisuje. Pytanie „jaki jest termin przedawnienia roszczenia” odpowiedzi w danych nie ma, więc model sięga po wiedzę ogólną i tam zaczyna się kłopot.

Dlatego agent na danych firmy jest bezpieczniejszy od czatu w przeglądarce: odpowiada z podłączonych systemów, wskazuje źródło i mówi wprost, gdy odpowiedzi nie ma. Mechanizm opisujemy na stronie Agent AI na danych firmy.

Rodzaj pytania	Skąd bierze się odpowiedź	Co zbija ryzyko
Liczby z systemu: faktury, zamówienia, szanse w CRM	zapytanie do systemu w momencie pytania	wskazany rekord i filtr, po którym da się to sprawdzić
Treść dokumentu: umowa, oferta, procedura	fragment pliku podany modelowi z pytaniem	cytat i nazwa pliku obok odpowiedzi
Podsumowanie albo przeredagowanie tekstu	materiał, który sam dałeś modelowi	porównanie z oryginałem, ryzyko najniższe w tabeli
Wiedza ogólna: prawo, podatki, rynek	wiedza modelu z treningu	temat poza zakresem agenta albo odpowiedź specjalisty
Pytanie o dane, których nie podłączono	brak źródła	odmowa: nie mam tego w podłączonych źródłach

Ten podział zrób przed wdrożeniem, na prawdziwych pytaniach zespołu. Zwykle gros z nich ma odpowiedź w systemie, a ryzyko siedzi w dwóch ostatnich wierszach.

Jak ugruntować odpowiedź w źródle?

Ugruntowanie znaczy tyle: model odpowiada nie z pamięci, tylko z materiału dostarczonego w tym samym zapytaniu. Najpierw wyszukanie rekordu albo fragmentu dokumentu, potem odpowiedź wyłącznie z niego, na końcu wskazanie źródła.

Ta ostatnia część jest ważniejsza niż sama technika pobierania danych. Odpowiedź z nazwą systemu, numerem dokumentu i datą odczytu sprawdzisz w kilkanaście sekund. Bez tego trzeba sprawdzać od zera, więc nikt tego nie robi.

Wyszukanie przed odpowiedzią: agent najpierw pyta system, dopiero potem pisze zdanie
Instrukcja zawężająca: odpowiadaj wyłącznie z materiału poniżej, bez uzupełniania z wiedzy ogólnej
Każda liczba z etykietą: system, tabela, numer dokumentu, data odczytu
Cytat zamiast parafrazy tam, gdzie liczy się brzmienie zapisu
Świeżość: agent podaje moment odczytu, bo wczorajszy stan magazynu też jest odpowiedzią nieprawdziwą

Kiedy agent AI ma powiedzieć „nie wiem”?

Zawsze, gdy w podłączonych źródłach nie ma odpowiedzi. Brzmi banalnie, a jest najczęściej pomijanym ustawieniem: model woli odpowiedzieć cokolwiek, niż przyznać się do braku. Odmowa to zachowanie, które projektujesz i sprawdzasz testem, nie efekt uboczny dobrego promptu.

Odmowa ma być użyteczna, nie ma być ścianą. Dobra brzmi tak: nie mam tego w podłączonych źródłach, marżami dysponuje dział finansów, mogę pokazać przychód za ten sam okres.

Instrukcja systemowa: brak danych w źródle znaczy odmowa, nie próba złożenia odpowiedzi
Odmowa nazywa, czego brakuje, i podpowiada, kto ma te dane
Odmowy trafiają do logu: to gotowa lista brakujących integracji na kolejny kwartał
Pytanie spoza uprawnień pytającego też kończy się odmową, nie odpowiedzią z cudzych danych

Gdzie wolno zaufać automatowi, a gdzie musi być człowiek?

Granicę wyznacza skutek błędnej odpowiedzi, nie trudność zadania. Pytanie, przy którym pomyłka kosztuje minutę zdziwienia, może iść bez nadzoru. Zdanie, które wychodzi do klienta albo na zarząd, ma przed sobą osobę, która je zatwierdza.

Część granicy wynika z przepisów. AI Act, rozporządzenie 2024/1689, wymaga w art. 50, żeby człowiek wiedział, że rozmawia z systemem AI, a obszary z załącznika III, na przykład rekrutacja, to systemy wysokiego ryzyka.

Druga strona tej decyzji to zakres dostępu i log wywołań: bez nich nie ustalisz, skąd agent wziął dane. Opisujemy to w poradniku bezpieczeństwo agenta AI.

Zastosowanie	Kto zatwierdza odpowiedź	Dlaczego tak
Wewnętrzne pytanie o dane z systemu	nikt, wystarczy wskazane źródło	błąd widać od razu, koszt to minuta
Projekt oferty albo maila do klienta	handlowiec, zawsze przed wysyłką	cena i zakres wychodzą na zewnątrz firmy
Liczba w raporcie dla zarządu	osoba odpowiedzialna za raport	liczba bez pokrycia wchodzi wprost do decyzji
Sprawa prawna, podatkowa, kadrowa	specjalista, agent tylko wyszukuje materiał	koszt pomyłki jest nieproporcjonalny
Operacja na danych: faktura, wysyłka, wpis w CRM	człowiek potwierdza akcję	błędna odpowiedź staje się błędnym zdarzeniem

Ten sam podział pokazuje, gdzie model nie jest potrzebny: część pytań o stan systemu obsłuży zwykły raport, bez ryzyka zmyślenia.

Jak sprawdzić u siebie, czy agent AI halucynuje?

Testem, nie wrażeniem. Zestaw pytań układa zespół, który będzie z agenta korzystał, a nie osoba, która go zbudowała. Połowa pytań ma odpowiedź w danych, połowa nie ma jej wcale i to ta druga połowa jest właściwym testem.

Zestaw dwudziestu pytań
Spisz 20 prawdziwych pytań zespołu: 10 z odpowiedzią w podłączonych danych i 10 bez. Do drugiej dziesiątki wrzuć pytania o dane, których nie podłączyłeś, i o okresy sprzed wdrożenia.
Odpowiedzi wzorcowe
Do pierwszej dziesiątki dopisz poprawną odpowiedź z systemu razem z miejscem odczytu. Bez tego nie rozstrzygniesz, czy pomylił się agent, czy sprawdzający.
Przebieg i ocena
Zadaj wszystkie 20 pytań i oceń odpowiedzi w trzech kategoriach: zgodna ze źródłem, odmowa, zmyślona. Zmyślona odpowiedź w drugiej dziesiątce to błąd krytyczny, bo tam agent miał odmówić.
Powtórka po 30 i 90 dniach
Ten sam zestaw uruchamiasz po miesiącu i po kwartale, dokładając pytania, które sprawiły kłopot. Zmiana modelu, instrukcji albo źródła to osobny powód do powtórki.

Co robić po wykryciu błędnej odpowiedzi?

Najpierw ustal, czy to halucynacja, czy dane. Agent, który poprawnie odczytał nieaktualny arkusz, niczego nie zmyślił: problem siedzi w źródle. To rozróżnienie decyduje, czy poprawiasz instrukcję, czy porządkujesz pliki.

Potem zapisz przypadek, zanim ktoś opowie go na korytarzu. Jedna błędna odpowiedź bez wyjaśnienia kasuje zaufanie szybciej, niż sto poprawnych je buduje.

Zabezpiecz ślad: pytanie, odpowiedź, wskazane źródło, znacznik czasu
Rozstrzygnij przyczynę: brak danych, złe źródło czy zbyt szeroka instrukcja
Popraw najwęższą warstwę: częściej to filtr albo dokument, rzadziej sam model
Dopisz to pytanie do zestawu kontrolnego, żeby błąd nie wrócił po kolejnej zmianie
Powiedz zespołowi, co się stało i co poprawiono; cisza kosztuje więcej niż sam błąd

Najczęstsze błędy

Pięć błędów, po których halucynacja wychodzi dopiero na produkcji

Pilotaż wyłącznie na pytaniach, które mają odpowiedź
Agent wygląda na bezbłędnego, bo nikt nie sprawdził, jak zachowa się bez danych. Pierwsza zmyślona liczba pada przy prawdziwej decyzji.
Odpowiedź bez wskazania źródła
Weryfikacja jednej liczby zajmuje pół godziny, więc nikt jej nie robi. Błąd wyłapuje ktoś, kto zna tę liczbę z pamięci, zwykle na zarządzie.
Instrukcja „nie zmyślaj” zamiast ugruntowania w danych
Instrukcja obniża częstość, nie zmienia mechanizmu: model dalej przewiduje tekst. Bez pobrania danych z systemu ryzyko zostaje tam, gdzie było.
Baza wiedzy z nieaktualnych plików
Odpowiedzi są poprawnie ugruntowane i nieprawdziwe zarazem. Najtrudniejszy przypadek, bo źródło jest wskazane i wygląda wiarygodnie.
Zatwierdzanie przez człowieka wszystkiego, bez wyjątku
Kontrola zjada zysk z automatyzacji, a po dwóch tygodniach zamienia się w klikanie „akceptuj” bez czytania. Nadzór kieruj tam, gdzie błąd boli.

Lista kontrolna

Lista kontrolna przed wpuszczeniem agenta AI na produkcję

Punkt na „nie” nie wstrzymuje projektu, tylko wchodzi na listę do zamknięcia przed startem.

Pytania zespołu podzielone na te z odpowiedzią w danych i te z wiedzy modelu
Agent pobiera dane w momencie pytania, zamiast odpowiadać z pamięci modelu
Każda odpowiedź wskazuje system, dokument albo filtr oraz datę odczytu
Odmowa „nie mam tego w podłączonych źródłach” ustawiona i sprawdzona testem
Zestaw 20 pytań kontrolnych, w tym 10 bez odpowiedzi w danych, z wynikiem na piśmie
Lista zastosowań, w których odpowiedź zatwierdza człowiek
Procedura po błędzie: ślad, przyczyna, poprawka, komunikat do zespołu
Powtórka testu po 30 i 90 dniach wpisana do kalendarza

Źródła

Warsztat

Granicę między odpowiedzią a zgadywaniem ustawia się przed startem

Na bezpłatnej konsultacji (30 minut) bierzemy dwadzieścia prawdziwych pytań Twojego zespołu i dzielimy je na te z odpowiedzią w Waszych danych i te, przy których agent ma odmówić. Jeśli danych nie ma, powiemy to od razu. Warsztat procesowy kosztuje 2500 zł netto za tydzień i kończy się listą źródeł, zestawem pytań kontrolnych i podziałem na to, co idzie bez nadzoru.

Umów bezpłatną konsultację

Najczęstsze pytania

Czy da się całkowicie wyeliminować halucynacje AI?

Nie. Model przewiduje tekst, a nie sprawdza faktu, więc ryzyko zostaje na stałe. Da się je zbić do poziomu, który ktoś akceptuje na piśmie: odpowiedź z danych firmy, wskazane źródło, zaprojektowana odmowa i człowiek tam, gdzie błąd boli.

Czym jest ugruntowanie odpowiedzi w źródle?

To sposób pracy, w którym agent najpierw pobiera właściwy rekord albo fragment dokumentu, a dopiero potem model składa z niego odpowiedź. Bywa nazywany RAG. Kluczowa jest druga część: przy odpowiedzi stoi system, numer dokumentu i data odczytu.

Jak zmusić agenta AI, żeby powiedział „nie wiem”?

Instrukcją systemową, która mówi wprost: brak danych w podłączonym źródle znaczy odmowa. Potem trzeba to przetestować dziesięcioma pytaniami bez odpowiedzi w danych. Dobra odmowa nazywa brakujące źródło i podpowiada, kto w firmie ma te dane.

Jak sprawdzić, czy agent AI halucynuje na naszych danych?

Zestawem 20 prawdziwych pytań: 10 z odpowiedzią w podłączonych systemach i 10 bez odpowiedzi. Do pierwszej dziesiątki przygotuj odpowiedzi wzorcowe. Oceniasz w trzech kategoriach: zgodna ze źródłem, odmowa, zmyślona. Test powtarzasz po 30 i 90 dniach.

Czy sprawdzanie odpowiedzi drugim modelem ma sens?

Ma przy odpowiedziach o wysokim koszcie błędu i kosztuje drugie wywołanie, czyli od 0,02 do 0,30 zł za zapytanie. Drugi model wychwytuje sprzeczność ze źródłem, ale sam też się myli, więc nie zastępuje człowieka.

Które zadania AI wymagają zatwierdzenia przez człowieka?

Te, w których błąd wychodzi na zewnątrz albo wchodzi do decyzji: oferta i mail do klienta, liczba w raporcie dla zarządu, sprawy prawne i kadrowe oraz każda operacja zmieniająca dane. Wewnętrzne pytanie o stan systemu może iść bez nadzoru.

Co zrobić, gdy agent AI podał klientowi błędną informację?

Zabezpiecz ślad: pytanie, odpowiedź, wskazane źródło i czas. Ustal, czy zawiódł model, czy dane były nieaktualne, bo to prowadzi do innej poprawki. Wyślij sprostowanie odbiorcy i dopisz to pytanie do zestawu kontrolnego.