--- title: "Halucynacje AI: jak ich unikać w firmie? | JustAutomate" description: "Dlaczego model wymyśla fakty, jak ugruntować odpowiedź w danych firmy, jak ustawić i przetestować odmowę oraz co robić po błędnej odpowiedzi." url: "https://justautomate.ai/poradnik/ai-halucynacje-jak-unikac/" lang: pl --- Agenci AI i modele językowe # Halucynacje AI: jak ich unikać? ugruntuj odpowiedź w źródle i przetestuj odmowę Halucynacja nie jest usterką, którą usuwa się poprawką. To ryzyko operacyjne: model przewiduje kolejny fragment tekstu, a nie sprawdza faktu, więc brzmi tak samo pewnie, gdy wie, i gdy zgaduje. Poniżej to, co je zbija: odpowiedź z danych firmy ze wskazanym źródłem, zaprojektowana odmowa i test, który zrobisz w jeden dzień. 8 minut czytania - 5 do 10 sekundtyle trwa odpowiedź agenta złożona z danych firmy, razem ze wskazaniem źródła, po którym da się ją sprawdzić - 20 pytańzestaw kontrolny przed produkcją: 10 z odpowiedzią w danych i 10 bez odpowiedzi, żeby sprawdzić, czy agent odmówi - 0,02 do 0,30 złkoszt jednego zapytania do modelu, płacony dostawcy bezpośrednio; sprawdzanie drugim modelem podwaja tę pozycję - 30 i 90 dnikiedy powtarzamy ten sam zestaw pytań, bo zmiana modelu albo źródła zmienia zachowanie agenta Krótka odpowiedź ## Jak unikać halucynacji AI w firmie? Nie da się ich wyzerować, da się nimi zarządzać. Model liczy, jaki fragment tekstu jest najbardziej prawdopodobny po tym, co już napisał; nie ma w środku bazy faktów ani sygnału „tego nie wiem”. Traktuj to jak każde ryzyko błędu w procesie: ograniczasz je technicznie i wpisujesz w procedurę, kto sprawdza. Środek zaradczy numer jeden: **agent odpowiada z danych firmy i pokazuje, skąd wziął odpowiedź.** Zamiast pytać model o wiedzę ogólną, pobierasz rekord z CRM, fakturę albo fragment dokumentu i dopiero z tego powstaje zdanie. Odpowiedź bez źródła traktuj jak niesprawdzoną. Numer dwa: zachowanie „nie wiem” ustawia się celowo i testuje. Przed produkcją zadajesz agentowi pytania, na które w danych odpowiedzi nie ma, i liczysz odmowy. Do tego dzielisz zastosowania: wyszukiwanie wewnętrzne idzie bez nadzoru, oferta do klienta ma przed sobą człowieka. ## Dlaczego model językowy wymyśla fakty? Model przewiduje tekst. Zdanie prawdziwe i zmyślone powstają u niego tym samym mechanizmem, więc oba brzmią równie gładko i dostają ten sam pewny ton. W środku nie ma bazy prawdy ani miernika własnej pewności. Im węższa dziedzina i im rzadsze dane w treningu, tym większa szansa, że model wypełni lukę czymś prawdopodobnym: numerem paragrafu, nazwą produktu albo liczbą, która pasuje do zdania. Jak firmy używają modeli na co dzień, opisujemy w poradniku [LLM w biznesie](https://justautomate.ai/poradnik/llm-w-biznesie/). - Model przewiduje tekst, nie sprawdza faktu: nie ma czego odpytać ani czym zaprzeczyć - Brak sygnału pewności: odmowę trzeba narzucić instrukcją i sprawdzić testem - Luki w danych treningowych model wypełnia treścią prawdopodobną, nie prawdziwą - Wyższa losowość doboru słów (parametr temperature) daje więcej zmyśleń, więc ustawiamy ją blisko zera **Uwaga.** Halucynacji nie widać w logu błędów. Wygląda jak poprawna odpowiedź, więc wychwytuje ją proces i wskazane źródło, nie monitoring. ## Czym różni się odpowiedź z danych firmy od odpowiedzi z wiedzy modelu? To jest podział, który decyduje o ryzyku. Pytanie „ile faktur wystawiliśmy w sierpniu” ma odpowiedź w Twoim systemie: agent ją pobiera i przepisuje. Pytanie „jaki jest termin przedawnienia roszczenia” odpowiedzi w danych nie ma, więc model sięga po wiedzę ogólną i tam zaczyna się kłopot. Dlatego agent na danych firmy jest bezpieczniejszy od czatu w przeglądarce: odpowiada z podłączonych systemów, wskazuje źródło i mówi wprost, gdy odpowiedzi nie ma. Mechanizm opisujemy na stronie [Agent AI na danych firmy](https://justautomate.ai/agent-ai/agent-ai-na-danych-firmy/). | Rodzaj pytania | Skąd bierze się odpowiedź | Co zbija ryzyko | | --------------------------------------------------- | ----------------------------------------- | ------------------------------------------------------ | | Liczby z systemu: faktury, zamówienia, szanse w CRM | zapytanie do systemu w momencie pytania | wskazany rekord i filtr, po którym da się to sprawdzić | | Treść dokumentu: umowa, oferta, procedura | fragment pliku podany modelowi z pytaniem | cytat i nazwa pliku obok odpowiedzi | | Podsumowanie albo przeredagowanie tekstu | materiał, który sam dałeś modelowi | porównanie z oryginałem, ryzyko najniższe w tabeli | | Wiedza ogólna: prawo, podatki, rynek | wiedza modelu z treningu | temat poza zakresem agenta albo odpowiedź specjalisty | | Pytanie o dane, których nie podłączono | brak źródła | odmowa: nie mam tego w podłączonych źródłach | Ten podział zrób przed wdrożeniem, na prawdziwych pytaniach zespołu. Zwykle gros z nich ma odpowiedź w systemie, a ryzyko siedzi w dwóch ostatnich wierszach. ## Jak ugruntować odpowiedź w źródle? Ugruntowanie znaczy tyle: model odpowiada nie z pamięci, tylko z materiału dostarczonego w tym samym zapytaniu. Najpierw wyszukanie rekordu albo fragmentu dokumentu, potem odpowiedź wyłącznie z niego, na końcu wskazanie źródła. Ta ostatnia część jest ważniejsza niż sama technika pobierania danych. Odpowiedź z nazwą systemu, numerem dokumentu i datą odczytu sprawdzisz w kilkanaście sekund. Bez tego trzeba sprawdzać od zera, więc nikt tego nie robi. - Wyszukanie przed odpowiedzią: agent najpierw pyta system, dopiero potem pisze zdanie - Instrukcja zawężająca: odpowiadaj wyłącznie z materiału poniżej, bez uzupełniania z wiedzy ogólnej - Każda liczba z etykietą: system, tabela, numer dokumentu, data odczytu - Cytat zamiast parafrazy tam, gdzie liczy się brzmienie zapisu - Świeżość: agent podaje moment odczytu, bo wczorajszy stan magazynu też jest odpowiedzią nieprawdziwą **Uwaga.** Baza wiedzy z nieaktualnych plików daje odpowiedzi poprawnie ugruntowane i nieprawdziwe zarazem. Zanim podłączysz dysk, ustal, która wersja procedury obowiązuje i kto ją pilnuje. ## Kiedy agent AI ma powiedzieć „nie wiem”? Zawsze, gdy w podłączonych źródłach nie ma odpowiedzi. Brzmi banalnie, a jest najczęściej pomijanym ustawieniem: model woli odpowiedzieć cokolwiek, niż przyznać się do braku. Odmowa to zachowanie, które projektujesz i sprawdzasz testem, nie efekt uboczny dobrego promptu. Odmowa ma być użyteczna, nie ma być ścianą. Dobra brzmi tak: nie mam tego w podłączonych źródłach, marżami dysponuje dział finansów, mogę pokazać przychód za ten sam okres. - Instrukcja systemowa: brak danych w źródle znaczy odmowa, nie próba złożenia odpowiedzi - Odmowa nazywa, czego brakuje, i podpowiada, kto ma te dane - Odmowy trafiają do logu: to gotowa lista brakujących integracji na kolejny kwartał - Pytanie spoza uprawnień pytającego też kończy się odmową, nie odpowiedzią z cudzych danych **Uwaga.** Zbyt ostra odmowa ma własny koszt: agent, który odsyła z kwitkiem przy co drugim pytaniu, przestaje być używany po dwóch tygodniach. Poziom ustawia się w pilotażu. ## Gdzie wolno zaufać automatowi, a gdzie musi być człowiek? Granicę wyznacza skutek błędnej odpowiedzi, nie trudność zadania. Pytanie, przy którym pomyłka kosztuje minutę zdziwienia, może iść bez nadzoru. Zdanie, które wychodzi do klienta albo na zarząd, ma przed sobą osobę, która je zatwierdza. Część granicy wynika z przepisów. AI Act, rozporządzenie 2024/1689, wymaga w art. 50, żeby człowiek wiedział, że rozmawia z systemem AI, a obszary z załącznika III, na przykład rekrutacja, to systemy wysokiego ryzyka. Druga strona tej decyzji to zakres dostępu i log wywołań: bez nich nie ustalisz, skąd agent wziął dane. Opisujemy to w poradniku [bezpieczeństwo agenta AI](https://justautomate.ai/agent-ai/agent-ai-bezpieczenstwo/). | Zastosowanie | Kto zatwierdza odpowiedź | Dlaczego tak | | ------------------------------------------------ | ------------------------------------------- | --------------------------------------------- | | Wewnętrzne pytanie o dane z systemu | nikt, wystarczy wskazane źródło | błąd widać od razu, koszt to minuta | | Projekt oferty albo maila do klienta | handlowiec, zawsze przed wysyłką | cena i zakres wychodzą na zewnątrz firmy | | Liczba w raporcie dla zarządu | osoba odpowiedzialna za raport | liczba bez pokrycia wchodzi wprost do decyzji | | Sprawa prawna, podatkowa, kadrowa | specjalista, agent tylko wyszukuje materiał | koszt pomyłki jest nieproporcjonalny | | Operacja na danych: faktura, wysyłka, wpis w CRM | człowiek potwierdza akcję | błędna odpowiedź staje się błędnym zdarzeniem | Ten sam podział pokazuje, gdzie model nie jest potrzebny: część pytań o stan systemu obsłuży zwykły raport, bez ryzyka zmyślenia. ## Jak sprawdzić u siebie, czy agent AI halucynuje? Testem, nie wrażeniem. Zestaw pytań układa zespół, który będzie z agenta korzystał, a nie osoba, która go zbudowała. Połowa pytań ma odpowiedź w danych, połowa nie ma jej wcale i to ta druga połowa jest właściwym testem. 1. ### Zestaw dwudziestu pytań Spisz 20 prawdziwych pytań zespołu: 10 z odpowiedzią w podłączonych danych i 10 bez. Do drugiej dziesiątki wrzuć pytania o dane, których nie podłączyłeś, i o okresy sprzed wdrożenia. 2. ### Odpowiedzi wzorcowe Do pierwszej dziesiątki dopisz poprawną odpowiedź z systemu razem z miejscem odczytu. Bez tego nie rozstrzygniesz, czy pomylił się agent, czy sprawdzający. 3. ### Przebieg i ocena Zadaj wszystkie 20 pytań i oceń odpowiedzi w trzech kategoriach: zgodna ze źródłem, odmowa, zmyślona. Zmyślona odpowiedź w drugiej dziesiątce to błąd krytyczny, bo tam agent miał odmówić. 4. ### Powtórka po 30 i 90 dniach Ten sam zestaw uruchamiasz po miesiącu i po kwartale, dokładając pytania, które sprawiły kłopot. Zmiana modelu, instrukcji albo źródła to osobny powód do powtórki. ## Co robić po wykryciu błędnej odpowiedzi? Najpierw ustal, czy to halucynacja, czy dane. Agent, który poprawnie odczytał nieaktualny arkusz, niczego nie zmyślił: problem siedzi w źródle. To rozróżnienie decyduje, czy poprawiasz instrukcję, czy porządkujesz pliki. Potem zapisz przypadek, zanim ktoś opowie go na korytarzu. Jedna błędna odpowiedź bez wyjaśnienia kasuje zaufanie szybciej, niż sto poprawnych je buduje. - Zabezpiecz ślad: pytanie, odpowiedź, wskazane źródło, znacznik czasu - Rozstrzygnij przyczynę: brak danych, złe źródło czy zbyt szeroka instrukcja - Popraw najwęższą warstwę: częściej to filtr albo dokument, rzadziej sam model - Dopisz to pytanie do zestawu kontrolnego, żeby błąd nie wrócił po kolejnej zmianie - Powiedz zespołowi, co się stało i co poprawiono; cisza kosztuje więcej niż sam błąd **Uwaga.** Jeśli błędna odpowiedź wyszła do klienta albo weszła do raportu, poprawka techniczna to połowa roboty. Druga to sprostowanie u odbiorcy, z datą i z tym, co było nie tak. Najczęstsze błędy ## Pięć błędów, po których halucynacja wychodzi dopiero na produkcji - Pilotaż wyłącznie na pytaniach, które mają odpowiedź Agent wygląda na bezbłędnego, bo nikt nie sprawdził, jak zachowa się bez danych. Pierwsza zmyślona liczba pada przy prawdziwej decyzji. - Odpowiedź bez wskazania źródła Weryfikacja jednej liczby zajmuje pół godziny, więc nikt jej nie robi. Błąd wyłapuje ktoś, kto zna tę liczbę z pamięci, zwykle na zarządzie. - Instrukcja „nie zmyślaj” zamiast ugruntowania w danych Instrukcja obniża częstość, nie zmienia mechanizmu: model dalej przewiduje tekst. Bez pobrania danych z systemu ryzyko zostaje tam, gdzie było. - Baza wiedzy z nieaktualnych plików Odpowiedzi są poprawnie ugruntowane i nieprawdziwe zarazem. Najtrudniejszy przypadek, bo źródło jest wskazane i wygląda wiarygodnie. - Zatwierdzanie przez człowieka wszystkiego, bez wyjątku Kontrola zjada zysk z automatyzacji, a po dwóch tygodniach zamienia się w klikanie „akceptuj” bez czytania. Nadzór kieruj tam, gdzie błąd boli. Lista kontrolna ## Lista kontrolna przed wpuszczeniem agenta AI na produkcję Punkt na „nie” nie wstrzymuje projektu, tylko wchodzi na listę do zamknięcia przed startem. - Pytania zespołu podzielone na te z odpowiedzią w danych i te z wiedzy modelu - Agent pobiera dane w momencie pytania, zamiast odpowiadać z pamięci modelu - Każda odpowiedź wskazuje system, dokument albo filtr oraz datę odczytu - Odmowa „nie mam tego w podłączonych źródłach” ustawiona i sprawdzona testem - Zestaw 20 pytań kontrolnych, w tym 10 bez odpowiedzi w danych, z wynikiem na piśmie - Lista zastosowań, w których odpowiedź zatwierdza człowiek - Procedura po błędzie: ślad, przyczyna, poprawka, komunikat do zespołu - Powtórka testu po 30 i 90 dniach wpisana do kalendarza Źródła ## Źródła 1. [Rozporządzenie 2024/1689 (AI Act): art. 50 o informowaniu, że rozmówcą jest system AI, oraz załącznik III z systemami wysokiego ryzyka](https://eur-lex.europa.eu/eli/reg/2024/1689/oj) 2. [Rozporządzenie 2016/679 (RODO): art. 5 ust. 1 lit. d, zasada prawidłowości danych osobowych](https://eur-lex.europa.eu/eli/reg/2016/679/oj) 3. [Anthropic, producent modeli Claude: dokumentacja i warunki korzystania z API](https://www.anthropic.com/) 4. [OpenAI: dokumentacja modeli i parametrów wywołania, w tym temperature](https://openai.com/) 5. [JustAutomate, Agent AI na danych firmy: jak wygląda odpowiedź ze wskazaniem źródła](https://justautomate.ai/agent-ai/agent-ai-na-danych-firmy/) Warsztat ## Granicę między odpowiedzią a zgadywaniem ustawia się przed startem Na bezpłatnej konsultacji (30 minut) bierzemy dwadzieścia prawdziwych pytań Twojego zespołu i dzielimy je na te z odpowiedzią w Waszych danych i te, przy których agent ma odmówić. Jeśli danych nie ma, powiemy to od razu. Warsztat procesowy kosztuje 2500 zł netto za tydzień i kończy się listą źródeł, zestawem pytań kontrolnych i podziałem na to, co idzie bez nadzoru. [Umów bezpłatną konsultację](https://justautomate.ai/kontakt/) ## Najczęstsze pytania Czy da się całkowicie wyeliminować halucynacje AI? Nie. Model przewiduje tekst, a nie sprawdza faktu, więc ryzyko zostaje na stałe. Da się je zbić do poziomu, który ktoś akceptuje na piśmie: odpowiedź z danych firmy, wskazane źródło, zaprojektowana odmowa i człowiek tam, gdzie błąd boli. Czym jest ugruntowanie odpowiedzi w źródle? To sposób pracy, w którym agent najpierw pobiera właściwy rekord albo fragment dokumentu, a dopiero potem model składa z niego odpowiedź. Bywa nazywany RAG. Kluczowa jest druga część: przy odpowiedzi stoi system, numer dokumentu i data odczytu. Jak zmusić agenta AI, żeby powiedział „nie wiem”? Instrukcją systemową, która mówi wprost: brak danych w podłączonym źródle znaczy odmowa. Potem trzeba to przetestować dziesięcioma pytaniami bez odpowiedzi w danych. Dobra odmowa nazywa brakujące źródło i podpowiada, kto w firmie ma te dane. Jak sprawdzić, czy agent AI halucynuje na naszych danych? Zestawem 20 prawdziwych pytań: 10 z odpowiedzią w podłączonych systemach i 10 bez odpowiedzi. Do pierwszej dziesiątki przygotuj odpowiedzi wzorcowe. Oceniasz w trzech kategoriach: zgodna ze źródłem, odmowa, zmyślona. Test powtarzasz po 30 i 90 dniach. Czy sprawdzanie odpowiedzi drugim modelem ma sens? Ma przy odpowiedziach o wysokim koszcie błędu i kosztuje drugie wywołanie, czyli od 0,02 do 0,30 zł za zapytanie. Drugi model wychwytuje sprzeczność ze źródłem, ale sam też się myli, więc nie zastępuje człowieka. Które zadania AI wymagają zatwierdzenia przez człowieka? Te, w których błąd wychodzi na zewnątrz albo wchodzi do decyzji: oferta i mail do klienta, liczba w raporcie dla zarządu, sprawy prawne i kadrowe oraz każda operacja zmieniająca dane. Wewnętrzne pytanie o stan systemu może iść bez nadzoru. Co zrobić, gdy agent AI podał klientowi błędną informację? Zabezpiecz ślad: pytanie, odpowiedź, wskazane źródło i czas. Ustal, czy zawiódł model, czy dane były nieaktualne, bo to prowadzi do innej poprawki. Wyślij sprostowanie odbiorcy i dopisz to pytanie do zestawu kontrolnego. ## Powiązane - [Agent AI na danych firmy](https://justautomate.ai/agent-ai/agent-ai-na-danych-firmy/) - [Bezpieczeństwo agenta AI](https://justautomate.ai/agent-ai/agent-ai-bezpieczenstwo/) - [LLM w biznesie](https://justautomate.ai/poradnik/llm-w-biznesie/) - [Jak wdrożyć agenta AI](https://justautomate.ai/poradnik/jak-wdrozyc-agenta-ai/) - [BOND: firmowy agent AI](https://justautomate.ai/uslugi/bond-firmowy-agent-ai/) - [Warsztat procesowy](https://justautomate.ai/produkty/warsztat-procesowy/) --- **JustAutomate** · kontakt: contact@justautomate.ai · formularz: https://justautomate.ai/kontakt/