ChatGPT vs Claude: porównanie dla firm B2B kryteria wyboru zamiast rankingu wersji

01

Dlaczego to porównanie nie podaje wersji modeli ani benchmarków?

Bo takie porównanie kłamie po miesiącu, a czytelnik się o tym nie dowiaduje. Producenci wypuszczają nowe wersje co kilka tygodni i razem z nimi zmieniają wyniki testów, limity, długość okna kontekstu i cenniki. Strona z takimi liczbami nie jest porównaniem, tylko zdjęciem sprzed pół roku.

Dlatego pokazujemy dwie rzeczy, które się nie starzeją: kryteria wyboru i sposób sprawdzenia ich u siebie. Bieżące parametry, nazwy wersji i cenniki sprawdzaj u producentów: openai.com i anthropic.com. Tam liczby są aktualne z definicji, u nas nie byłyby.

Publiczny ranking mierzy zadania, których u Ciebie nie ma. Twoje faktury, Twój regulamin i Twoja polszczyzna nie były w żadnym teście porównawczym. Różnica widoczna w rankingu bywa mniejsza niż ta, którą u Ciebie zrobi lepiej napisane polecenie: opisujemy to w poradniku prompt engineering dla firm.

02

Jak zbudować zestaw zadań testowych na własnych danych?

To jest cała metoda i da się ją zrobić bez działu IT, w jedno popołudnie. Warunek jest jeden: prawdziwe dane, nie przykładowe. Model, który świetnie streszcza wzorcowy dokument, potrafi się rozsypać na Waszej fakturze korygującej z dopiskiem odręcznym w polu uwag.

Zestaw przygotowujesz raz i zostaje z Tobą na lata: przy wyborze modelu, przy zmianie dostawcy, przy każdej większej zmianie polecenia. Bez niego nie stwierdzisz, czy po zmianie zrobiło się lepiej, czy tylko inaczej.

1. 01

   Zbierz 20 prawdziwych spraw

   Z ostatniego miesiąca, z tego procesu, który chcesz wesprzeć modelem. Dorzuć 3 do 5 przypadków trudnych: niekompletny dokument, dwa zamówienia w jednym mailu, klient piszący pretensję. Łatwe przypadki przechodzą wszędzie i niczego nie rozstrzygają.

2. 02

   Zapisz oczekiwaną odpowiedź

   Do każdej sprawy dopisz, jak wygląda wynik dobry: jakie pola, jaki format, jaki ton. Robi to osoba, która dziś wykonuje tę pracę, bo tylko ona wie, co jest do wysłania, a co do poprawki.

3. 03

   Ten sam prompt, oba modele

   Jedno polecenie, te same dane wejściowe, dwa modele. Zmiana polecenia między modelami unieważnia test, bo wtedy porównujesz swoje dwa pomysły, a nie dwa modele.

4. 04

   Oceniaj zero-jedynkowo

   Odpowiedź do wysłania bez poprawki albo nie. Bez ocen w skali od 1 do 5, bo w skali wszystko wychodzi na cztery. Liczysz jedną liczbę: ile z 20 spraw przeszło.

5. 05

   Policz koszt i czas poprawek

   Do wyniku dopisz koszt zapytań z rachunku i czas, jaki zajęło poprawianie odrzuconych odpowiedzi. Model tańszy o grosz na zapytaniu, który wymaga poprawki co piątej odpowiedzi, jest droższy od tego drugiego.

03

Które kryteria naprawdę różnicują modele w pracy firmowej?

Poniższa lista powstała z warsztatów i pilotów, a nie z porównania parametrów. Każde kryterium ma swoją kolumnę „jak sprawdzić”, bo kryterium, którego nie da się sprawdzić w godzinę, jest tematem do dyskusji, a nie podstawą decyzji.

Czytaj tabelę jako eliminację, nie ranking. Zostaje model, który nie odpadł na żadnym kryterium istotnym dla tego zadania. Do innego zadania w tej samej firmie może wygrać drugi.

Ósme kryterium nie mieści się w tabeli, bo nie dotyczy modelu, tylko Was: kto w firmie odpowie na pytanie „dlaczego agent tak odpowiedział”. Bez tej osoby żaden model nie utrzyma się w procesie dłużej niż kwartał.

04

Ile kosztuje jedno zapytanie w Waszym rzeczywistym ruchu?

Cennik podaje cenę za milion tokenów. To jednostka producenta, wygodna do porównywania cenników i bezużyteczna do planowania budżetu. Ty nie kupujesz miliona tokenów, tylko odpowiedź na konkretne pytanie o konkretną fakturę.

W naszych wdrożeniach jedno zapytanie do modelu kosztuje od 0,02 do 0,30 zł i jest płacone dostawcy bezpośrednio, poza naszą fakturą. Rozrzut bierze się z długości kontekstu: zapytanie o status jednego zamówienia jest przy dolnym końcu, analiza trzydziestostronicowej umowy przy górnym.

• Policz tak: liczba zapytań miesięcznie z pilota razy średni koszt zapytania z rachunku, a nie z cennika
• Koszt tnie się głównie po stronie danych wejściowych: do modelu ma trafiać fragment dokumentu, nie cały dokument
• Do rachunku dopisz czas ludzi na poprawki, bo to on zwykle przewyższa koszt samych zapytań
• Ceny za tokeny i limity zmienia producent, więc rachunek sprawdzaj po każdej zmianie planu, nie raz na starcie

05

Co musi być na piśmie, zanim model dotknie danych klientów?

Tu wybór przestaje być techniczny. Model przetwarza dane osobowe Waszych klientów, więc dostawca jest podmiotem przetwarzającym i potrzebna jest umowa powierzenia z art. 28 RODO. Zapisy z pomocy dla użytkownika prywatnego nie są umową i nie obronią się na kontroli.

Drugi temat to miejsce przetwarzania. Jeśli dane wychodzą poza Europejski Obszar Gospodarczy, potrzebna jest podstawa transferu z rozdziału V RODO. Trzeci to trenowanie: chcesz zapisu, że Wasze dane nie służą do uczenia modeli, i chcesz go w warunkach dla klienta firmowego.

• Umowa powierzenia przetwarzania z dostawcą modelu, podpisana przed pilotem, nie po nim
• Wskazany region przetwarzania i podstawa transferu, jeśli dane wychodzą poza EOG
• Zapis o nietrenowaniu na Waszych danych w warunkach dla klienta firmowego
• Okres przechowywania zapytań u dostawcy i sposób ich usunięcia na żądanie
• Rejestr czynności przetwarzania zaktualizowany o nową kategorię odbiorcy
• Zasada, że do modelu nie trafiają dane, których do wykonania zadania nie potrzebuje

06

Czy wybór modelu jest na zawsze?

W czacie w przeglądarce owszem, bo wybierasz dostawcę razem z całym środowiskiem pracy. W automatyzacji nie. W agencie AI zbudowanym u nas nazwa modelu to jedno pole w konfiguracji, a prompty, dane i walidacja wyniku żyją po stronie Waszego systemu.

To zmienia ciężar decyzji. Nie wybierasz partnera na trzy lata, tylko ustawienie na najbliższy kwartał. Warunek jest jeden: architektura, w której dostawca modelu jest wymienny. Jak taki agent działa na danych firmy, opisujemy na stronie agent AI na danych firmy.

Ten sam mechanizm pozwala trzymać dwa modele naraz: jeden do odpowiedzi dla klientów, drugi do pracy na dokumentach, jeśli tak wyszło z testu. Kontekst biznesowy takiego układu zbieramy w poradniku o LLM w biznesie.

• Prompty w repozytorium, nie wklejone w interfejs dostawcy
• Wynik walidowany przez Wasz system, zanim trafi do klienta albo do bazy
• Zestaw zadań testowych puszczany ponownie po każdej zmianie modelu
• Klucze i dostępy po Waszej stronie, żeby zmiana dostawcy nie wymagała wdrożenia od nowa

07

Co zrobić, gdy zespół już używa obu na własną rękę?

Zwykle to jest punkt wyjścia, a nie hipotetyczne ryzyko. Ktoś ze sprzedaży wkleja oferty do jednego czatu, ktoś z obsługi zgłoszenia do drugiego, oba na prywatnych kontach. Zakaz tego nie rozwiąże: praca z modelem realnie im pomaga i wrócą do niej po tygodniu.

Sensowna kolejność jest odwrotna: najpierw daj legalną drogę, potem zamykaj nielegalną. Konto firmowe z podpisaną umową, jasna lista danych, których nie wolno wklejać, i jedno miejsce, w którym zespół zgłasza, do czego model im się przydaje.

• Zapytaj, kto już używa i do czego; ta lista jest gotowym backlogiem automatyzacji
• Załóż konta firmowe z umową powierzenia, zanim zaczniesz egzekwować zakaz kont prywatnych
• Wypisz wprost, czego nie wolno wklejać: dane osobowe klientów, hasła, dane objęte umową o poufności
• Najczęściej powtarzane zadanie z tej listy przenieś do agenta AI, żeby przestało zależeć od tego, kto pamięta o wklejeniu