--- title: "Pipeline danych do BigQuery w 3-4 tygodnie | JustAutomate" description: "CRM, Google Ads, GA4 i ERP spływają do BigQuery same, co godzinę albo co noc. Alert po 25 godzinach bez danych, dashboard w 3-4 tygodnie. Umów konsultację." url: "https://justautomate.ai/automatyzacje/automatyczny-pipeline-danych/" lang: pl --- Raporty i dane # Automatyczny pipeline danych do BigQuery jedno źródło prawdy zamiast pięciu eksportów Dane z CRM, Google Ads, GA4, systemu faktur i sklepu trafiają do BigQuery same: co godzinę albo co noc, w postaci gotowej do analizy. Przychód, koszt reklamy i marża liczą się w jednym miejscu, tą samą formułą dla każdego. Gdy dane nie spłyną przez 25 godzin, dostajesz alert, zanim ktoś otworzy nieaktualny raport. Umów bezpłatną konsultację [Zobacz, jak wygląda warsztat](https://justautomate.ai/produkty/warsztat-procesowy/) - 47%nowych rekordów w firmowych systemach ma co najmniej jeden błąd wpływający na pracę. Pomiar 75 menedżerów na 100 ostatnich rekordach ich działu, Harvard Business Review - 25 godzintyle dane mogą się nie odświeżać, zanim pipeline sam zgłosi problem na Slacku albo mailem - 3 do 4 tygodniod warsztatu do dashboardu, który aktualizuje się bez człowieka; pierwsze dane leżą w BigQuery już w pierwszym tygodniu Problem ## Dlaczego raport tygodniowy zajmuje pół dnia i wciąż nikt mu nie wierzy? Ktoś eksportuje CSV z CRM, ktoś inny z Google Ads, trzecia osoba wyciąga faktury z Subiekta. Wszystko ląduje w Excelu, marże przelicza się ręcznie, a wynik jest gotowy w piątek po południu, kiedy już jest nieaktualny. Przychód w CRM nie zgadza się z fakturami, reklamy raportują więcej leadów, niż widać w CRM, a każdy menedżer ma własny arkusz z innymi liczbami. Pytanie „ile nas kosztuje klient z Google Ads” zajmuje 2 godziny, bo odpowiedź leży w czterech systemach, które ze sobą nie rozmawiają. Trend rok do roku nie istnieje, bo GA4 w standardowej usłudze trzyma dane zdarzeń najwyżej 14 miesięcy, a eksportów z CRM nikt nie robił regularnie. Dyskusja o tym, kto ma rację, trwa dłużej niż sama decyzja. Błędy w danych to nie wrażenie. W [badaniu opublikowanym w Harvard Business Review](https://hbr.org/2017/09/only-3-of-companies-data-meets-basic-quality-standards) 75 menedżerów sprawdziło po 100 ostatnich rekordów utworzonych w ich działach. Średnio 47 procent rekordów miało co najmniej jeden błąd wpływający na pracę, a tylko 3 procent zestawów spełniło najniższy przyjęty próg jakości. Pipeline nie naprawia tych błędów sam, ale jako pierwszy je pokazuje, bo zestawia obok siebie dane, których dotąd nikt nie porównywał. - Pół dnia pracy tygodniowo na sklejanie eksportów, których i tak nikt nie weryfikuje - Nierentowna kampania działa o miesiąc dłużej, bo jej kosztu pozyskania klienta nikt nie widzi - Zarząd decyduje na danych sprzed tygodnia i na liczbach, których nie da się odtworzyć - Historia sprzedaży kończy się tam, gdzie kończy się retencja GA4 i ostatni zachowany eksport Dlaczego teraz ## Co się zmieniło, że hurtownia danych nie wymaga już działu IT? Każdy system, który generuje dane biznesowe, ma dziś API albo gotowy konektor: HubSpot, Pipedrive, Google Ads, Meta Ads, Fakturownia, Subiekt, WooCommerce. GA4 eksportuje zdarzenia do BigQuery natywnie, w standardowej usłudze do 1 miliona zdarzeń dziennie, bez opłat po stronie Analytics. Nie trzeba już pisać skryptu do każdego źródła od zera. BigQuery zdjęło z firmy serwer. Nie ma backupów, patchowania ani administratora bazy; Google rozlicza przetworzone dane i przestrzeń, a pierwsze 10 GB przestrzeni i 1 TB zapytań miesięcznie mieszczą się w darmowym limicie. Firma z CRM, reklamami i ERP liczy zapytania w gigabajtach, nie w terabajtach. Zapytanie po 500 milionach wierszy nie wymaga innego serwera niż po 5 milionach. Warstwa transformacji przeszła z Pythona do SQL. Podejście ELT, czyli surowe dane najpierw do hurtowni, a widoki liczone potem zaplanowanymi zapytaniami, oznacza, że zmiana definicji marży nie wymaga ponownego pobierania niczego ze źródeł. Do tego dochodzi agent AI: BOND czyta te same widoki i odpowiada na pytanie „który kanał ma najniższy koszt pozyskania klienta” zwykłym zdaniem, w 5 do 10 sekund. Co się zmienia ## Co dostaje firma, gdy dane spływają same? - ### Raport gotowy, zanim zespół zacznie dzień Konektory pobierają dane co godzinę albo co noc, zaplanowane zapytania przeliczają widoki, a dashboard w Looker Studio albo Power BI otwiera się z liczbami z dzisiaj. Nikt nie eksportuje, nikt nie skleja. Odświeżenie co godzinę dla CRM i sklepu, co noc dla reklam, faktur i GA4 - ### Jedna definicja marży dla całej firmy Przychód, koszt reklamy, koszt towaru i marża liczą się w jednym widoku SQL, tą samą formułą dla zarządu, sprzedaży i marketingu. Koniec sporu, czyj Excel ma rację. Widok CAC per kampania łączy koszt z Google Ads z wygranymi szansami z CRM po utm\_campaign i miesiącu - ### Historia, która nie znika Warstwa surowa zachowuje każdy rekord w postaci, w jakiej przyszedł ze źródła. Trend rok do roku i przeliczenie po zmianie logiki biznesowej są możliwe bez ponownego pobierania czegokolwiek. Dane zdarzeń GA4 w standardowej usłudze żyją 14 miesięcy; w BigQuery tak długo, jak chcesz - ### Pipeline, który sam mówi, że stoi Konektor może się wysypać po zmianie API albo wygaśnięciu tokenu, a nikt tego nie zauważy do przeglądu miesiąca. U nas brak świeżych danych przez 25 godzin uruchamia alert na Slacku albo mailem. Próg 25 godzin, bo dobowy eksport potrafi się spóźnić o kilkadziesiąt minut i 24 godziny dawałyby fałszywe alarmy - ### Zero duplikatów po ponowieniu pobierania Gdy konektor ponawia synchronizację, rekordy ładują się przez MERGE po unikalnym kluczu, nie przez INSERT. Szansa z CRM albo faktura istnieje w hurtowni raz, nawet jeśli źródło oddało ją trzy razy. Klucz per rekord i MERGE zamiast INSERT, sprawdzane testem spójności z liczbami źródła - ### Pytania do danych zwykłym zdaniem „Ile leadów z Google Ads w tym miesiącu wobec poprzedniego”, „przychód z nowych klientów wobec powracających w tym kwartale”. Agent AI czyta te same widoki co dashboard i odpowiada w 5 do 10 sekund, w przeglądarce albo na Slacku. Ta sama definicja metryki w dashboardzie i w odpowiedzi agenta, bo oba czytają jeden widok Dowód ## Czy sami tak zasilamy swoje hurtownie? Tak. W spółkach naszych założycieli od marca 2026 na hurtowniach danych pracują agenty AI, te same, które stoją za liczbami na stronie AI dla firm. W agencji agent sam zasila hurtownię. Poniżej skala tej pracy i jedna liczba biznesowa, razem z tym, czego te liczby NIE dowodzą. Wdrożone u nas. To nie są wdrożenia u klienta zewnętrznego, tylko w spółkach założycieli JustAutomate. Piszemy to wprost, bo dowód, którego nie da się sprawdzić, nie jest dowodem. - ![JustIdea Agency](https://justautomate.ai/klienci/justidea.png)![JustBot](https://justautomate.ai/agenci/justbot-80.webp)JustBotich agent JustIdea Agency, agencja performance marketingu, około 30 osób 23 osób z firmy pracuje z agentem 38 systemów wpiętych na stałe 112 procesów chodzi bez człowieka 475 tysięcy linii kodu agenta Agent spięty z Google Ads, Metą, systemem CRM, systemem zadań, narzędziem SEO, Analytics, Search Console i hurtownią danych. Pierwszy commit 1 marca 2026, dziś korzystają z niego 23 osoby. 8 z 38 systemów, w których pracuje - Google Ads - Meta Ads - HubSpot - ActiveCollab - Ahrefs - GA4 - Search Console - BigQuery Przedtem Dane o kampaniach, leadach i zadaniach leżały w siedmiu systemach. Zestawienie ich obok siebie było ręczną pracą: eksport, arkusz, sklejanie, a każdy dział patrzył na własne liczby. Po zmianie Zasilanie hurtowni i przeglądy kont reklamowych idą bez udziału człowieka. Pytanie o koszt pozyskania leada per kampania to zdanie do agenta, nie eksport z dwóch systemów. 3 506 operacji zasilania hurtowni danych w 30 dni, bez udziału człowieka - ![Surf Inc.](https://justautomate.ai/klienci/surf-inc.svg)![SurfBot](https://justautomate.ai/agenci/surfbot-80.webp)SurfBotich agent Surf Inc., marka odzieżowa premium, sklep online i dwa sklepy stacjonarne 16 osób z firmy pracuje z agentem 21 systemów wpiętych na stałe 89 procesów chodzi bez człowieka 323 tysięcy linii kodu agenta Agent spięty z systemem zamówień, systemem ERP, sklepem, hurtownią danych i systemami reklamowymi. Uruchomiony w marcu 2026, pełny rozruch w maju. Korzysta z niego 16 osób, w tym magazyn i obsługa sklepów. 8 z 21 systemów, w których pracuje - PrestaShop - BaseLinker - Comarch Optima - BigQuery - Google Ads - Meta Ads - GA4 - Zalando Przedtem Od lutego do sierpnia 2025 każda złotówka budżetu reklamowego wracała jako 3,53 złotego przychodu online, a reklama pochłaniała 28,3 procent tego przychodu. Po zmianie W tych samych miesiącach 2026 wskaźnik wynosi 4,19, a udział reklamy w przychodzie zszedł do 23,9 procent. Budżet reklamowy jest niższy o 6,9 procent przy sprzedaży wyższej o 10,3 procent. Zamówienia, ERP i wydatek reklamowy leżą w jednej hurtowni, z której czyta agent. Zwrot z reklamy 3,53 na 4,19, czyli o 18,5 procent wyżej, przy budżecie niższym o 6,9 procent A u Ciebie ## Co, jeśli nasze dane są w bałaganie albo w nietypowym systemie? Cztery zdania, które słyszymy najczęściej, i to, co na nie odpowiadamy. - Nie mamy działu IT ani nikogo, kto zna SQL. Nie musisz. Budujemy konektory, schemat i widoki, a przekazujemy dashboard, który obsługuje się jak Google Analytics: klikasz, filtrujesz, eksportujesz. Do tego słownik danych, w którym każda kolumna ma opis, żeby po pół roku nikt nie zgadywał, co znaczy flag\_type\_3. - Mamy SQL Server, po co nam BigQuery? Jeśli macie administratora, który utrzymuje serwer, backupy i dostępy, a wolumen jest mały, można zostać przy nim i tak Wam powiemy na warsztacie. BigQuery wygrywa, gdy nikt nie chce zarządzać serwerem, gdy w grę wchodzą GA4 i Google Ads z natywnym eksportem i gdy chcecie płacić za przetworzone dane, nie za czas pracy maszyny. - Nasze dane są brudne, najpierw musimy je posprzątać. Odwrotnie. Dopóki dane leżą w pięciu systemach, nikt nie wie, gdzie są brudne, bo nikt ich nie zestawia. Pipeline ładuje je surowe do jednej warstwy, a test spójności pokazuje pierwszego dnia, w którym systemie przychód nie zgadza się z fakturami. Sprzątanie zaczyna się od listy, nie od przeczucia. - Mamy własną bazę i system bez API. Baza PostgreSQL albo MySQL podłącza się bezpośrednio. System bez API oddaje dane przez eksport CSV albo XLSX na FTP albo Google Drive, który konektor odbiera co noc. Webhook, plik, zapytanie do bazy: jedna z tych trzech dróg istnieje w każdym systemie, jaki dotąd widzieliśmy. CRM i sprzedaż HubSpot, Pipedrive, LiveSpace, Salesforce, Bitrix24 Reklama i analityka Google Ads, Meta Ads, LinkedIn Ads, GA4, Mailchimp, ActiveCampaign Finanse i ERP Fakturownia, iFirma, inFakt, Subiekt GT, Comarch Optima, Enova, Streamsoft Sklep i marketplace WooCommerce, Shopify, PrestaShop, BaseLinker, Allegro Arkusze i bazy Google Sheets, Excel Online, PostgreSQL, MySQL, pliki CSV na FTP albo Google Drive Warstwa pipeline'u i raportów n8n, Make, Airbyte, Fivetran, skrypty w Pythonie, zaplanowane zapytania BigQuery, dbt, Looker Studio, Power BI ## Źródła danych, co z nich trafia do BigQuery i jak często Najczęstszy zestaw źródeł w firmie B2B i sposób, w jaki je ładujemy. Częstotliwość ustalamy na warsztacie: co godzinę tam, gdzie ktoś patrzy na dane w ciągu dnia, co noc tam, gdzie wystarczy stan z wczoraj. | Źródło | Co trafia do warstwy surowej | Jak często i jak | | ---------------------------------------------------- | ------------------------------------------------------------------ | ------------------------------------------------------------------------------- | | CRM (HubSpot, Pipedrive, LiveSpace, Salesforce) | szanse, etapy, właściciel, wartość, źródło leada, daty zmian etapu | co godzinę przez API, przyrostowo po dacie modyfikacji | | Google Ads, Meta Ads, LinkedIn Ads | koszt, kliknięcia, konwersje per kampania i dzień | co noc, z ponownym pobraniem ostatnich 7 dni, bo platformy korygują dane wstecz | | GA4 | zdarzenia, sesje, źródła ruchu, transakcje | natywny eksport dobowy do BigQuery, bez konektora | | Faktury i ERP (Fakturownia, Subiekt, Comarch Optima) | faktury, pozycje, płatności, koszt towaru, kontrahenci | co noc; z ERP bez API przez eksport pliku | | Sklep (WooCommerce, Shopify, PrestaShop, BaseLinker) | zamówienia, pozycje, zwroty, statusy | co godzinę przez API albo webhook przy zmianie statusu | | Google Sheets i Excel Online | budżety, cele, ręczne korekty, słowniki kampanii | przy każdej zmianie arkusza albo co noc | | Własna baza (PostgreSQL, MySQL) | tabele wskazane na warsztacie, tylko kolumny potrzebne do metryk | co noc, przyrostowo po kluczu albo znaczniku czasu | Wiersze to punkt wyjścia. Pierwsze wdrożenie obejmuje zwykle 2 do 4 źródeł, resztę dokładamy w kolejnych tygodniach bez zatrzymywania działającego pipeline'u. Jak to robimy ## Pięć kroków od eksportów w Excelu do pipeline'u na produkcji Każdy tydzień kończy się czymś, co możesz zobaczyć i ocenić, zanim zdecydujesz o następnym. 1. ### Warsztat i mapa źródeł Tydzień 1\. Spisujemy każdy system, który generuje dane biznesowe, i każdy arkusz, który ktoś prowadzi obok. Ustalamy, które pytania zarząd zadaje najczęściej i ile dziś kosztuje odpowiedź. Wychodzi z tego schemat danych, lista 5 do 10 metryk do pierwszego dashboardu i decyzja, które źródła idą w pierwszej kolejności. 2. ### Konektory i schemat w BigQuery Tydzień 2\. Stawiamy dwie warstwy: surową, do której trafia wszystko w postaci ze źródła, i prezentacyjną z widokami. Budujemy konektory: natywny eksport GA4, Airbyte albo Fivetran tam, gdzie mają gotowy konektor, n8n, Make albo skrypt w Pythonie tam, gdzie go nie mają. Pierwsze dane leżą w BigQuery pod koniec tego tygodnia. 3. ### Widoki SQL i testy spójności Tydzień 3\. Piszemy widoki: CAC per kampania, marża per produkt, przychód per klient, LTV. Każdy widok sprawdzamy z liczbą ze źródła: suma faktur w BigQuery musi równać się sumie w Fakturowni. Ustawiamy MERGE po kluczu przeciw duplikatom i alert, gdy dane są starsze niż 25 godzin. 4. ### Dashboard, słownik danych i przekazanie Tydzień 4\. Dashboard w Looker Studio albo Power BI z widokami dla zarządu i dla menedżerów, z uprawnieniami przez Google IAM: zarząd widzi marże, menedżer swój dział. Szkolimy zespół i oddajemy dokumentację ze słownikiem danych. Od tego dnia raporty odświeżają się same. 5. ### Pomiar po 30 i 90 dniach Sprawdzamy, czy ktoś jeszcze robi eksporty ręcznie, ile alertów o świeżości się odezwało i czy definicje metryk wytrzymały kontakt z rzeczywistością. Dokładamy kolejne źródła, jeśli zespół o nie prosi, a nie dlatego, że były w planie. Przed i po ## Jak zmienia się poniedziałek osoby, która robi raport ### Przedtem - Rano eksportuje CSV z CRM, Google Ads i systemu faktur, skleja w Excelu i ręcznie przelicza marże - Tłumaczy zarządowi, dlaczego przychód w CRM różni się od przychodu z faktur o kilka procent - Na pytanie o koszt pozyskania klienta z Google Ads odpowiada „dam znać po południu” - Odkrywa po dwóch tygodniach, że integracja z reklamami przestała działać po zmianie tokenu ### Po zmianie - Otwiera dashboard, który przeliczył się w nocy, i zaczyna od wniosków, nie od eksportów - Przychód, faktury i koszt reklamy leżą w jednym widoku, z jedną definicją zatwierdzoną na warsztacie - Koszt pozyskania klienta per kampania jest liczbą w widoku i odpowiedzią agenta AI w 5 do 10 sekund - O braku danych wie po 25 godzinach, z alertu, a nie z pustego wykresu na spotkaniu Pierwsze dane w BigQuery w tygodniu 1\. Dashboard w tygodniu 4\. Definicje metryk i częstotliwość odświeżania oceniamy po 30 dniach na rzeczywistych pytaniach zespołu. Dla osoby, która to zamawia ## Co z tego ma dyrektor finansowy albo operacyjny Spór o to, czyj Excel ma rację, przestaje lądować na Twoim stole, bo definicję marży i przychodu zatwierdzasz raz, na warsztacie, i od tej chwili liczy ją ten sam widok dla wszystkich. Raport na zarząd nie zależy od tego, czy analityk był w piątek w pracy. Druga rzecz jest ważniejsza. Widzisz koszt pozyskania klienta per kampania i marżę per produkt na danych z dzisiaj, a nie z zamknięcia miesiąca. Nierentowną kampanię wyłączasz w tygodniu, w którym przestała się spinać, a nie po tym, jak przepaliła kolejny budżet. To argument, którego dziś nie masz w rozmowie o wydatkach na reklamę. - Jedna definicja każdej metryki, spisana w słowniku danych, niezależna od jednej osoby - Historia surowa zachowana w BigQuery, więc trend rok do roku istnieje także po zmianie CRM - Alert po 25 godzinach bez danych zamiast pustego wykresu na spotkaniu zarządu - Koszt BigQuery i narzędzi płacisz dostawcom bezpośrednio, bez naszej prowizji Ile to kosztuje ## Warsztat ma cenę jawną, wdrożenie wycenę po nim Warsztat procesowy kosztuje **2500 zł netto za tydzień**. Przy pipeline'u danych zwykle wystarcza jeden tydzień, bo pytania są dwa: które systemy i które metryki. Wdrożenie wyceniamy po warsztacie, gdy wiadomo, ile źródeł wchodzi w grę, czy mają API, ile danych historycznych wgrać i czy dashboard ma być od razu, czy wystarczy warstwa surowa. Koszty bieżące płacisz dostawcom bezpośrednio, bez naszej prowizji. BigQuery rozlicza Google za przetworzone dane i przestrzeń, przy czym pierwsze 10 GB i 1 TB zapytań miesięcznie są w darmowym limicie. Narzędzie ETL (n8n, Make, Airbyte) ma własną subskrypcję albo stoi na Waszej infrastrukturze. - ### Warsztat procesowy 2500 zł netto za tydzień, przy pipeline'u zwykle jeden Zamknięta całość. Kończy się mapą źródeł, listą metryk z definicjami i planem, który możesz zrealizować bez nas albo z własnym IT. - Mapa systemów i arkuszy, które dziś generują dane biznesowe - Lista 5 do 10 metryk z definicją i źródłem każdej - Rekomendacja: BigQuery czy obecna baza, ETL czy ELT, które konektory - Szacunek wolumenu danych i kosztu BigQuery po stronie Google Zacznij od warsztatu - Najczęściej wybierany ### Warsztat i wdrożenie pipeline'u Wycena po warsztacie zakres wynika z liczby źródeł i metryk Najczęściej wybierany wariant. Działający pipeline z dashboardem w 3 do 4 tygodni od warsztatu, przetestowany na Waszych danych z ostatnich miesięcy. - Wszystko z warsztatu - Konektory do 2 do 4 źródeł, warstwa surowa i prezentacyjna w BigQuery - Widoki SQL: CAC, marża, przychód per klient, LTV, z testami spójności - Alert świeżości po 25 godzinach, MERGE przeciw duplikatom, słownik danych - Dashboard w Looker Studio albo Power BI i szkolenie zespołu Umów rozmowę o wdrożeniu - ### Pipeline i agent AI do danych Wycena po warsztacie dla zespołów, które pytają o dane kilkanaście razy dziennie Wszystko z wdrożenia plus BOND, który czyta te same widoki w BigQuery i odpowiada zwykłym zdaniem. - Wszystko z wdrożenia pipeline'u - Agent AI spięty z BigQuery: koszt pozyskania, marża, przychód nowi wobec powracających - Odpowiedź w 5 do 10 sekund, w przeglądarce albo na Slacku - Alerty o anomaliach: kampania powyżej progu CAC, spadek marży produktu Zapytaj o agenta Warsztat kończy się dokumentem, który obroni się bez nas: mapą źródeł, definicjami metryk i rekomendacją narzędzi, z którą możesz pójść do własnego IT albo innego wykonawcy. Jeśli na warsztacie okaże się, że wystarczy natywny eksport GA4 i jeden arkusz podpięty do Looker Studio, mówimy to i pokazujemy, jak to ustawić. ## Najczęstsze pytania Czym jest automatyczny pipeline danych do BigQuery? To zestaw konektorów i zaplanowanych zapytań, który pobiera dane z CRM, reklam, systemu faktur i sklepu, ładuje je do BigQuery w postaci surowej i przelicza na widoki gotowe do analizy: przychód, marża, koszt pozyskania klienta. Działa co godzinę albo co noc, bez ręcznych eksportów. Dashboard i agent AI czytają te same widoki, więc każda osoba w firmie widzi tę samą liczbę. Ile trwa wdrożenie pipeline'u danych? Od warsztatu do działającego dashboardu zwykle 3 do 4 tygodni, a pierwsze dane leżą w BigQuery pod koniec pierwszego tygodnia. Przy 8 i więcej źródłach albo złożonych transformacjach liczymy 6 do 8 tygodni. Nie ciągniemy projektu miesiącami: każdy tydzień kończy się czymś, co da się zobaczyć. Czy potrzebujemy działu IT albo kogoś, kto zna SQL? Nie. Budujemy konektory, schemat i widoki, a przekazujemy dashboard, który obsługuje się jak Google Analytics, plus dokumentację ze słownikiem danych. SQL przydaje się dopiero wtedy, gdy chcecie sami dokładać metryki, i wtedy uczymy tego jedną osobę na przekazaniu. ETL czy ELT, które podejście wybieracie? Najczęściej ELT: surowe dane najpierw trafiają do BigQuery, a transformacje idą w SQL, zaplanowanymi zapytaniami. Dzięki temu zmiana definicji marży nie wymaga ponownego pobierania danych ze źródeł, a historia zostaje w oryginalnej postaci. ETL, czyli przetwarzanie przed załadowaniem w n8n, Make albo Pythonie, wybieramy przy danych wrażliwych, które trzeba zanonimizować przed zapisem, i przy małych wolumenach z prostą logiką. Czy dane w BigQuery są bezpieczne i zgodne z RODO? BigQuery szyfruje dane w spoczynku i podczas transferu, a dostępami zarządzasz przez Google IAM na poziomie zbioru danych i tabeli: zarząd widzi marże, menedżer tylko swój dział. Dane mogą leżeć w regionie europe-central2, czyli w Warszawie. Na warsztacie ustalamy, które pola osobowe są niezbędne do metryk, a które zostają w systemie źródłowym albo trafiają do hurtowni zanonimizowane. Czy możemy zacząć od jednego źródła i dodawać kolejne? Tak i zwykle tak robimy. Pierwsze wdrożenie obejmuje 2 do 4 źródeł, najczęściej CRM i reklamy, bo z nich wychodzi koszt pozyskania klienta. ERP, sklep i arkusze dokładamy w kolejnych tygodniach, bez zatrzymywania działającego pipeline'u, bo warstwa surowa przyjmuje nowe źródło jako nową tabelę, a nie przebudowę schematu. Co z systemem bez API albo z własną bazą danych? Baza PostgreSQL albo MySQL podłącza się bezpośrednio, przyrostowo po kluczu albo znaczniku czasu. System bez API oddaje dane eksportem CSV albo XLSX na FTP albo Google Drive, a konektor odbiera plik co noc. Subiekt GT i część starszych ERP obsługujemy właśnie tą drogą. Czym pipeline danych różni się od integracji w Zapierze albo Make? Zapier i Make służą do automatyzacji operacyjnych: lead z formularza trafia do CRM, faktura do księgowości. Pipeline kopiuje pełne zbiory historyczne do hurtowni po to, żeby je analizować, i musi radzić sobie z milionami rekordów, ponowieniami i korektami wstecz. n8n i Make bywają częścią pipeline'u jako warstwa pobierania, ale sam Zapier nie nadaje się do ładowania milionów wierszy do BigQuery. ## Sprawdźmy, gdzie dziś giną Wasze dane Bezpłatna konsultacja trwa 30 minut. Opowiadasz, z jakich systemów dziś składacie raport i ile to zajmuje, nawet jeśli odpowiedź brzmi „pół piątku”. Mówimy, które źródła podłączymy w pierwszym tygodniu, które wymagają eksportu pliku i czy BigQuery ma u Was sens, czy wystarczy obecna baza. Piszesz bezpośrednio do Pawła, bez recepcji i ticketów. Nie musisz na tym etapie udostępniać systemów. Prowadzimy najwyżej dwa wdrożenia równocześnie, żeby przy każdym ktoś realnie siedział. [Umów bezpłatną konsultację](https://justautomate.ai/kontakt/) **PS.** Jeśli w tym miesiącu ktoś u Was spędził pół dnia na sklejaniu eksportów, a zarząd i tak spytał, czemu liczby się nie zgadzają, to jest dokładnie ten problem. Dane rozsiane po pięciu systemach nie dadzą jednej odpowiedzi, dopóki nie trafią do jednego miejsca z jedną definicją. Od tego zaczyna się warsztat. ## Powiązane - [Automatyczny raport sprzedaży](https://justautomate.ai/automatyzacje/automatyczny-raport-sprzedazy/) - [Automatyczne raporty dla klientów](https://justautomate.ai/automatyzacje/automatyczne-raporty-dla-klientow/) - [Automatyczny raport kampanii](https://justautomate.ai/automatyzacje/automatyczny-raport-kampanii/) - [Integracja z BigQuery](https://justautomate.ai/integracje/bigquery/) - [Automatyzacja z n8n](https://justautomate.ai/uslugi/automatyzacja-n8n/) - [BOND: firmowy Agent AI](https://justautomate.ai/uslugi/bond-firmowy-agent-ai/) --- **JustAutomate** · kontakt: contact@justautomate.ai · formularz: https://justautomate.ai/kontakt/