Wprowadzenie
Apache Airflow jest jednym z najczęściej wykorzystywanych narzędzi do obsługi przepływów zadań (workflow). Pozwala opisać cały proces, od pobrania danych, przez ich przetworzenie, po załadowanie do hurtowni, jako kod w języku Python i uruchamiać go w sposób powtarzalny, zarządzany, harmonogramowany i monitorowany. Popularność Airflow, wsparcie ze strony największych platform chmurowych oraz bogaty ekosystem integracji (m.in. z Hive, Spark i bazami relacyjnymi) sprawiają, że stał się naturalnym „spoiwem” współczesnych rozwiązań Big Data.
Szkolenie Apache Airflow – orkiestracja przetwarzania prezentuje praktyczne wykorzystanie tej platformy do budowy i obsługi przepływów przetwarzania danych.
Szkolenie prowadzone we współpracy z firmą Sages.
Podstawowe cele szkolenia
- Szkolenie przygotowuje do samodzielnego projektowania i implementowania przepływów zadań oraz potoków ETL w Apache Airflow, w tym tworzenia DAG-ów i definiowania zależności pomiędzy zadaniami
- Szkolenie uczy harmonogramowania przepływów, zarządzania powtórzeniami, operacjami backfill, regułami uruchamiania oraz monitorowania statusów zadań w środowisku Big Data
- Szkolenie pokazuje użycie XCom, zmiennych, połączeń i parametrów do współdzielenia danych oraz konfiguracji przepływów i automatyzacji przetwarzania
- Szkolenie rozwija umiejętność grupowania zadań z wykorzystaniem grup zadań, przetwarzania warunkowego oraz harmonogramowania opartego na zasobach danych w ramach praktycznych warsztatów Apache Airflow
- Szkolenie omawia najlepsze praktyki implementacji przepływów zadań oraz integracji Apache Airflow z narzędziami Big Data i bazami danych
Dla kogo?
- Programiści Python i inżynierowie danych z podstawową znajomością Big Data i chęcią tworzenia oraz utrzymywania workflowów Airflow
- Inżynierowie danych i specjaliści ETL odpowiedzialni za orkiestrację procesów przetwarzania i integrację systemów, znający SQL
- Administratorzy systemów i DevOps wdrażający oraz utrzymujący środowiska Airflow i monitorowanie zadań produkcyjnych
- Architekci danych i analitycy chcący automatyzować przepływy danych, harmonogramy i zależności oparte na datasetach
Wymagania
- Konieczna znajomość podstawowych pojęć z zakresu Big Data
- Silnie rekomendowane jest posiadanie wiedzy i umiejętności z zagadnień ujętych w ramach szkolenia Big Data i platforma Hadoop – wprowadzenie
- Silnie rekomendowana znajomość języka Python
- Silnie rekomendowana znajomość narzędzi: Apache Spark, Hive, MySQL
- Rekomendowana znajomość relacyjnego modelu danych
- Rekomendowana znajomość poleceń SQL
Plan szkolenia i materiały
- Blok 1 – Przepływy zadań jako kod – podstawy
Tematy: po co orkiestracja, pojęcia i architektura, pierwszy przepływ - Blok 2 – Potoki od linii do grafu
Tematy: zadania i operatory, sensory, zależności i rozwidlenie, reguły uruchamiania i statusy zadań - Blok 3 – Czas i ponowienia – wykonania i próby
Tematy: wykonania w czasie, ponowne próby instancji zadań - Blok 4 – Dane i konfiguracja – poza kodem przepływu
Tematy: wartości pomiędzy zadaniami, konfiguracja poza kodem, baz danych i Spark - Blok 5 – Organizacja i produkcja – od przepływu do platformy
Tematy: porządek w dużych przepływach, zależności pomiędzy przepływami, współbieżność i awarie, na produkcji