Wprowadzenie
Apache Airflow jest jednym z najczęściej wykorzystywanych narzędzi do orkiestracji przepływów danych. Pozwala opisać cały proces, od pobrania danych, przez ich przetworzenie, po załadowanie do hurtowni, jako kod w języku Python i uruchamiać go w sposób powtarzalny, harmonogramowany i monitorowany. Popularność Airflow, wsparcie ze strony największych platform chmurowych oraz bogaty ekosystem integracji (m.in. z Hive, Spark i bazami relacyjnymi) sprawiają, że stał się naturalnym „spoiwem” współczesnych rozwiązań Big Data.
Szkolenie Apache Airflow – podstawy prezentuje praktyczne wykorzystanie tej platformy do budowy i obsługi przepływów przetwarzania danych.
Podstawowe cele szkolenia
- Zapoznanie z architekturą Apache Airflow oraz ideą DAG-ów (skierowanych grafów acyklicznych)
- Zbudowanie od podstaw przepływu, który pobiera dane i zasila hurtownię danych z wykorzystaniem narzędzi ekosystemu Big Data
Główne jego zalety
- Kompleksowe wprowadzenie do Airflow – po zakończonym szkoleniu wiesz, jak definiować zadania, zależności między nimi oraz jak przepływami zarządzać z poziomu interfejsu webowego
- Przedstawienie praktycznych przykładów: operatory Bash, Python, Hive i Spark, wymiana danych między zadaniami (XCom), parametryzacja z użyciem Jinja, definicje połączeń, grupowanie zadań oraz obsługa warunków i błędów
- Praktyka przed teorią – nie tylko wiesz jak, ale także dlaczego
Dla kogo?
Programiści, analitycy i inżynierowie danych, którzy znają podstawy Big Data i chcą automatyzować oraz harmonogramować procesy przetwarzania danych z wykorzystaniem Apache Airflow
Wymagania
- Podstawowa znajomość języka programowania Python
- Znajomość języka SQL oraz podstaw hurtowni danych
- Ogólna orientacja w zagadnieniach Big Data oraz narzędziach takich jak Hive i Spark
- Podstawowa umiejętność pracy z wierszem poleceń systemu Linux
Materiały szkoleniowe
- Prezentacja
- Warsztat