Harmonogram
Dzień 1
- Flink – wprowadzenie
- DataStream API – podstawy
- DataStream API – elementy zaawansowane – część 1
Dzień 2
- DataStream API – elementy zaawansowane – część 2
- DataStream API – stan, punkty kontrolne, punkty zachowania
- Table API i SQL
Dzień 3
- Complex Event Processing (CEP)
- Przetwarzanie danych wsadowych
- Przetwarzanie grafów – Gelly
Wprowadzenie
Aplikacje analizujące napływające dane, reagujące na pojawiające się anomalie, śledzące przebieg
procesów biznesowych, analizujące zmianę trendów w sieciach społecznościowych. Platformy odbierające bez przerwy dane z systemów źródłowych celem ich ciągłego przetwarzania dla przykładu zasilającego hurtownię danych, czy aktualizującego panele managerskie. To przykłady zastosowań, które jak powietrza potrzebują zaawansowanych platform przetwarzających strumienie danych.
Środowiska Big Data od ponad dekady kładą coraz większy nacisk na przetwarzanie strumieni danych.
Rezultatem tego faktu jest dynamiczny rozwój narzędzi służących do tego celu. Wydaje się, że (nie umniejszając znaczenia wielu innych narzędzi) szczytem obecnych rozwiązań jest Apache Flink, który często uznawany jest jako standard de facto przetwarzania strumieni danych w Big Data.
Szkolenie Zaawansowane przetwarzanie strumieni danych w Apache Flink obejmuje praktycznie wszystkie najważniejsze mechanizmy dostarczane przez to złożone narzędzie. Rozpoczynamy od zagadnień dotyczącej samej platformy i jej architektury, poznajmy w szczegółach podstawowe DataStream API, ostatecznie docierając do wysokopoziomowych Table API czy Complex Event Processing. Na deser zaglądamy do jednej z dodatkowych bibliotek pozwalających na przetwarzanie grafów, ewentualnie realizujemy jeden lub dwa projekty, które pozwolą nam sprawdzić nasze umiejętności.
Szkolenie prowadzone we współpracy z firmą Sages.
Podstawowe cele szkolenia
- Zapoznanie się z architekturą i Apache Flink i mechanizmami przetwarzania za jego pomocą strumieni danych
- Opanowanie poszczególnych API oferowanych przez Apache Flink, z uwzględnieniem ich specyficznych własności i zastosowań
- Implementacja szeregu praktycznych procesów przetwarzających strumienie danych
Główne zalety
- Jedno z niewielu dostępnych na rynku szkoleń dotyczących Apache Flink
- Kurs przechodzi od najbardziej podstawowych zagadnień do najbardziej złożonych co pozwala
opanować skomplikowany świat przetwarzania strumieni danych za pomocą Apache Flink - Apache Flink jest dostępny do wykorzystania zarówno w rozwiązaniach lokalnych (on-premise),
jak i na platformach chmurowych - Praktyka przed teorią – wszystkie szkolenia technologiczne prowadzone są w formie
warsztatowej. Konieczna teoria jest wyjaśniana na przykładzie praktycznych zadań - Konkretne umiejętności – w ramach każdego szkolenia rozwijamy praktyczne umiejętności
związane z daną technologią i tematyką
Dla kogo?
- Analitycy i programiści, którzy znają podstawy Big Data oraz przetwarzania strumieni danych i chcą zapoznać się z platformą Apache Flink oferującą w tym zakresie największe możliwości w porównaniu do alternatywnych rozwiązań
Wymagania
- Dobra znajomość: języka SQL, relacyjnego modelu danych
- Podstawowa znajomość obiektowych języków programowania Java oraz Scala, opcjonalnie (jako uzupełnienie) Python
- Znajomość zagadnień Big Data, platformy Hadoop oraz powiązanych z nią narzędzi
- Zalecany jest wcześniejszy udział w szkoleniach:
Struktura kursu
Kurs podzielony jest na tematy. Każdy z tematów obejmuje wykładowy materiał wprowadzający i zestaw
ćwiczeń/zadań/tutoriali, który w praktyczny sposób pozwala zaznajomić się z przedstawianym tematem.
Materiał wykładowy ilustrowany jest slajdami z dużą liczbą przykładów.
Materiał praktyczny ma charakter zadań/warsztatów/tutoriali do samodzielnego wykonania.
Lista tematów
Dzień 1
- Flink – Wprowadzenie
- Materiał wykładowy
- Warsztat
- DataStream API – Podstawy
- Materiał wykładowy
- Warsztat
- DataStream API – Elementy Zaawansowane – Część 1
Dzień 2
- DataStream API – Elementy Zaawansowane – Część 2
- DataStream API – Stan, Punkty Kontrolne, Punkty Zachowania
- Table API I SQL
- Materiał wykładowy
- Warsztat
Dzień 3
- Complex Event Processing (CEP)
- Materiał wykładowy
- Warsztat
- Przetwarzanie Danych Wsadowych
- Materiał wykładowy
- Warsztat
- Przetwarzanie Grafów – Gelly