Apache Spark z wykorzystaniem języka Python

Harmonogram

Dzień 1

• Spark – wprowadzenie
• Spark SQL (DataFrames)
• Spark Core (RDD)

Dzień 2

• Spark ML
• Spark Structured Streaming

Wprowadzenie

Apache Spark określany jest mianem standardu de-facto przetwarzania Big Data.
Jego popularność, występowanie praktycznie w ramach każdej z platform chmurowych, w środowiskach on-premise, API dla języków Scala, Java, ale także Python i R oraz przede wszystkim zakres dostarczanej funkcjonalności pełni uzasadnia to twierdzenie.

Szkolenie Apache Spark z wykorzystaniem języka Python prezentuje praktyczne wykorzystanie platformy Apache Spark w kontekście przetwarzania Big Data.

Szkolenie prowadzone we współpracy z firmą Sages.

Podstawowe cele szkolenia

• Zapoznanie z platformą Spark oraz jej API dla języka Python
• Wykorzystanie Apache Spark w różnych przypadkach analizy dużej ilości danych

Główne jego zalety

• Kompleksowe wprowadzenie do platformy Spark – po zakończonym szkoleniu znasz możliwości i zakres funkcjonalności Sparka.
• Przedstawienie praktycznych przykładów oraz praktyk związanych z analizą dużej ilości danych
• Praktyka przed teorią – nie tylko wiesz jak, ale także dlaczego

Dla kogo?

• Programiści i analitycy, którzy znają podstawy Big Data oraz hurtowni danych i chcą rozpocząć przygodę z
  wykorzystaniem platformy Spark w oparciu o API dla języka Python

Wymagania

• Dobra znajomość: języka SQL, relacyjnego modelu danych oraz hurtowni danych
• Podstawowa znajomość języka programowania Python
• Znajomość zagadnień Big Data, platformy Hadoop oraz powiązanych z nią narzędzi
• Zalecany jest wcześniejszy udział w szkoleniu: Big Data i platforma Hadoop – wprowadzenie

Struktura kursu

Kurs podzielony jest na tematy. Każdy z tematów obejmuje wykładowy materiał wprowadzający i zestaw ćwiczeń/zadań/tutoriali,
który w praktyczny sposób pozwala zaznajomić się z przedstawianym tematem.

Materiał wykładowy ilustrowany jest slajdami z dużą liczbą przykładów.

Materiał praktyczny ma charakter zadań/warsztatów/tutoriali do samodzielnego wykonania.

Lista tematów

Dzień 1

0. Wprowadzenie
   • Warsztat
     • Konfiguracja środowiska GCP
   • Materiał wykładowy
     • Python – wprowadzenie
   • Warsztat
     • Python – warsztat
     • Python – notatnik (Jupyter)
1. Spark – Wprowadzenie
   • Materiał wykładowy
     • Spark – wprowadzenie
     • Spark Core (RDD) – podstawy
   • Warsztat
     • Spark – wprowadzenie – tutorial (PyCharm, GCP)
2. Spark SQL (DataFrame)
   • Materiał wykładowy
     • Spark SQL (DataFrame)
   • Warsztat
     • Spark SQL (DataFrame) – warsztat
     • Spark SQL (DataFrame) – notatnik (Jupyter)
3. Spark Core (RDD)
   • Materiał wykładowy
     • Spark Core (RDD) – klucz-wartość
   • Warsztat
     • Spark Core (RDD) – warsztat
     • Spark Core (RDD) – notatnik (Jupyter)

Dzień 2

1. Spark – ML
   • Materiał wykładowy
     • Spark ML
   • Warsztat
     • Spark ML – warsztat
     • Spark ML – notatnik (Jupyter)
2. Spark Structured Streaming
   • Materiał wykładowy
     • Spark Structured Streaming
   • Warsztat
     • Spark Structured Streaming – warsztat