Apache Spark z wykorzystaniem języka Scala

Harmonogram

Dzień 1

• Scala
• Spark – wprowadzenie
• Spark – RDD (Spark Core)

Dzień 2

• Spark – DataFrames (Spark SQL)
• Spark – Dataset (Spark SQL)
• Spark – Delta Lake

Dzień 3

• Spark – projekt
  • projektowanie hurtowni danych
  • implementacja procesów ETL
  • interaktywna analiza danych
• Spark – ML

Wprowadzenie

Apache Spark określany jest mianem standardu de-facto przetwarzania Big Data.
Jego popularność, występowanie praktycznie w ramach każdej z platform chmurowych, w środowiskach on-premise, API dla języków Scala, Java, ale także Python i R w pełni uzasadnia to twierdzenie.

Szkolenie Apache Spark z wykorzystaniem języka Scala prezentuje praktyczne wykorzystanie platformy Apache Spark w kontekście przetwarzania Big Data.

Szkolenie prowadzone we współpracy z firmą Sages.

Podstawowe cele szkolenia

• Zapoznanie z platformą Spark oraz jej API w języku Scala
• Pokazanie metod analizy dużej ilości danych

Główne jego zalety

• Kompleksowe wprowadzenie do platformy Spark – po zakończonym szkoleniu znasz możliwości i zakres funkcjonalności Sparka.
• Przedstawienie praktycznych przykładów oraz praktyk związanych z analizą dużej ilości danych
• Praktyka przed teorią – nie tylko wiesz jak, ale także dlaczego

Dla kogo?

• Programiści i analitycy, którzy znają podstawy Big Data oraz hurtowni danych i chcą rozpocząć przygodę z
  wykorzystaniem platformy Spark oraz językiem Scala

Wymagania

• Dobra znajomość: języka SQL, relacyjnego modelu danych oraz hurtowni danych
• Podstawowa znajomość obiektowych języków programowania np.: Java, Python lub Scala
• Znajomość zagadnień Big Data, platformy Hadoop oraz powiązanych z nią narzędzi
• Zalecany jest wcześniejszy udział w szkoleniu: Big Data i platforma Hadoop – wprowadzenie

Struktura kursu

Kurs podzielony jest na tematy. Każdy z tematów obejmuje wykładowy materiał wprowadzający i zestaw ćwiczeń/zadań/tutoriali,
który w praktyczny sposób pozwala zaznajomić się z przedstawianym tematem.

Materiał wykładowy ilustrowany jest slajdami z dużą liczbą przykładów.

Materiał praktyczny ma charakter zadań/warsztatów/tutoriali do samodzielnego wykonania.

Lista tematów

Dzień 1

0. Wprowadzenie
   • Materiał wykładowy
     • Plan szkolenia
   • Warsztat
     • Konfiguracja środowiska GCP
1. Scala
   • Materiał wykładowy
     • Scala – wprowadzenie
     • Scala – wprowadzenie – notatnik (Databricks) – html
     • Scala – wprowadzenie – notatnik (Databricks)
   • Warsztat
     • Scala – warsztaty
2. Spark – Wprowadzenie
   • Materiał wykładowy
     • Spark – wprowadzenie
   • Warsztat
     • Spark – wprowadzenie – tutorial (IntelliJ IDEA)
3. Spark – RDD (Spark Core)
   • Materiał wykładowy
     • Spark – RDD
     • Scala – RDD – notatnik (Databricks) – html
   • Warsztat
     • Spark – RDD – warsztaty
     • Spark – RDD – notatnik (Jupyter)
     • Rozwiązania

Dzień 2

1. Spark SQL – DataFrame
   • Materiał wykładowy
     • Spark – DataFrame
   • Warsztat
     • Spark – DataFrame – warsztaty
     • Spark – DataFrame – notatnik (Jupyter)
     • Rozwiązania
2. Spark SQL – Dataset
   • Materiał wykładowy
     • Spark – Dataset
   • Warsztat
     • Spark – Dataset – warsztaty
     • Rozwiązania
3. Spark – Delta Lake
   • Materiał wykładowy
     • Spark – Delta Lake
   • Warsztat
     • Spark – Delta Lake – zadania
     • Spark – Delta Lake – notatnik (Jupyter)
     • Rozwiązania

Dzień 3

1. Spark SQL – projekt
   • Warsztat
     • Spark SQL – projekt
2. Spark – ML
   • Materiał wykładowy
     • Spark – ML
   • Warsztat
     • Spark – ML – zadania
     • Spark – ML – notatnik (Zeppelin)
     • Rozwiązania