Big Data i platforma Hadoop – wprowadzenie

Harmonogram

Dzień 1

• Wprowadzenie do Big Data
• Hadoop – wprowadzenie, MapReduce

Dzień 2

• HDFS, YARN
• Pig
• Hive

Dzień 3

• Wprowadzenie do baz danych NoSQL
• HBase
• Architektury Big Data

Wprowadzenie

Kurs Big Data i platforma Hadoop – wprowadzenie jest praktycznym wprowadzeniem do tematyki Big Data, ze szczególnym uwzględnieniem platformy Hadoop oraz jej podstawowych narzędzi.

Szkolenie prowadzone we współpracy z firmą Sages.

Podstawowe cele szkolenia

• Zapoznanie z platformą Hadoop
• Wykorzystanie narzędzi Pig, Hive do implementacji złożonych procesów przetwarzających dane
• Zastosowanie bazy danych HBase

Główne jego zalety

• Praktyczne wprowadzenie do tematyki Big Data – po zakończonym szkoleniu znasz podstawowe pojęcia a także możliwości i mechanizmy Big Data.
• Przedstawienie praktycznych przykładów oraz praktyk niezbędnych do przeprowadzania analizy dużych ilości danych
• Praktyka przed teorią – nie tylko wiesz jak, ale także dlaczego

Dla kogo?

• Analitycy i programiści, którzy chcą wejść w świat Big Data i rozpocząć przygodę z
  podstawowymi platformami i narzędziami które są jego synonimami

Wymagania

• Dobra znajomość: języka SQL, relacyjnego modelu danych oraz hurtowni danych
• Podstawowa znajomość obiektowych języków programowania np.: Java, Python lub Scala

Struktura kursu

Kurs podzielony jest na tematy. Każdy z tematów obejmuje wykładowy materiał wprowadzający i zestaw ćwiczeń/zadań/tutoriali,
który w praktyczny sposób pozwala zaznajomić się z przedstawianym tematem.

Materiał wykładowy ilustrowany jest slajdami z dużą liczbą przykładów.

Materiał praktyczny ma charakter zadań/warsztatów/tutoriali do samodzielnego wykonania.

Lista tematów

Dzień 1

1. Wprowadzenie
   • Materiał wykładowy
     • Plan szkolenia
2. Wprowadzenie do Big Data
   • Materiał wykładowy
     • Wprowadzenie do Big Data
   • Warsztat
     • Konfiguracja środowiska GCP
3. Hadoop – wprowadzenie, MapReduce
   • Materiał wykładowy
     • Hadoop – wprowadzenie
     • MapReduce Classic
     • Hadoop Streaming
   • Warsztat
     • MapReduce – tutorial (IntelliJ IDEA)

Dzień 2

1. HDFS, YARN
   • Materiał wykładowy
     • HDFS
     • YARN
   • Warsztat
     • HDFS, YARN – warsztaty
2. Pig
   • Materiał wykładowy
     • Pig
     • Pig – warsztaty
3. Hive
   • Materiał wykładowy
     • Hive
   • Warsztat
     • Hive – warsztat

Dzień 3

1. Wprowadzenie do baz danych NoSQL
   • Materiał wykładowy
     • Wprowadzenie do baz danych NoSQL
2. HBase
   • Materiał wykładowy
     • HBase
   • Warsztat
     • HBase – architektura, podstawy – warsztat
     • HBase – narzędzia zewnętrzne – warsztat
3. Architektury Big Data
   • Materiał wykładowy
     • Lambda
     • Kappa