4 godziny szkolenia, które jest wprowadzeniem do narzędzi przetwarzania strumieni danych w systemach Big Data.
Lekko, bez nadmiernych dygresji i gór informacji. W sam raz na pierwszy rzut oka.
Wprowadzenie
W maju 2022 firma Confluent przeprowadziła badanie, z którego wynika, że dla co najmniej 80% organizacji dostęp do bieżących danych jest krytyczny w ich działalności, a 68% respondentów dostrzega, że dostęp do strumieni bieżących danych i ich przetwarzanie w czasie rzeczywistym przyczynia się do wzrostu przychodów na tle konkurencji.
W dzisiejszym świecie dane są zbyt wartościowe, aby mogły czekać w bazach danych na to, aż ktoś uruchomi raport czy wykona jakieś zapytanie. Dziś to, jak szybko dane zostaną przetworzone, jak szybko uruchomią odpowiednie działania, staje się wręcz kluczowe w osiąganiu zakładanych celów.
Czego się nauczysz
W ramach warsztatu poznasz fundamenty przetwarzania strumieni danych w systemach Big Data, dowiesz się jak rozumieć strumień danych, jakie są podstawowe techniki i narzędzia przetwarzania strumieni danych. Ponadto napiszemy kilka programów, które strumienie danych przetwarzają. Kafka, Spark Structured Streaming czy Flink przestaną być tylko hasłami.
Dla kogo jest ten warsztat
Warsztat przeznaczony jest dla osób mających dobre podstawy w zakresie klasycznego (wsadowego) przetwarzania danych, a chcących poznać mechanizmy oraz narzędzia do przetwarzania takich danych, które nie czekają, a regularnie, bez przerwy, są nie tylko dostarczane, ale także na bieżąco przetwarzane i analizowane.
Wymagania wstępne
- Podstawowa wiedza IT.
- Podstawowa wiedza w zakresie języków programowania Java i Scala
- Podstawowa wiedza w zakresie relacyjnych baz danych
- Konto Google, dostęp do platformy GCP
Szkolenie prowadzone we współpracy ze Stacja IT
Program
Godzina 1
Godzina 2
- Kafka jako źródło i ujście
- Warsztat – producent strumienia danych
- Przerwa kawowa
Godzina 3
Godzina 4
- Kafka Streams – dualnie
- Warsztat – wykrywanie anomalii
- Projekt
- I co dalej? – podsumowanie i zakończenie