-
Apache Hudi – wprowadzenie
Wprowadzenie Apache Hudi (Hadoop Upserts Deletes and Incrementals) to platforma, która wprowadza do jezior danych możliwości znane z hurtowni i baz danych: modyfikowanie i usuwanie pojedynczych rekordów, transakcyjność, historię zmian oraz przyrostowe odczytywanie danych. Razem z Delta Lake i Apache Iceberg tworzy grupę formatów tabel określanych mianem lakehouse, ale wyróżnia się nastawieniem na aktualizacje w…
-
Trino – wprowadzenie
Wprowadzenie Trino (dawniej PrestoSQL) to rozproszony silnik zapytań SQL, który pozwala analizować dane tam, gdzie się znajdują, bez ich kopiowania i bez procesów ETL. Jednym zapytaniem można sięgać do wielu różnych źródeł: systemów plików Hadoop i magazynów obiektowych, relacyjnych baz danych, a także systemów strumieniowych. Popularność Trino w środowiskach analitycznych, integracja z narzędziami BI oraz…
-
Apache Airflow – podstawy
Apache Airflow jest jednym z najczęściej wykorzystywanych narzędzi do orkiestracji przepływów danych. Pozwala opisać cały proces, od pobrania danych, przez ich przetworzenie, po załadowanie do hurtowni, jako kod w języku Python i uruchamiać go w sposób powtarzalny, harmonogramowany i monitorowany. Popularność Airflow, wsparcie ze strony największych platform chmurowych oraz bogaty ekosystem integracji (m.in. z Hive,…
-
Apache Spark z wykorzystaniem języka Python
Jeszcze niedawno dokumentacja Apache Spark przykładowe fragmenty kodu w ramach dostarczanych API prezentowała w kolejności: Scala, Java, Python R. Od wersji 3.5.0 ta kolejność jest już inna: Python, Scala, Java, R. Popularność języka Python robi swoje, znaczenie dla świata Data Science to jeszcze potęguje.
-
Apache Spark z wykorzystaniem języka Scala
Apache Spark określany jest mianem standardu de-facto przetwarzania Big Data. Jego popularność, występowanie praktycznie w ramach każdej z platform chmurowych, w środowiskach on-premise, API dla języków Scala, Java, ale także Python i R w pełni uzasadnia to twierdzenie. Kurs Apache Spark z wykorzystaniem języka Scala prezentuje praktyczne wykorzystanie platformy Apache Spark w kontekście przetwarzania Big…
-
Bazy danych NoSQL
Fundamenty dla baz danych NoSQL powstały w latach 2006-2007 wraz z rozwiązaniami takimi jak BigTable (Google) i Dynamo (Amazon). W latach 2007-2009 powstały najważniejsze z obecnie funkcjonujących baz danych noSQL: MongoDB, HBase, Redis, Cassandra, Neo4j. Kurs przedstawia wybrane bazy danych i silniki przetwarzania danych – liderów w swoich kategoriach wśród baz danych NoSQL.
-
Big Data i platforma Hadoop – wprowadzenie
Kurs Big Data i platforma Hadoop – wprowadzenie jest praktycznym wprowadzeniem do tematyki Big Data, ze szczególnym uwzględnieniem platformy Hadoop oraz jej podstawowych narzędzi.
-
Projektowanie platformy Big Data z użyciem narzędzi z rodziny Apache
Szkolenie Projektowanie platformy Big Data z użyciem narzędzi z rodziny Apache zaczyna się od krótkiego wprowadzenia wyjaśnienia tego jak rozumieć Big Data i jakie ma cechy, aby zaraz po tym przejść do podstaw programowania w języku Scala oraz wykorzystania Apache Spark. Zaglądniemy nie tylko do rozwiązań pozwalających na przetwarzanie wsadowe (Spark SQL), ale także do…
-
Zaawansowane przetwarzanie strumieni danych w Apache Flink
Aplikacje analizujące napływające dane, reagujące na pojawiające się anomalie, śledzące przebieg procesów biznesowych, analizujące zmianę trendów w sieciach społecznościowych. Platformy odbierające bez przerwy dane z systemów źródłowych celem ich ciągłego przetwarzania dla przykładu zasilającego hurtownię danych, czy aktualizującego panele managerskie. To przykłady zastosowań, które jak powietrza potrzebują zaawansowanych platform przetwarzających strumienie danych.
-
Przetwarzanie danych przestrzennych
Harmonogram Dzień 1 Wprowadzenie do obiektowości Typ SDO_GEOMETRY Przetwarzanie danych przestrzennych Dzień 2 Standard SQL/MM Geometrie LRS Znaczenie układów współrzędnych Wprowadzenie Dane przestrzenne są jednym ważniejszych typów danych, których przetwarzanie jest niezbędne w wielu typach działalności. W większości pozostałych ich wdrożenie mogłoby znacząco podnieść jakość świadczonych usług. Czas, w których dane przestrzenne były przetwarzane tylko…
-
Przetwarzanie strumieni danych w Apache Spark
Harmonogram Dzień 1 Wprowadzenie Przetwarzanie strumieni danych z roku na rok zyskuje na znaczeniu. Już wiele lat temu Jay Kreps w swoim artykule Questioning the Lambda Architecture udowadniał, że mechanizmy przetwarzania strumieni danych są już na tyle rozwinięte, że rozwiązania Big Data można opierać na nich w całości. Dziś, praktycznie każdy podmiot, który w swojej…
-
Apache Spark dla kursu Data Science PRO + AI
Jeszcze niedawno dokumentacja Apache Spark przykładowe fragmenty kodu w ramach dostarczanych API prezentowała w kolejności: Scala, Java, Python R. Od wersji 3.5.0 ta kolejność jest już inna: Python, Scala, Java, R. Popularność języka Python robi swoje, znaczenie dla świata Data Science to jeszcze potęguje.