{"id":1163,"date":"2025-07-12T16:26:32","date_gmt":"2025-07-12T14:26:32","guid":{"rendered":"https:\/\/jankiewicz.pl\/?p=1163"},"modified":"2025-07-12T16:59:17","modified_gmt":"2025-07-12T14:59:17","slug":"projektowanie-platformy-big-data-z-uzyciem-narzedzi-z-rodziny-apache","status":"publish","type":"post","link":"https:\/\/jankiewicz.pl\/index.php\/projektowanie-platformy-big-data-z-uzyciem-narzedzi-z-rodziny-apache\/","title":{"rendered":"Projektowanie platformy Big Data z u\u017cyciem narz\u0119dzi z rodziny Apache"},"content":{"rendered":"<h2>Harmonogram<\/h2>\n<hr \/>\n<h3>Dzie\u0144 1<\/h3>\n<ul>\n<li>Wprowadzenie do \u015bwiata Big Data<\/li>\n<li>Hadoop &#8211; wprowadzenie<\/li>\n<li>Apache Spark &#8211; wprowadzenie<\/li>\n<li>Spark SQL &#8211; DataFrame API<\/li>\n<\/ul>\n<h3>Dzie\u0144 2<\/h3>\n<ul>\n<li>Apache Kafka<\/li>\n<li>Spark Structured Streaming<\/li>\n<\/ul>\n<h3>Dzie\u0144 3<\/h3>\n<ul>\n<li>Apache NiFi<\/li>\n<li>Apache Druid<\/li>\n<li>Apache Airflow<\/li>\n<\/ul>\n<h2>Wprowadzenie<\/h2>\n<hr>\n<p>Big Data to nie jedna, a wiele rodzin r\u00f3\u017cnorodnych produkt\u00f3w. W \u015brodowiskach on-premise\u00a0<em>Apache Hadoop<\/em>\u00a0to oczywi\u015bcie fundament, ale na tym fundamencie funkcjonuje szereg narz\u0119dzi u\u0142atwiaj\u0105cych implementacj\u0119 z\u0142o\u017conych przep\u0142yw\u00f3w danych.<\/p>\n<p>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img loading=\"lazy\" decoding=\"async\" width=\"843\" height=\"795\" src=\"https:\/\/jankiewicz.pl\/wp-content\/uploads\/2022\/10\/bigdata-apache-python.svg\" alt=\"\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/p>\n<p>Szkolenie\u00a0<strong>Projektowanie platformy Big Data z u\u017cyciem narz\u0119dzi z rodziny Apache<\/strong>\u00a0zaczyna si\u0119 od kr\u00f3tkiego wprowadzenia wyja\u015bnienia tego jak rozumie\u0107 Big Data i jakie ma cechy, aby zaraz po tym przej\u015b\u0107 do platformy\u00a0<em>Apache Spark<\/em>\u00a0i jej podstawowych API. Zagl\u0105dniemy nie tylko do rozwi\u0105za\u0144 pozwalaj\u0105cych na przetwarzanie wsadowe (<em>Spark SQL<\/em>), ale tak\u017ce do narz\u0119dzi pozwalaj\u0105cych przetwarza\u0107 strumienie danych (<em>Apache Kafka,\u00a0Spark Structured Streaming<\/em>). Zako\u0144czymy nasz\u0105 podr\u00f3\u017c na trzech narz\u0119dziach:\u00a0<em>Apache NiFi<\/em>\u00a0automatyzuj\u0105cy przep\u0142yw danych pomi\u0119dzy systemami,\u00a0<em>Apache Druid<\/em>\u00a0pozwalaj\u0105cy na analiz\u0119 danych on-line oraz\u00a0<em>Apache Airflow<\/em>, kt\u00f3ry zdobywa coraz wi\u0119ksze znaczenie w dziedzinie orkiestracji przetwarzania.<\/p>\n<p>Szkolenie prowadzone we wsp\u00f3\u0142pracy z firm\u0105\u00a0<a href=\"https:\/\/www.sages.pl\/\">Sages<\/a>.<\/p>\n<h3>Podstawowe cele szkolenia<\/h3>\n<ul>\n<li>Praktyczna umiej\u0119tno\u015b\u0107 projektowania platformy do przetwarzania du\u017cych ilo\u015bci danych<\/li>\n<li>Zdobycie wiedzy na temat powszechnie u\u017cywanych narz\u0119dzi typu open-source w Big Data<\/li>\n<\/ul>\n<h3>G\u0142\u00f3wne jego zalety<\/h3>\n<ul>\n<li>Warsztatowy charakter zaj\u0119\u0107<\/li>\n<li>U\u017cycie wielu r\u00f3\u017cnych narz\u0119dzi niezb\u0119dnych w codziennej pracy z Big Data<\/li>\n<li>\u0106wiczenia praktyczne odbywaj\u0105 si\u0119 w \u015brodowisku chmury obliczeniowej (<em>Google Cloud Platform<\/em>)<\/li>\n<li>Praktyka przed teori\u0105 \u2013 wszystkie szkolenia technologiczne prowadzone s\u0105 w formie warsztatowej. Konieczna teoria jest uzupe\u0142niana praktycznymi zadaniami<\/li>\n<li>Konkretne umiej\u0119tno\u015bci \u2013 w ramach ka\u017cdego szkolenia rozwijamy praktyczne umiej\u0119tno\u015bci zwi\u0105zane z dan\u0105 technologi\u0105 i tematyk\u0105<\/li>\n<\/ul>\n<h3>Dla kogo?<\/h3>\n<ul>\n<li>Programi\u015bci chc\u0105cy pozna\u0107 podstawy Big Data<\/li>\n<li>Osoby kt\u00f3re chcia\u0142by rozszerzy\u0107 swoj\u0105 wiedz\u0119 o podstawy r\u00f3\u017cnych narz\u0119dzi Big Data<\/li>\n<\/ul>\n<h3>Wymagania<\/h3>\n<ul>\n<li>Dobra znajomo\u015b\u0107: j\u0119zyka SQL, relacyjnego modelu danych oraz hurtowni danych<\/li>\n<li>Podstawowa znajomo\u015b\u0107 obiektowych j\u0119zyk\u00f3w programowania (Python, Java)<\/li>\n<li>Znajomo\u015b\u0107 zagadnie\u0144 Big Data, platformy Hadoop oraz powi\u0105zanych z ni\u0105 narz\u0119dzi<\/li>\n<li>Zalecany jest wcze\u015bniejszy udzia\u0142 w szkoleniu: <a href=\"https:\/\/jankiewicz.pl\/index.php\/big-data-i-platforma-hadoop-wprowadzenie\/\" target=\"_blank\" rel=\"noopener\"><em>Big Data i platforma Hadoop \u2013 wprowadzenie<\/em><\/a><\/li>\n<\/ul>\n<h2>Struktura kursu<\/h2>\n<hr \/>\n<p>Kurs podzielony jest na tematy. Ka\u017cdy z temat\u00f3w obejmuje wyk\u0142adowy materia\u0142 wprowadzaj\u0105cy i zestaw \u0107wicze\u0144\/zada\u0144\/tutoriali, kt\u00f3ry w praktyczny spos\u00f3b pozwala zaznajomi\u0107 si\u0119 z przedstawianym tematem.<\/p>\n<p>Materia\u0142 <strong>wyk\u0142adowy<\/strong> ilustrowany jest slajdami z du\u017c\u0105 liczb\u0105 przyk\u0142ad\u00f3w.<\/p>\n<p>Materia\u0142 <strong>praktyczny<\/strong> ma charakter zada\u0144\/warsztat\u00f3w\/tutoriali do samodzielnego wykonania.<\/p>\n<h2>Lista temat\u00f3w<\/h2>\n<hr \/>\n<h3>Dzie\u0144 1<\/h3>\n<ol>\n<li>Wprowadzenie do \u015bwiata Big Data\n<ul>\n<li>Materia\u0142 wyk\u0142adowy\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA01-l1_25-Co-to-jest-Big-Data.pdf\" target=\"_blank\" rel=\"noopener\">Wprowadzenie do Big Data<\/a><\/li>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA01-l2_25-Czym-jest-Hadoop-short.pdf\" target=\"_blank\" rel=\"noopener\">Hadoop \u2013 wprowadzenie<\/a><\/li>\n<\/ul>\n<\/li>\n<li>Warsztat\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA01_w1_25-Srodowisko-GCP.pdf\" target=\"_blank\" rel=\"noopener\">Konfiguracja \u015brodowiska GCP<\/a><\/li>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA01_w2_25-Putty-gcp.pdf\" target=\"_blank\" rel=\"noopener\">Konfiguracja klienta SSH PyTTY<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<li>Apache Spark \u2013 wprowadzenie\n<ul>\n<li>Materia\u0142 wyk\u0142adowy\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA03_l1_25-Spark-wprowadzenie.pdf\" target=\"_blank\" rel=\"noopener\">Spark \u2013 wprowadzenie<\/a><\/li>\n<\/ul>\n<\/li>\n<li>Warsztat\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA03_w1_24-Spark-wprowadzenie-tutorial.pdf\" target=\"_blank\" rel=\"noopener\">Spark \u2013 wprowadzenie \u2013 tutorial<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<li>Apache Spark SQL\n<ul>\n<li>Materia\u0142 wyk\u0142adowy\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA04_l1_23-DataFrames-API-SQL.pdf\" target=\"_blank\" rel=\"noopener\">Spark \u2013 DataFrame API<\/a><\/li>\n<\/ul>\n<\/li>\n<li>Warsztat\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA04_w1_24-Spark-DataFrames-API-SQL-zadania.pdf\" target=\"_blank\" rel=\"noopener\">Spark \u2013 DataFrame \u2013 zadania<\/a><\/li>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA04_w1_24-Spark-DataFrames-API-SQL-zadania.ipynb\" target=\"_blank\" rel=\"noopener\">Spark \u2013 DataFrame \u2013 notatnik (Jupyter)<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n<h3>Dzie\u0144 2<\/h3>\n<ol>\n<li>Apache Kafka\n<ul>\n<li>Materia\u0142 wyk\u0142adowy\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA05_l1_25-Kafka.pdf\" target=\"_blank\" rel=\"noopener\">Apache Kafka<\/a><\/li>\n<\/ul>\n<\/li>\n<li>Warsztat\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA05_w1_25-Kafka-zadania.pdf\" target=\"_blank\" rel=\"noopener\">Apache Kafka \u2013 warsztat<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<li>Spark Structured Streaming\n<ul>\n<li>Materia\u0142 wyk\u0142adowy\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA06_l1_25-Spark-Structured-Streaming.pdf\" target=\"_blank\" rel=\"noopener\">Spark Structured Streaming<\/a><\/li>\n<\/ul>\n<\/li>\n<li>Warsztat\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA06_w1_25-Spark-Structured-Streaming-zadania.pdf\" target=\"_blank\" rel=\"noopener\">Spark Structured Streaming \u2013 warsztat<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n<h3>Dzie\u0144 3<\/h3>\n<ol>\n<li>Apache NiFi\n<ul>\n<li>Materia\u0142 wyk\u0142adowy\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA07_l1_25-Apache-NiFi.pdf\" target=\"_blank\" rel=\"noopener\">Apache NiFi<\/a><\/li>\n<\/ul>\n<\/li>\n<li>Warsztat\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA07_w1_25-Apache-NiFi-zadania.pdf\" target=\"_blank\" rel=\"noopener\">Apache NiFi \u2013 warsztat<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<li>Apache Druid\n<ul>\n<li>Materia\u0142 wyk\u0142adowy\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA08_l1_25-Apache-Druid.pdf\" target=\"_blank\" rel=\"noopener\">Apache Druid<\/a><\/li>\n<\/ul>\n<\/li>\n<li>Warsztat\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA08_w1_25-Apache-Druid-zadania.pdf\" target=\"_blank\" rel=\"noopener\">Apache Druid \u2013 warsztat<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<li>Apache Airflow\n<ul>\n<li>Materia\u0142 wyk\u0142adowy\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA09_l1_25-Apache-Airflow.pdf\" target=\"_blank\" rel=\"noopener\">Apache Airflow<\/a><\/li>\n<\/ul>\n<\/li>\n<li>Warsztat\n<ul>\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-apache\/BDA09_w1_25-Apache-Airflow-zadania.pdf\" target=\"_blank\" rel=\"noopener\">Apache Airflow \u2013 warsztat<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"<p>Szkolenie Projektowanie platformy Big Data z u\u017cyciem narz\u0119dzi z rodziny Apache zaczyna si\u0119 od kr\u00f3tkiego wprowadzenia wyja\u015bnienia tego jak rozumie\u0107 Big Data i jakie ma cechy, aby zaraz po tym przej\u015b\u0107 do podstaw programowania w j\u0119zyku Scala oraz wykorzystania Apache Spark. Zagl\u0105dniemy nie tylko do rozwi\u0105za\u0144 pozwalaj\u0105cych na przetwarzanie wsadowe (Spark SQL), ale tak\u017ce do narz\u0119dzi pozwalaj\u0105cych przetwarza\u0107 strumienie danych (Apache Kafka, Spark Structured Streaming). Zako\u0144czymy nasz\u0105 podr\u00f3\u017c na trzech narz\u0119dziach: Apache NiFi automatyzuj\u0105cy przep\u0142yw danych pomi\u0119dzy systemami, Apache Druid pozwalaj\u0105cy na analiz\u0119 danych on-line oraz Apache Airflow, kt\u00f3ry zdobywa coraz wi\u0119ksze znaczenie w dziedzinie orkiestracji przetwarzania. <\/p>\n","protected":false},"author":2,"featured_media":459,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"footnotes":""},"categories":[7],"tags":[48,47,14,46,44,45,17,18,72],"class_list":["post-1163","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-big-data","tag-apache-airflow","tag-apache-druid","tag-apache-kafka","tag-apache-nifi","tag-gcp","tag-python","tag-spark","tag-sql","tag-stream-processing"],"_links":{"self":[{"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/posts\/1163","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/comments?post=1163"}],"version-history":[{"count":30,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/posts\/1163\/revisions"}],"predecessor-version":[{"id":1195,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/posts\/1163\/revisions\/1195"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/media\/459"}],"wp:attachment":[{"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/media?parent=1163"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/categories?post=1163"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/tags?post=1163"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}