{"id":1039,"date":"2024-08-28T22:52:46","date_gmt":"2024-08-28T20:52:46","guid":{"rendered":"https:\/\/jankiewicz.pl\/?p=1039"},"modified":"2025-12-16T23:14:25","modified_gmt":"2025-12-16T22:14:25","slug":"przetwarzanie-strumieni-danych-w-apache-spark","status":"publish","type":"post","link":"https:\/\/jankiewicz.pl\/index.php\/przetwarzanie-strumieni-danych-w-apache-spark\/","title":{"rendered":"Przetwarzanie strumieni danych w Apache Spark"},"content":{"rendered":"\n<h2 class=\"wp-block-heading\">Harmonogram<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\"><a href=\"#dzien1\">Dzie\u0144 1<\/a><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Wprowadzenie do przetwarzania strumieni danych<\/li>\n\n\n\n<li>Spark Streaming<\/li>\n\n\n\n<li>Spark Structured Streaming &#8211; podstawy<\/li>\n\n\n\n<li>Spark Structured Streaming &#8211; elementy zaawansowane<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Wprowadzenie<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Przetwarzanie strumieni danych z roku na rok zyskuje na znaczeniu. Ju\u017c wiele lat temu Jay Kreps w swoim artykule <em>Questioning the Lambda Architecture<\/em> udowadnia\u0142, \u017ce mechanizmy przetwarzania strumieni danych s\u0105 ju\u017c na tyle rozwini\u0119te, \u017ce rozwi\u0105zania Big Data mo\u017cna opiera\u0107 na nich w ca\u0142o\u015bci.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dzi\u015b, praktycznie ka\u017cdy podmiot, kt\u00f3ry w swojej dzia\u0142ajno\u015bci opiera si\u0119, lub po prostu wykorzystuje, przetwarzanie strumieni danych wie, \u017ce ten w\u0142a\u015bnie element jest kluczem do konkurencyjno\u015bci i uzyskiwania przewagi.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Kurs <em>Przetwarzanie strumieni danych w Apache Spark<\/em> omawia mechanizmy przetwarzania strumieni danych dost\u0119pne platformie Apache Spark, w szczeg\u00f3lno\u015bci koncentruj\u0105c si\u0119 na <em>Spark Structured Streaming<\/em>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Szkolenie prowadzone we wsp\u00f3\u0142pracy z firm\u0105 <a href=\"https:\/\/www.sages.pl\/szkolenia\/przetwarzanie-strumieni-danych-w-apache-spark\">Sages<\/a>.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Podstawowe cele szkolenia<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Zrozumienie kluczowych mechanizm\u00f3w przetwarzania strumieni danych<\/li>\n\n\n\n<li>Poznanie mechanizm\u00f3w Apache Spark pozwalaj\u0105cych na zaawansowane przetwarzanie strumieni danych<\/li>\n\n\n\n<li>Praktyczne rozpoznanie mo\u017cliwo\u015bci oraz ogranicze\u0144 Apache Spark w zakresie przetwarzania strumieni danych<\/li>\n\n\n\n<li>Implementacja szeregu proces\u00f3w przetwarzaj\u0105cych strumienie danych<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Dla kogo?<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Tw\u00f3rc\u00f3w rozwi\u0105za\u0144 Big Data, kt\u00f3rzy rozpoczynaj\u0105 swoj\u0105 przygod\u0119 ze strumieniami danych<\/li>\n\n\n\n<li>Programist\u00f3w chc\u0105cych pozna\u0107 mechanizmy i narz\u0119dzia przetwarzania strumieni danych w Apache Spark<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Zalety<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Uzupe\u0142nienie wiedzy na temat platformy Apache Spark<\/li>\n\n\n\n<li>Kompleksowy przegl\u0105d mechanizm\u00f3w Apache Spark pozwalaj\u0105cych na przetwarzanie strumieni danych<\/li>\n\n\n\n<li>Szkolenie &#8222;Przetwarzanie strumieni danych w Apache Spark&#8221; opiera si\u0119 na fundamentach przetwarzania strumieni danych i prezentuje to, w jaki spos\u00f3b adresuje je Apache Spark, dzi\u0119ki temu mo\u017cliwe jest dog\u0142\u0119bne zrozumienie wykorzystywanych mechanizm\u00f3w<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Wymagania<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Praktyczna znajomo\u015b\u0107 programowania obiektowego Java<\/li>\n\n\n\n<li>Podstawowa znajomo\u015b\u0107 j\u0119zyka Scala\/Python<\/li>\n\n\n\n<li>Znajomo\u015b\u0107 platformy Spark obejmuj\u0105ca zar\u00f3wno przetwarzanie danych RDD jak i funkcjonalno\u015b\u0107 Spark SQL, zalecane uko\u0144czenie kursu Apache Spark (<a href=\"apache-spark-z-wykorzystaniem-jezyka-scala\" target=\"_blank\" rel=\"noopener\">BIGDATA\/SPARK<\/a> alternatywnie <a href=\"apache-spark-z-wykorzystaniem-jezyka-python\" target=\"_blank\" rel=\"noopener\">BIGDATA\/PYSPARK<\/a>)<\/li>\n\n\n\n<li>Podstawowa znajomo\u015b\u0107 Apache Kafka<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Struktura kursu<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Kurs podzielony jest na tematy. Ka\u017cdy z temat\u00f3w obejmuje wyk\u0142adowy materia\u0142 wprowadzaj\u0105cy i zestaw \u0107wicze\u0144\/zada\u0144\/tutoriali,<br>\nkt\u00f3ry w praktyczny spos\u00f3b pozwala zaznajomi\u0107 si\u0119 z przedstawianym tematem.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Materia\u0142 <strong>wyk\u0142adowy<\/strong> ilustrowany jest slajdami z du\u017c\u0105 liczb\u0105 przyk\u0142ad\u00f3w.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Materia\u0142 <strong>praktyczny<\/strong> ma charakter zada\u0144\/warsztat\u00f3w\/tutoriali do samodzielnego wykonania.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Lista temat\u00f3w<a name=\"dzien1\"><\/a><\/h2>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Wprowadzenie do przetwarzania strumieni danych\n<ul class=\"wp-block-list\">\n<li>Materia\u0142 wyk\u0142adowy\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-spark-streams\/SPS00_l1_25-PrzetwarzanieStrumieniDanych-wprowadzenie-cz1.pdf\" target=\"_blank\" rel=\"noreferrer noopener nofollow\">Przetwarzanie strumieni danych &#8211; cz\u0119\u015b\u0107 1<\/a>*<\/li>\n\n\n\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-spark-streams\/SPS00_l1_25-PrzetwarzanieStrumieniDanych-wprowadzenie-cz2.pdf\" target=\"_blank\" rel=\"noreferrer noopener nofollow\">Przetwarzanie strumieni danych &#8211; cz\u0119\u015b\u0107 2<\/a>**<\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Warsztat\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-spark-streams\/SPS00_w1_25-\u015arodowisko-BigData25.pdf\" target=\"_blank\" rel=\"noreferrer noopener nofollow\">Konfiguracja \u015brodowiska<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n\n\n\n<li><em>Spark Structured Streaming<\/em> &#8211; podstawy*\n<ul class=\"wp-block-list\">\n<li>Materia\u0142 wyk\u0142adowy\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-spark-streams\/SPS02_l1_25-Spark-Structured-Streaming-podstawy.pdf\" target=\"_blank\" rel=\"noreferrer noopener nofollow\"><em>Spark Structured Streaming<\/em> &#8211; podstawy<\/a><\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Warsztat\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-spark-streams\/SPS02_w1_25-Spark-Structured-Streaming-zadania.pdf\" target=\"_blank\" rel=\"noreferrer noopener nofollow\"><em>Spark Structured Streaming<\/em> &#8211; podstawy &#8211; warsztat<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n\n\n\n<li><em>Spark Structured Streaming<\/em> &#8211; elementy zaawansowane &#8211; cz\u0119\u015b\u0107 1**\n<ul class=\"wp-block-list\">\n<li>Materia\u0142 wyk\u0142adowy\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-spark-streams\/SPS03_l1_25-Spark-Structured-Streaming-zaawansowane.pdf\" target=\"_blank\" rel=\"noreferrer noopener nofollow\"><em>Spark Structured Streaming<\/em> &#8211; elementy zaawansowane &#8211; cz\u0119\u015b\u0107 1<\/a><\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Warsztat\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-spark-streams\/SPS03_w1_25-Spark-Structured-Streaming-zadania.pdf\" target=\"_blank\" rel=\"noreferrer noopener nofollow\"><em>Spark Structured Streaming<\/em> &#8211; elementy zaawansowane &#8211; cz\u0119\u015b\u0107 1 &#8211; warsztat<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n\n\n\n<li><em>Spark Structured Streaming<\/em> &#8211; elementy zaawansowane &#8211; cz\u0119\u015b\u0107 2\n<ul class=\"wp-block-list\">\n<li>Materia\u0142 wyk\u0142adowy\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-spark-streams\/SPS03_l2_25-Spark-Structured-Streaming-zaawansowane.pdf\" target=\"_blank\" rel=\"noreferrer noopener nofollow\">Spark Structured Streaming &#8211; elementy zaawansowane &#8211; cz\u0119\u015b\u0107 2<\/a><\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Warsztat\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-spark-streams\/SPS03_w1_25-Spark-Structured-Streaming-zadania.pdf\" target=\"_blank\" rel=\"noreferrer noopener nofollow\">Spark Structured Streaming &#8211; elementy zaawansowane &#8211; cz\u0119\u015b\u0107 2 &#8211; warsztat<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Harmonogram Dzie\u0144 1 Wprowadzenie Przetwarzanie strumieni danych z roku na rok zyskuje na znaczeniu. Ju\u017c wiele lat temu Jay Kreps w swoim artykule Questioning the&hellip;<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"footnotes":""},"categories":[7],"tags":[14,44,37,17,18,72],"class_list":["post-1039","post","type-post","status-publish","format-standard","hentry","category-big-data","tag-apache-kafka","tag-gcp","tag-scala","tag-spark","tag-sql","tag-stream-processing"],"_links":{"self":[{"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/posts\/1039","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/comments?post=1039"}],"version-history":[{"count":26,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/posts\/1039\/revisions"}],"predecessor-version":[{"id":1357,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/posts\/1039\/revisions\/1357"}],"wp:attachment":[{"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/media?parent=1039"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/categories?post=1039"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/tags?post=1039"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}