{"id":56,"date":"2021-06-18T17:27:49","date_gmt":"2021-06-18T15:27:49","guid":{"rendered":"http:\/\/wp.jankiewicz.pl\/index.php\/krzysztof-jankiewicz-przetwarzanie-strumieni-danych-w-srodowiskach-big-data\/"},"modified":"2022-12-09T14:41:18","modified_gmt":"2022-12-09T13:41:18","slug":"przetwarzanie-strumieni-danych-w-srodowiskach-big-data","status":"publish","type":"post","link":"https:\/\/jankiewicz.pl\/index.php\/przetwarzanie-strumieni-danych-w-srodowiskach-big-data\/","title":{"rendered":"Przetwarzanie strumieni danych w \u015brodowiskach Big Data"},"content":{"rendered":"\n<h2 class=\"wp-block-heading\">Harmonogram<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\"><a href=\"#day1\" data-type=\"internal\" data-id=\"#day1\">Dzie\u0144 1<\/a><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Big Data Stream Processing &#8211; wprowadzenie<\/li>\n\n\n\n<li>Apache Kafka jako broker wiadomo\u015bci<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\"><a href=\"#day2\" data-type=\"internal\" data-id=\"#day2\">Dzie\u0144 2<\/a><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Spark Streaming<\/li>\n\n\n\n<li>Spark Structured Streaming<\/li>\n\n\n\n<li>Kafka Streams<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\"><a href=\"#day3\" data-type=\"internal\" data-id=\"#day3\">Dzie\u0144 3<\/a><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Wprowadzenie do Apache Flink<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Projekt fina\u0142owy<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Wprowadzenie<\/h2>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"alignright size-large is-resized\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/jankiewicz.pl\/wp-content\/uploads\/2022\/06\/stream1_d7e9bc0003.svg\" alt=\"\" class=\"wp-image-202\" width=\"200\" height=\"200\"\/><\/figure>\n<\/div>\n\n\n<p>Przetwarzanie strumieni danych (<em>stream data processing<\/em>) z roku na rok zyskuje na znaczeniu w szczeg\u00f3lno\u015bci w przypadku rozwi\u0105za\u0144 Big Data. Jest ono wymagane w wielu uznanych architekturach, oferuje mo\u017cliwo\u015bci, kt\u00f3re nie spos\u00f3b osi\u0105gn\u0105\u0107 przy tradycyjnym\/wsadowym przetwarzaniu danych.<\/p>\n\n\n\n<p>Kurs <em><strong>Przetwarzanie strumieni danych w \u015brodowiskach Big Data<\/strong><\/em> wprowadza uczestnik\u00f3w w \u015bwiat mechanizm\u00f3w przetwarzania strumieni danych oraz najwa\u017cniejszych narz\u0119dzi Big Data, kt\u00f3re taki typ przetwarzania udost\u0119pniaj\u0105.<\/p>\n\n\n\n<p>Zakres szkolenia obejmuje: podstawy platformy Kafka jako brokera wiadomo\u015bci, Spark Streaming, Spark Structured Streaming, Kafka Streaming, a tak\u017ce wprowadzenie do platformy Flink.<\/p>\n\n\n\n<p>Innymi s\u0142owy, szkolenie zawiera wprowadzenie do przetwarzania strumieni danych w \u015brodowiskach Big Data oraz przegl\u0105d najwa\u017cniejszych rozwi\u0105za\u0144 pocz\u0105wszy od najprostszych, a\u017c po najbardziej skomplikowane.<\/p>\n\n\n\n<p>Szkolenie prowadzone we wsp\u00f3\u0142pracy z firm\u0105 <a href=\"https:\/\/www.sages.pl\/szkolenia\/przetwarzanie-strumieni-danych-w-big-data\">Sages<\/a>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Podstawowe cele szkolenia<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Zrozumienie najwa\u017cniejszych mechanizm\u00f3w przetwarzania strumieni danych<\/li>\n\n\n\n<li>Poznanie najwa\u017cniejszych narz\u0119dzi przetwarzania strumieni danych Big Data wraz z ich mo\u017cliwo\u015bciami oraz specyfik\u0105, kt\u00f3ra je wyr\u00f3\u017cnia.<\/li>\n\n\n\n<li>Implementacja szeregu praktycznych proces\u00f3w przetwarzaj\u0105cych strumienie danych<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">G\u0142\u00f3wne zalety<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Jedno z niewielu szkole\u0144 na rynku adresuj\u0105cych tematyk\u0119 przetwarzania strumieni danych, dokonuj\u0105c kompleksowego przegl\u0105du jej mechanizm\u00f3w i narz\u0119dzi<\/li>\n\n\n\n<li>Kurs przechodzi od najbardziej podstawowych zagadnie\u0144 do najbardziej z\u0142o\u017conych co pozwala opanowa\u0107 skomplikowany \u015bwiat przetwarzania strumieni danych<\/li>\n\n\n\n<li>Narz\u0119dzia Apache s\u0105 mo\u017cliwe do uruchomienia w rozwi\u0105zaniach lokalnych (on-premise), ale tak\u017ce dost\u0119pne s\u0105 na platformach chmurowych<\/li>\n\n\n\n<li>Praktyka przed teori\u0105 &#8211; wszystkie szkolenia technologiczne prowadzone s\u0105 w formie warsztatowej. Konieczna teoria jest wyja\u015bniana na przyk\u0142adzie praktycznych zada\u0144<\/li>\n\n\n\n<li>Konkretne umiej\u0119tno\u015bci &#8211; w ramach ka\u017cdego szkolenia rozwijamy praktyczne umiej\u0119tno\u015bci zwi\u0105zane z dan\u0105 technologi\u0105 i tematyk\u0105<\/li>\n\n\n\n<li>Nauka z praktykami &#8211; wszyscy trenerzy na co dzie\u0144 pracuj\u0105 w projektach, gwarantuje to dost\u0119p do eksperckiej wiedzy i praktycznego know-how<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">Dla kogo?<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Tw\u00f3rcy rozwi\u0105za\u0144 Big Data, kt\u00f3rzy rozpoczynaj\u0105 swoj\u0105 przygod\u0119 ze strumieniami danych<\/li>\n\n\n\n<li>Programi\u015bci chc\u0105cy pozna\u0107 mechanizmy i narz\u0119dzia przetwarzania strumieni danych w systemach Big Data<\/li>\n\n\n\n<li>Projektanci system\u00f3w Big Data, kt\u00f3rzy rozpoczynaj\u0105 projekty przetwarzaj\u0105ce strumienie danych i musz\u0105 dokona\u0107 wyboru odpowiednich narz\u0119dzi, lub zaktualizowa\u0107 wiedz\u0119 na ich temat<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">Wymagania<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Praktyczna znajomo\u015b\u0107 programowania obiektowego Java<\/li>\n\n\n\n<li>Podstawowa znajomo\u015b\u0107 j\u0119zyka Scala<\/li>\n\n\n\n<li>Znajomo\u015b\u0107 platformy Hadoop i jej podstawowych narz\u0119dzi, zalecane uko\u0144czenie kursu&nbsp;<em><a href=\"https:\/\/jankiewicz.pl\/index.php\/big-data-i-platforma-hadoop-wprowadzenie\/\" data-type=\"post\">Big Data i platforma Hadoop &#8211; wprowadzenie<\/a><\/em><\/li>\n\n\n\n<li>Znajomo\u015b\u0107 platformy Spark obejmuj\u0105ca zar\u00f3wno przetwarzanie danych RDD jak i funkcjonalno\u015b\u0107 Spark SQL, zalecane uko\u0144czenie kursu&nbsp;<em><a href=\"https:\/\/jankiewicz.pl\/index.php\/krzysztof-jankiewicz-apache-spark-z-wykorzystaniem-jezyka-scala\/\" data-type=\"post\">Apache Spark z wykorzystaniem j\u0119zyka Scala<\/a><\/em><\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Struktura Kursu<\/h2>\n\n\n\n<p>Kurs podzielony jest na tematy. Ka\u017cdy z temat\u00f3w obejmuje wyk\u0142adowy materia\u0142 wprowadzaj\u0105cy i zestaw \u0107wicze\u0144\/zada\u0144\/tutoriali, kt\u00f3ry w praktyczny spos\u00f3b pozwala zaznajomi\u0107 si\u0119 z przedstawianym tematem.<\/p>\n\n\n\n<p>Materia\u0142&nbsp;<strong>wyk\u0142adowy<\/strong>&nbsp;ilustrowany jest slajdami z du\u017c\u0105 liczb\u0105 przyk\u0142ad\u00f3w.<\/p>\n\n\n\n<p>Materia\u0142&nbsp;<strong>praktyczny<\/strong>&nbsp;ma charakter zada\u0144\/warsztat\u00f3w\/tutoriali do samodzielnego wykonania.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Lista Temat\u00f3w<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"day1\">Dzie\u0144 1<\/h3>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Big Data Stream Processing &#8211; wprowadzenie\n<ul class=\"wp-block-list\">\n<li>Materia\u0142 wyk\u0142adowy\n<ul class=\"wp-block-list\">\n<li><a rel=\"noreferrer noopener\" href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS01_l1_22-BigDataStreamProcessing-wprowadzenie.pdf\" target=\"_blank\">Big Data Stream Processing &#8211; wprowadzenie<\/a><\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Warsztat\n<ul class=\"wp-block-list\">\n<li><a rel=\"noreferrer noopener\" href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS01_w1_23-\u015arodowisko-GCP.pdf\" target=\"_blank\">Konfiguracja \u015brodowiska GCP<\/a><\/li>\n\n\n\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BD00-Putty-gcp.pdf\">Konfiguracja PyTTY i tunele SSH<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Apache Kafka jako broker wiadomo\u015bci\n<ul class=\"wp-block-list\">\n<li>Materia\u0142 wyk\u0142adowy\n<ul class=\"wp-block-list\">\n<li><a rel=\"noreferrer noopener\" href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS02_l1_22-Kafka.pdf\" target=\"_blank\">Kafka<\/a><\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Warsztat\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS02_w1_23-Kafka-gcp-zadania.pdf\" target=\"_blank\" rel=\"noreferrer noopener\">Kafka &#8211; warsztaty<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"day2\">Dzie\u0144 2<\/h3>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Spark Streaming\n<ul class=\"wp-block-list\">\n<li>Materia\u0142 wyk\u0142adowy\n<ul class=\"wp-block-list\">\n<li><a rel=\"noreferrer noopener\" href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS03_l1_22-Spark-Streaming.pdf\" target=\"_blank\">Spark Streaming<\/a><\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Warsztat\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS03_w1_23-Spark-Streaming-gcp-zadania.pdf\" target=\"_blank\" rel=\"noreferrer noopener\">Spark Streaming &#8211; warsztaty<\/a><\/li>\n\n\n\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS03_l1_23-FromLocalToHDFS.zip\">FromLocalToHDFS &#8211; projekt<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Spark Structured Streaming\n<ul class=\"wp-block-list\">\n<li>Materia\u0142 wyk\u0142adowy\n<ul class=\"wp-block-list\">\n<li><a rel=\"noreferrer noopener\" href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS04_l1_22-Spark-Structured-Streaming.pdf\" target=\"_blank\">Spark Structured Streaming<\/a><\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Warsztat\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS04_w1_23-Spark-Structured-Streaming-gcp-zadania.pdf\" target=\"_blank\" rel=\"noreferrer noopener\">Spark Structured Streaming &#8211; warsztaty<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Kafka Streams\n<ul class=\"wp-block-list\">\n<li>Materia\u0142 wyk\u0142adowy\n<ul class=\"wp-block-list\">\n<li><a rel=\"noreferrer noopener\" href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS05_l1_22-Kafka-Streams.pdf\" target=\"_blank\">Kafka Streams<\/a><\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Warsztat\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS05_w1_23-Kafka-Streams-gcp-zadania.pdf\" target=\"_blank\" rel=\"noreferrer noopener\">Kafka Streams &#8211; warsztaty<\/a><\/li>\n\n\n\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS05_w1_23-AlertRequests.zip\">AlertRequests &#8211; projekt<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"day3\">Dzie\u0144 3<\/h3>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Wprowadzenie do Apache Flink\n<ul class=\"wp-block-list\">\n<li>Materia\u0142 wyk\u0142adowy\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS06_l1_22-Flink-wprowadzenie.pdf\" target=\"_blank\" rel=\"noreferrer noopener\">Flink &#8211; wprowadzenie<\/a><\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Warsztat\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS06_w1_23-Flink-wprowadzenie-gcp-zadania.pdf\" target=\"_blank\" rel=\"noreferrer noopener\">Flink &#8211; wprowadzenie &#8211; warsztaty<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n\n\n\n<ol class=\"wp-block-list\" start=\"2\">\n<li>Projekt fina\u0142owy\n<ul class=\"wp-block-list\">\n<li>Warsztat\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/jankiewicz.pl\/szkolenia\/bigdata-bs\/BS07_w1_22-Projekt-fina\u0142owy.pdf\" target=\"_blank\" rel=\"noreferrer noopener\">Warsztat<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"<p>Jedno z niewielu szkole\u0144 na rynku, kt\u00f3re adresuje tematyk\u0119 przetwarzania strumieni danych. Dokonuje ono kompleksowego przegl\u0105du jej mechanizm\u00f3w i narz\u0119dzi.<br \/>\nKurs przechodzi od najbardziej podstawowych zagadnie\u0144 do najbardziej z\u0142o\u017conych. Pozwala to opanowa\u0107 skomplikowany \u015bwiat przetwarzania strumieni danych.<\/p>\n","protected":false},"author":2,"featured_media":183,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"footnotes":""},"categories":[7],"tags":[14,15,16,17,18],"class_list":["post-56","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-big-data","tag-apache-kafka","tag-flink","tag-kafka-streams","tag-spark","tag-sql"],"_links":{"self":[{"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/posts\/56","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/comments?post=56"}],"version-history":[{"count":40,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/posts\/56\/revisions"}],"predecessor-version":[{"id":534,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/posts\/56\/revisions\/534"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/media\/183"}],"wp:attachment":[{"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/media?parent=56"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/categories?post=56"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/jankiewicz.pl\/index.php\/wp-json\/wp\/v2\/tags?post=56"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}