Apache Sparki raamistik arendajatele: kõrgtase - kursus 41 500 hõõruda. IBS Koolituskeskusest, koolitus 24 tundi, kuupäev 26.11.2023.
Varia / / December 05, 2023
Koolitus annab üksikasjaliku ülevaate Apache Spark raamistiku sisemisest ülesehitusest ja toimimisest – nii Spark Core (RDD), Spark SQL, Spark Streaming kui ka Spark Structured Streaming. Vaadeldakse erinevate klastrihaldurite kontrolli all olevate Sparki klastri komponentide käivitamise mehhanisme, ressursside (eelkõige mälu) jaotuse haldamist ning planeerijate töömehhanisme. Üksikasjalikult uuritakse volframi sisemise esitusvormingu eeliseid ja katalüsaatori optimeerija tööd.
Käsitletavad teemad:
Spark sisearhitektuur, Spark Runtime Environment
Spark Contexti seadistamine, SparkConf
RDD sisemised, loogiline paigutus
RDD-ga programmeerimise parimad tavad
Füüsiline plaan: töö, etapid, ülesanded
Planeerijad ja füüsilise plaani täitmine
Mälu häälestamine, serialiseerimine, vahemällu salvestamine, prügikoristus
Andmeallika API, volframi sisemine andmeesitus, failivormingud
Katalüsaatori optimeerija
Microbatch Spark Streaming: andmete vastuvõtmine ja väljastamine
Struktureeritud voogesitus: andmete vastuvõtmine ja levitamine