Suurandmete töötlemine ja analüüs - Open Education tasuta kursus, koolitus 2 nädalat, ca 36 tundi nädalas, kuupäev 29.11.2023.
Varia / / November 30, 2023
Ph.D. Ametikoht: dotsent, juhtimissüsteemide ja robootika teaduskond, dotsent, digikultuuri kõrgkool, ITMO ülikool
Füüsika- ja matemaatikateaduste kandidaat ametikoht: ITMO ülikooli digitaalkultuuri kõrgkooli dotsent
Ph.D. Ametikoht: ITMO ülikooli digitaalkultuuri kõrgkooli dotsent
Moodul 1 Teema 1.1 Sissejuhatus andmeteadusesse Arutleb andmetüüpide ja -allikate ning põhimõtete üle andmete eraldamine ja kombineerimine, kaalude liigid, andmete puhastamise ja lünkade täitmise meetodid, juhtimine vahemikud. Teema 1.2 Andmetöötlustööriistad Arutletakse peamiste andmetöötlustööriistade üle, nagu arvutustabelid (Google'i arvutustabelid ja Excel), käsitleb andmete sortimise ja filtreerimise küsimusi, tabeliandmete (liigendtabelite) koondamise ja analüüsimise vahendeid. Teema 1.3 Visualiseerimine andmed Andmete visualiseerimise ülesanded ja meetodid erinevates tööriistades (Google'i arvutustabelid ja Excel), kvantitatiivsete ja kvalitatiivsed andmed. Kaalutakse kognitiivsete andmete visualiseerimist. Teema 1.4 Andmete analüüs ja teisendamine Käsitletakse andmete silumise ja normaliseerimise meetodeid, andmete teisendamise küsimusi. Kirjeldava statistika tüübid ja nende arvutamise meetodid on üksikasjalikult kirjeldatud. Teema 1.5 Töö aegridadega Vaadeldakse aegridadega töötamise põhimõtteid ja nende analüüsi meetodeid. Erilist tähelepanu pööratakse aegridade silumise, trendide ja aegridade sesoonsete komponentide määramise tehnikatele.
Mooduli 2 suurandmete salvestamise teema 2.1. Andmebaasihaldussüsteemid Vaadeldakse infosüsteemide arhitektuuri ja andmebaasihaldussüsteemide põhifunktsioone. Teema 2.2. Struktureeritud andmete kujundamine Vaadeldakse relatsioonilise (tabulaarse) mudeli põhimõisteid andmed, andmete kujundamine relatsioonimudelis, tabelite loomise reeglid ja terviklikkuse piirangute määratlemine. Teema 2.3. SQL - päringud andmetele ja andmebaasiobjektidele Vaadeldakse SQL-keeles andmete päringute koostamise põhimõtteid, sh projektsioon, sortimine, valikutingimuste seadmine, mitme tabeli ühendamine, hulgateoreetilised toimingud, pesastatud taotlusi. Loengus räägitakse ka andmebaasiobjektidest – vaadetest, protseduuridest/funktsioonidest, trigeritest. Antud on indeksite mõiste, mis võib parandada mitmete päringute täitmise tõhusust. Teema 2.4. NoSQL-i salvestus Arvestatakse NoSQL-süsteemide põhimõisteid ja omadusi, NoSQL-süsteemide erinevaid tüüpe ja reitinguid: võtmeväärtus, dokument, veerg ja graafik. NoSQL-i hoidlates andmetele päringute koostamise põhimõtted. Teema 2.5. MongoDB – töö dokumendisalvestusega Arutab andmete korraldamist ja päringute koostamist MongoDB-s. Esitatakse näiteid päringute loomise kohta MongoDB demo andmebaasis.