Kursus "Andmeinsener" - kursus 95 000 hõõruda. Yandexi töökojast, koolitus 6,5 kuud, Kuupäev: 11. detsember 2023.
Varia / / November 30, 2023
Praktiseerivatele arendajatele
Õppige looma andmetega töötamiseks infrastruktuuri ja süstematiseerima oma teadmisi, et kasutada neid oma praeguses rollis või muuta suunda andmeinseneriks.
Püüdlikele andmeinseneridele
Teadmiste struktureerimine: lisaks selgele teooriale tuleb palju praktikat. Saate kogemusi projektidega töötades – see aitab teil luua portfooliot, eristuda teiste kandidaatide seast ja mitte eksida reaalses töös.
Andmeteaduse spetsialistid ja analüütikud
Omandage oskusi, mis aitavad teil ülesannetega tõhusamalt toime tulla: koostage andmekonveierid, kujundage vitriine, ehitage ETL-i ja koguge algandmeid suurtes kogustes.
Andmemudeli värskendamine
1 moodul 2 nädalat
Ettevõte jätkab teid oma protsessidesse sukeldumist. Andmeid, millega töötasite, on värskendatud, seega peate muutma andmemudelit.
Sellel kursusel sa:
- mõista, kuidas ettevõte koostab andmebaasi;
- uuendada olemasoleva andmebaasi struktuuri vastavalt uutele ärinõuetele;
- valmistada ette uusi esitlusi ja mõõdikuid analüütikutele ja juhtidele.
Tehnoloogiad ja tööriistad:
- PostgreSQL
+1 projekt portfellis
Looge veebipoe vaatajaskonna analüüsi jaoks järkjärgulise laadimisega andmemarket.
DWH: andmemudeli läbivaatamine
Moodul 2 3 nädalat
Ettevõte kasvab, andmearhitektuur muutub keerukamaks. Teile antakse ülesanne – optimeerida protsesse andmetega.
Sellel kursusel sa:
- mõelda läbi vanalt andmebaasiskeemilt uuele ülemineku protsess, minimeerides samal ajal ärikahju (null seisakuaega juurutus);
- valmistada ette andmete migratsioon;
- arvestada võimalike probleemidega ja kavandada võimalus muudatuste tagasipööramiseks;
- rakendama uut andmebaasi struktuuri ja kohandama seda olemasolevate protsessidega andmete ümber.
Tehnoloogiad ja tööriistad:
- PosgreSQL
- Python
+1 projekt portfellis
Seadke andmemudeli korda ja migreerite andmed veebipoe praeguses salvestusruumis.
ETL: andmete ettevalmistamise automatiseerimine
Moodul 3 3 nädalat
Nüüd teate ettevõtte andmelaost peaaegu kõike. On aeg ETL-i protsessid ümber mõelda.
Sellel kursusel sa:
- automatiseerida andmekonveier;
- seadistada andmete automaatne allalaadimine allikatest;
- õppida regulaarselt ja järk-järgult andmeid andmebaasi laadima.
Tehnoloogiad ja tööriistad:
- Python
- Õhuvool
- PostgreSQL
+1 projekt portfellis
Looge e-kaubanduse projekti jaoks andmete automatiseeritud vastuvõtmiseks, töötlemiseks ja laadimiseks allikatest kauplusesse torujuhe.
Andmete kvaliteedi kontroll
Moodul 4 1 nädal
Soovite olla kindel, et teie esimesed torujuhtmed töötavad hästi. Andmete kvaliteeti tuleb kontrollida ja rikkeid tuleb õigeaegselt jälgida.
Sellel kursusel sa:
- mõistab metainfot ja dokumentatsiooni kasutada;
- hinnata andmete kvaliteeti.
DWH mitme allika jaoks
Moodul 5 2 nädalat
Jätkate DWH uurimist, sest ettevõtte arengut ja seega ka andmemahu kasvu ei saa peatada.
Sellel kursusel sa:
- ehitada DWH nullist relatsioonilisele DBMS-ile;
- tutvuda MongoDB-ga kui andmeallikaga.
Tehnoloogiad ja tööriistad:
- PostgreSQL
- MongoDB
+1 projekt portfellis
Te kavandate ja rakendate DWH-d ettevõttesisese idufirma jaoks.
Analüütilised andmebaasid
Moodul 6 2 nädalat
Üha rohkem on spetsiifilisi struktureerimata andmeid, mida on vaja ka salvestada ja töödelda. Seetõttu tutvustame teile analüütiliste andmebaaside kontseptsiooni, kasutades näitena Vertica DBMS-i.
Sellel kursusel sa:
- õppelao korraldus Verticas;
- õppida Verticas andmetega põhitoiminguid tegema;
- ehitada Verticasse lihtne andmeladu.
Tehnoloogiad ja tööriistad:
- Vertica
- PostgreSQL
- Õhuvool
- S3
+1 projekt portfellis
Ehitage Vertica abil DWH suure koormusega madala struktureeritud messenger-andmesüsteemi jaoks.
Data Lake'i organisatsioon
Moodul 7 4 nädalat
Klassikalised lahendused ei aita toime tulla andmemahuga. Uute äriprobleemidega toimetulemiseks loote ja asustate Data Lake'i.
Sellel kursusel sa:
- kaaluge Data Lake'i arhitektuuri (trans. "andmete järv");
- õppida andmeid töötlema MPP süsteemis;
- täita Data Lake allikate andmetega;
- harjutada andmetöötlust PySparki ja Airflow abil.
Tehnoloogiad ja tööriistad:
- Hadoop
- MapReduce
- HDFS
- Apache Spark (PySpark)
+1 projekt portfellis
Looge Data Lake ja automatiseerige selles olevate andmete laadimine ja töötlemine.
Voo töötlemine
Moodul 8 3 nädalat
Suure andmehulgaga olete raskustest üle saanud, kuid ilmunud on uus ülesanne – peate aitama ettevõttel kiiremini otsuseid langetada. Siin vajate teadmisi voo andmetöötluse kohta. voogesitus).
Sellel kursusel sa:
- arvestada voo andmetöötluse iseärasusi;
- luua oma voogedastussüsteem;
- looge poe esikülg, kasutades reaalajas andmeid.
Tehnoloogiad ja tööriistad:
- Kafka
- Spark Streaming
+1 projekt portfellis
Töötate välja reaalajas andmetöötlussüsteemi.
Pilvetehnoloogiad
Moodul 9 3 nädalat
Nüüd saate töötada nii suurte andmemahtude kui ka voogudega. Jääb vaid automatiseerida pilveteenuste abil süsteemide skaleerimine.
Sellel kursusel saate teada, kuidas rakendada juba uuritud lahendusi, kuid pilves (näitena Yandex Cloud).
Tehnoloogiad ja tööriistad:
- Yandex. Pilv
- Kubernetes
- kubectl
- Redis
- PostgreSQL
+1 projekt portfellis
Arendate välja infrastruktuuri andmete pilves hoidmiseks ja töötlemiseks.
Lõpuprojekt
Moodul 10 3 nädalat
Kinnitage, et olete õppinud uusi oskusi.
Siin peate iseseisvalt valima ja rakendama äriprobleemi lahendusi. See aitab teil taaskord tugevdada õpitud tööriistade kasutamist ja iseseisvust.