MLOps - määr 80 000 hõõruda. Otust, koolitus 5 kuud, kuupäev 30.11.2023.
Varia / / November 30, 2023
Saate omandada kõik vajalikud masinõppeoskused andmete voogesitamiseks ja hajutatud keskkondades. Programm sisaldab vajalikke teadmisi andmeteaduse ja andmetehnika valdkondadest, mis võimaldavad Sparkis töödelda suurandmeid ja kirjutada hajutatud algoritme.
Iga moodulit harjutate kodutööga. Koolituse lõpus ootab teid ees lõputöö, mis võimaldab teil kõik omandatud teadmised kokku võtta ja oma portfooliot täiendada. Seda saab teha osana teie andmestiku tööülesannetest või olla õppeprojekt, mis põhineb OTUS-i andmetel.
Kellele see kursus on mõeldud?
Masinõppe spetsialistidele või tarkvarainseneridele, kes soovivad õppida suurandmetega töötamist. Tavaliselt on sellised ülesanded suurtes IT-ettevõtetes, millel on suuremahuline digitaalne toode.
Andmeteadlastele, kes soovivad oma oskusi insenerioskustega tugevdada. Tänu kursusele oskad töödelda andmeid ja kuvada iseseisvalt ML-lahenduste tulemusi tootmises.
Õppimiseks vajate andmeteaduse põhioskusi. Soovitame vaadata OTUS-is olevaid Map of Data Science kursusi, et teada saada, milline koolituse tase on vajalik.
Sa õpid:
- Kasutage hajutatud keskkonnas standardseid ML torujuhtme tööriistu;
- Töötage välja oma plokid ML-i torujuhtmete jaoks;
- kohandada ML-algoritme hajutatud keskkondadele ja suurandmete tööriistadele;
- Kasutage Sparki, SparkML-i, Spark Streamingut;
- Töötada välja algoritmid andmete voogesituse ettevalmistamiseks masinõppe jaoks;
- Tagada kvaliteedikontroll ML-lahenduste tööstuslikuks kasutamiseks viimise kõikides etappides.
Nõudlus spetsialistide järele
Oskused, mida omandate, on võimalikult rakendatud ja paljutõotavad. Üha enam ilmub turule digitaalseid tooteid, mille arendamine eeldab tööd suurandmete ja vootöötlusega. Juba praegu võivad sellise oskuste kogumi ja mõningase töökogemusega spetsialistid kvalifitseeruda 270 tuhande suuruse palga saamiseks. rublad Teine suundumus - koolitus- ja valideerimisprotsesside automatiseerimine, vastupidi, mingil moel devalveerib klassikalise andmeteadlase tööd. Kõik liigub selle poole, et ka mittespetsialist suudab sobivust-ennustust teha. Seetõttu on need, kellel on vähemalt pealiskaudsed insenerioskused, juba lisatasu.
Kursuse omadused
Palju praktikat andmetega töötamiseks
Lai valik oskusi alates hajutatud ML-i ja vooandmete töötlemisest kuni tootmisväljundini
Praegused tööriistad ja tehnoloogiad: Scala, Spark, Python, Docker
Otsesuhtlus ekspertidega veebiseminaride ja Slacki vestluse kaudu
4
muidugiTegeleb andmeteaduse meeskonna arendamisega, mis pakub ettevõtte toodetele ja teenustele masinõppel põhinevaid funktsioone. Andmeteadlasena osales ta Kaspersky MLADi ja MDR AI Analysti väljatöötamises. IN...
Tegeleb andmeteaduse meeskonna arendamisega, mis pakub ettevõtte toodetele ja teenustele masinõppel põhinevaid funktsioone. Andmeteadlasena osales ta Kaspersky MLADi ja MDR AI Analysti väljatöötamises. C++ arendajana osales ta MaxPatrol SIEMi loomisel.Ta on aastaid õpetanud arvutit. MSTU GA teadusdistsipliinid. ML, C++, DS projektijuhtimise ja arenduse aruannete seeria autor meeskonnad. PC konverentsi C++ Venemaa liige. Programmijuht
8
kursused20+ aastat kogemust IT-valdkonna kohandatud arendusprojektides. Kümned edukad projektid, sealhulgas riigihankelepingute alusel. Kogemused ERP süsteemide, avatud lähtekoodiga lahenduste arendamise ja juurutamise alal, suure koormusega rakenduste tugi. Kursuste õpetaja teemal...
20+ aastat kogemust IT-valdkonna kohandatud arendusprojektides. Kümned edukad projektid, sealhulgas riigihankelepingute alusel. Kogemused ERP süsteemide, avatud lähtekoodiga lahenduste arendamise ja juurutamise alal, suure koormusega rakenduste tugi. Kursuste õpetaja teemadel Linux, Kuber, MLOps, DataOps, SolutionArchitect, IaC, SRE, samuti HighLoad kursuse mentor
1
hästiSuurandmete ja masinõppega töötamise spetsialist. 8 aastat töötas ta saidil Odnoklassniki.ru. Juhtis OK Data Labi meeskonda (laboratoorium suurandmete ja masinate valdkonna teadlastele...
Suurandmete ja masinõppega töötamise spetsialist. 8 aastat töötas ta saidil Odnoklassniki.ru. Juhtis OK Data Labi meeskonda (laboratoorium suurandmete ja masinõppe valdkonna teadlastele). Suurandmete analüüsist Odnoklassnikis on saanud ainulaadne võimalus ühendada teoreetiline koolitus ja teaduslik alus reaalsete ja nõutavate toodete väljatöötamisega. Alates 2019. aastast töötab ta Sberbankis tegevdirektorina. Tegutseb massilise isikupärastamise divisjoni soovitussüsteemide platvormi väljatöötamise klastri juhina. Ta lõpetas 2004. aastal Peterburi Riikliku Ülikooli, kus kaitses 2007. aastal doktorikraadi formaalsete loogiliste meetodite alal. Töötasin allhanke alal ligi 9 aastat, kaotamata sidet ülikooli ja teaduskeskkonnaga.
Põhiline sissejuhatus kursuse alustamiseks
-Teema 1. Gradient-laskumise ja lineaarsed mudelid
-Teema 2.Ülevaade põhilistest masinõppemeetoditest ja mõõdikutest
-Teema 3. Andmetega töötamise lähenemisviiside areng
-Teema 4.Scala programmeerimise alused
Hajutatud andmetöötluse tehnoloogiline alus
-Teema 5. Hajutatud failisüsteemid
-Teema 6. Ressursihaldurid hajutatud süsteemides
-Teema 7. Massiivselt paralleelsete ja hajutatud andmetöötlusraamistike areng
-Teema 8. Apache Spark 1 põhitõed
-Teema 9. Apache Spark 2 põhitõed
Distributed ML Basics
-Teema 10. ML-algoritmide ülekanne hajutatud keskkonda
-Teema 11.ML Apache Sparkis
-Teema 12. SparkML-i jaoks oma plokkide väljatöötamine
-Teema 13. Hüperparameetrite ja AutoML optimeerimine
Voo töötlemine
-Teema 14. Voo andmetöötlus
-Teema 15. Sparkiga kasutamiseks mõeldud kolmandate osapoolte raamatukogud
-Teema 16. Spark Streaming
-Teema 17. Struktureeritud ja pidev voogesitus Sparkis
-Teema 18. Alternatiivsed voogedastusraamistikud
Eesmärkide seadmine ja tulemuste analüüs
-Teema 19. ML projekti eesmärgi määramine ja eelanalüüs
-Teema 20. Pikaajalised ML-eesmärgid churn'i vähendamise ülesande näitel
-Teema 21.A/B testimine
-Teema 22. Täiendavad teemad
ML-i tulemuste väljastamine tootmisse
-Teema 23. Lähenemisviisid ML-lahenduste tootmisse toomisel
-Teema 24. Versioonide koostamine, reprodutseeritavus ja jälgimine
-Teema 25. Modellide serveerimine võrgus
-Teema 26. Asünkroonse voogedastuse ML ja ETL mustrid
-Teema 27. Kui teil on vaja Pythonit
ML Pythonis tootmises
-Teema 28.Tootmiskood Pythonis. Korraldus- ja pakkimiskood
-Teema 29.REST arhitektuur: Flask API
-Teema 30. Docker: struktuur, rakendus, juurutamine
-Teema 31.Kubernetes, konteineri orkestratsioon
-Teema 32.MLOPS-i tööriistad Kubernetese jaoks: KubeFlow, Seldon Core. Tööstuse heterogeensete süsteemide toimimise tunnused.
-Teema 33.Amazon Sagemaker
-Teema 34.AWS ML Service
Täpsemad teemad
-Teema 35. Närvivõrgud
-Teema 36. Hajutatud õppimine ja närvivõrkude järeldamine
-Teema 37. Gradiendi suurendamine puudel
-Teema 38. Tugevdusõpe
Projektitöö
-Teema 39. Teema valik ja projektitöö korraldus
-Teema 40. Projektide ja kodutööde konsultatsioon
-Teema 41.Projekteerimistööde kaitsmine