Andmete analüüs Pythonis ja andmebaasides (SQL) - tasuta kursus RANEPAst, koolitus, Kuupäev: 6. märts 2023.
Varia / / December 04, 2023
Pythoni andmeanalüüsi ja andmebaasi (SQL) programm annab õpilastele arusaamise Pythoni keelt kasutades ML (Machine Learning) algoritmide programmeerimise põhialustest. Samuti aitab see teil omandada mitmeid pädevusi kaasaegsete relatsiooniandmebaaside haldamise valdkonnas ja omandada praktilised oskused DBMS-i keeletööriistade (andmebaasihaldussüsteemid) kasutamisel andmed).
Ettevõtluses ja valitsuses tuleb pidevalt analüüsida tohutul hulgal andmeid hankida teavet töö kvaliteedi kontrollimiseks, esitada värskeid ideid ja põhjendada aktsepteeritud ideid otsuseid. Eksperdid, kes mõistavad tohutuid andmemahtusid, võivad oodata kiiret karjääri ja muljetavaldavat palka.
Reeglina mainitakse andmeanalüüsiga seotud töökuulutustes kõige sagedamini SQL-i ja Pythonit.
Kursusele saavad kandideerida ainult üliõpilased, kes ei õpi järgmistes valdkondades:
Programmi omandamise käigus on õpilastel võimalus (iseseisvalt või meeskonnas) tulla välja uute digitoodetega. Parimate lahenduste autorid saavad Akadeemia toetuse ning võimaluse teha koostööd RANEPA Tehisintellekti Labori ja Platvormiarenduse Laboriga.
Python
Kuidas see kõik toimib? Pythoni funktsioonid.
Miks kõik Pythonit kasutavad? Võrdlus teiste programmeerimiskeeltega. Kuidas programme kirjutada? Pythoni plussid. Kuidas kasutada Pythonit ülesannetes: tekstitöötlus, piltidega töötamine, aktsiarobotite kirjutamine, vestlusrobotite käivitamine. Sisend ja väljund Pythonis. Nimed Pythonis. Põhitoimingud. Programmi täitmise edenemise juhtimine (tingimuslikud konstruktsioonid). Näited lihtsatest programmidest.
Tsüklid. Jooned. Stringmeetodid.
Silmus eeltingimusega. Katkesta ja jätka avaldused. Silmuse jaoks Joone struktuur ja joone pikkus. Joone element ja joonte lõikamine. Alamstringi saamine stringist. Joone läbimine. Sektsioonid.
Kordad. Loendid. funktsiooni kaart. Juhuslike väärtuste loendi generaator.
Miks on kortereid vaja? Nimekirjaga töötamine. Loetle elemendid. Printige nimekiri. Nimekirjade korrektne kopeerimine. Kaardifunktsiooni kasutamise omadused. Mis on juhuslike väärtuste generaatorid? Trobikond. Tehted komplektidega. Külmutatud. Sõnaraamatud. saada meetod Sõnaraamatu läbimine.
Funktsioonid. Matemaatiliste funktsioonide rakendamine. Ulatus ja välistamine.
Kuidas funktsioone õigesti kirjutada. Lihtsad algoritmid. Esimeste funktsioonide kirjutamine. Kuidas lisada matemaatikat. Soovitused oma funktsioonide kirjutamiseks. Kuidas ulatused töötavad. Globaalsed muutujad. Funktsioonist mitme väärtuse tagastamine. Erandid.
Töötamine failidega. Maatriksid. Sorteerimise tüübid
Mida saate failidega teha? Failide avamine ja sulgemine. Tekstifailide lugemine ja kirjutamine. Maatriksid. Maatriksite täitmine. Maatriksite sisestamine ridade kaupa. Lugemis- ja kirjutamismaatriksid. Mulli sorteerimine. Algoritmi analüüs. Lahenduse mitu versiooni.
Ülevaade NumPy teegist. NumPy funktsioonidega töötamine. SciPY raamatukogu.
Pythoni raamatukogud ja nende paigaldamine. Põhilised NumPy andmetüübid. Numbrilised funktsioonid. Töötamine massiividega. Tehted massiividega. Kahemõõtmelised massiivid. Maatriksid. SciPy teegi põhifunktsioonid.
Panda raamatukogu ülevaade. Põhiline analüütika.
Teegi installimine. Seeriaobjekti loomine. DataFrame'i indekseerimine. Tabelid. Failide lugemine ja kirjutamine. Indekseerimine. Andmete valim. Tehted ridade ja veergudega. NaN-iga töötamine. Sorteerimine.
Andmete visualiseerimised. Praktilised näited
Uute andmete uurimine, eeltöötlus, andmete visualiseerimine, funktsioonide vaheliste seoste otsimine, koolitusandmete koostamine ja krediidiriski prognoosimudelite loomine. Mudeli saamine, mis vastab küsimusele: väljastada või mitte väljastada laenu.
Rutiinsete ülesannete automatiseerimine. Praktilised näited
Mitmest allikast (Exceli failid) või Internetist koondatud teabe hankimisega seotud ülesannete automatiseerimise praktiliste näidete analüüs.
Andmete analüüsiks kasutatavate masinõppemeetodite ülevaade. Praktilised näited
Praktiline näide põhitunnuste tuvastamisest ja nende tõlgendamisest juhendatud õpiprobleemis.
Vahemooduli hindamine
Ajutine sertifitseerimine toimub testi vormis (arvutitestimine). Tüüpilise katsehoone näidis:
Millist Pythoni funktsiooni saab kasutada muutuja tüübi väljaselgitamiseks?
- hwoami
- tüüp
- tüüp
- on
Milline arvude vahemik luuakse järgmises koodis: vahemik (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
Mida võimaldab loendis olev koodilõik teil täita?
- Koodilõik: print(math.sqrt(2))
- matemaatika raamatukogu numbri 2 kuvamine
- matemaatika raamatukogu ühendamine
- matemaatilise numbri ruudustamiseks
- kuvades ruutjuure kahest
SQL
Andmete salvestamine ja terviklikkus.
Andmete salvestamine: andmefailid, logid, RAID tasemed, Tempdb. Seosed andmebaasides, üks ühele, üks paljudele, palju paljudele. Andmete terviklikkus: PRIMARY KEY, CHECK, UNIQUE ja FORIGN KEY. Tabelite normaliseerimine.
Andmebaasi ja tabelite loomine.
DBMS-i arhitektuur: loogiline (tabelid ja andmetüübid, võtmed, indeksid, vaated, komplektid, piirangud, reeglid, vaikeväärtused) ja füüsilised tasemed (failid ja failirühmad, lehed). Andmebaasi loomine. Tabeliväljade andmetüübid: täpsed numbrid, Unicode'i märgistringid, ligikaudsed arvud, kahendandmed, kuupäev ja kellaaeg, muud andmetüübid, märgistringid. Tabelite koostamine. Kuhu taotlusi kirjutada?
Indeksid. Diagrammid.
Indeksid: rühmitatud, rühmitamata, kordumatu identifitseerimine, filtreeritud, veerusalve, räsi, rühmitamata, mälu optimeeritud indeks. ER diagrammid: andmebaasi diagrammid, andmebaasi sõlm. DML ja levinumad SQL-i operaatorid: SELECT, INSERT, UPDATE, DELETE. Unikaalsete tegurite tähtsus.
Taotlused. Välised ühendused.
Päringud ühel laual. Proovide võtmine ilma kordusteta. Päringud mitmes tabelis. Välimised ühendused: LEFT, RIGHT või FULL.
Koondfunktsioonid. Alampäringud.
Alampäringud: KUS COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Liitumise andmed: VALI LIITUMINE. Koondfunktsioonid: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Koondfunktsioonide tingimused.
Kasulikud funktsioonid.
Natuke veel operaatoritest. Tööstuslik taotlus. Kasulikud funktsioonid: SQRT, RAND, CONCAT, numbri- ja stringifunktsioonid. Toimingu tähtsuse ja tüübi teisendamine: CAST, CONVERT.
Tehingud. Esindus.
Üks taotlus neljal viisil. Tehingud: tehingute kontseptsioon – aatomilisus, järjepidevus, isoleeritus, vastupidavus, tehinguhaldus – COMMIT, ROLLBACK, SAVEPOINT, SET TRANACTION. Paralleelne juurdepääs andmetele: määrdunud, kordumatu lugemise, fantoomide probleemid. Vaated: indekseeritud, partitsioonitud, süsteemne.
Muutujad ja tsüklid.
Programmeerimise algus. Muutujad: DECLARE, SET, SELECT. Koodi struktuur. Andmete kirjeldamise operaatorid: CREATE, DROP, ALTER jne. Andmetöötlusoperaatorid: INSERT, DELETE, SELECT, UPDATE jne. Operaatorid andmebaasi juurdepääsuõiguste seadmiseks: GRANT / REVOKE, LOCK / UNLOCK, SET LOCK MODE Operaatorid kaitseks, andmete taastamiseks ja muudeks operaatoriteks. Tsüklid: AJAL.
Salvestatud protseduurid ja funktsioonid.
Ajutised lauad. Transact-SQL kursorid, server, klient. Kursori tüübid: ühesuunaline, staatiline, võtmekomplekt, dünaamiline. Salvestatud protseduurid ja funktsioonid: CREATE PROCEDURE, CREATE PROC.
Päästikud. Erandid.
Konveier HF. Päästikud: PÄRAST, ASEMEL. Erandid: va. Dünaamiline SQL kasutades märksõna ja kasutades salvestatud protseduuri: EXECUTE IMMEDIATE.
DBMS. NoSQL andmebaasid.
Tehingud programmeerimises/DBMS-is/SQL-is. Kuidas taotlusi täidetakse. Kuidas parandada päringu toimivust. NoSQL andmebaas ja selle eelised.
Vahemooduli hindamine
Ajutine sertifitseerimine toimub testi vormis (arvutitestimine). Tüüpilise katsehoone näidis:
Mis tüüpi väljaandmed on NUMBER tüüpi?
- string
- numbriline
- binaarne
Milline SQL-käsk küsib andmeid?
- ALTER
- VALI
- FROM
Mis on tehing?
- see on DBMS-i teostatavate toimingute rühm
- on rühm toiminguid, millel on ACID omadused
- see on SQL-käsu täitmise toiming