Data Engineering in Practice

Hét

Előadás anyaga

1.

A Data Engineer szerepkör. A data engineering életciklus és elemei.
Az előadás keretében bemutatjuk az adatmérnök (data engineer) szerepkört, külön kiemelve az elmúlt évekbeli és jövőben várható trendeket a szakmai piacon. Ismertetjük a data engineering életciklust, annak elemeit, valamint az adatmérnökök által leggyakrabban használt technológiákat. Kitérünk a felhő alapú megoldások előnyeire és hátrányaira.

2.

Adatforrások, adatgenerálás
Az előadás témája az adatforrások és adatgenerálás bemutatása. Mivel minden adatmérnöki folyamat vagy pipeline egy vagy több adatforrásból indul ki, körbejárjuk ezeknek a típusait, külön figyelmet szentelve az adatmérnökök által gyakran végzett feladatokra. Bemutatjuk a különböző adatformátumokat.

3.

Batch alapú adatfeldolgozás
Az előadás súlyponti témája a batch alapú adatfeldolgozás megismerése. Bemutatjuk a batch és a streaming alapú adatfeldolgozás közötti különbséget. Kitérünk az ETL (Extract-Transform-Load) és ELT (Extract-Load-Transform) folyamatok részleteire, illetve ismertetjük a state-of-the-art technológiákat.

4.

Streaming alapú adatfeldolgozás
Az előadás keretében bemutatjuk a streaming alapú adatfeldolgozás alapjait. Ismertetjük az esemény alapú streaming megoldások használatát, valamint a message queue alapú megoldásokat. Megismerkedünk az Apache Kafka technológiával.

5.

Adatbázisok, adattárolási megoldások, adattárolási absztrakciók
Az előadáson egyrészt megismerkedünk az alapvető adatbázis és adattárolási típusokkal (relációs, NoSQL, gráf alapú adatbázisok, objektum tárolók, stb.), másrészt a magasabb szintű adattárolási absztrakciókról (adattárház, data lake, data-lakehouse) biztosítunk átfogó képet.

6.

Adatmodellezés, lekérdezések
Az előadás célja, hogy a hallgatók megismerkedjenek az adatmodellezés szerepével, és elsajátítsák a legfontosabb elméleti gyakorlati ismereteket a területen (pl. csillag séma, tárgy és dimenzió táblák használata). Összetett SQL lekérdezések példáján keresztül bemutatjuk a lekérdezésekhez kapcsolódó fontosabb koncepciókat (pl. teljesítményoptimalizálás).

7.

Orchestration, ütemezés, pipeline automatizálás
Az előadáson bemutatjuk a data pipeline-okban leggyakrabban használt ütemezési koncepciókat és eszközöket (pl. Apache Airflow, Dagster, Mage). Kitérünk az automatizálás lehetőségeire a teljes data engineering életciklus során.

8.

Adatmenedzsment, adat architektúra, adatbiztonság
Az előadáson ismertetjük a DataOps fogalmát és a használt automatizációs elveket.
Bemutatjuk a jó adat architektúra tervezéséhez szükséges szempontokat, illetve azt, hogy a követelményekből kiindulva hogyan tudjuk a lehető legjobb technológiai eszközöket kiválasztani. Ismertetjük, hogy hogyan lehetséges az adatok biztonságát szem előtt tartani a teljes adatmérnöki életciklus során.

9.

Transzformációk, elosztott feldolgozó rendszerek
Az előadás fő célja a leggyakrabban használt elosztott feldolgozó rendszerek bemutatása gyakorlati példák segítségével. A hallgatók megismerkedhetnek a Pandas és Spark, valamint az ezekre épülő további technológiákkal. Bemutatjuk az elosztott rendszerek előnyeit és hátrányait.

10.

Data engineering pipeline a felhőben - AWS technológiák
Az előadáson részletesen bemutatásra kerül az AWS platform, illetve annak az adatmérnöki szerepkört érintő elemei. Egy teljes adat pipeline felépítésén keresztül megismerkedünk az iparban leggyakrabban használt felhő alapú technológiákkal. Ismertetjük az AWS platformhoz kapcsoló alapvető koncepciókat és fogalmakat.

11.

Data engineering pipeline a felhőben - AWS technológiák
Az előző előadások ismereteire építve folytatjuk az elsajátított koncepciók és technológiák gyakorlatban való bemutatást egy összetettebb példán keresztül.

12.

Infrastructure as a Code eszközök használata data engineering életciklus menedzselése során.
Az előadási központi tematikája az IaaC (Infrastructure as a Code) eszközök megismerése és használatának bemutatása. A data engineering életciklus során megvizsgáljuk, hogy hol és hogyan érdemes ezen eszközöket alkalmazni. Megismerkedünk a Terraform IaaC technológiával.

13.

Databricks
Az előadáson áttekintjük a Databricks adatplatform működését. Egy gyakorlati példa keretében megismerjük a platform használatát és a hozzá tartozó koncepciókat.

14.

Snowflake
Az előadáson áttekintjük a Snowflake felhő adatplatform működését. Egy gyakorlati példa keretében megismerjük a platform használatát és a hozzá tartozó koncepciókat.

Sorszám

Labor anyaga

1.

Adatforrások, adatgenerálás
A labor során a hallgatók kipróbálhatják a leggyakoribb adatforrásokhoz való kapcsolódást és adatkinyerést, valamint megismerkednek a leggyakoribb adatformátumokkal.

2.

Batch alapú adatfeldolgozás
A labor során a hallgatók egy batch alapú adatfeldolgozásra épülő pipeline-t építenek ki.

Streaming alapú adatfeldolgozás
A labor során a hallgatók egy streaming alapú adatfeldolgozásra épülő pipeline-t építenek ki.

4.

Adatbázisok, adattárolási megoldások, adattárolási absztrakciók, adatmodellezés, lekérdezések
A labor során a hallgatók megismerkednek a leggyakoribb adatbázistípusokkal, adatmodellezési praktikákkal, valamint lekérdezési best practice-ekkel.

5.

Adatmenedzsment, adat architektúra, adatbiztonság, ütemezés
A labor során gyakorlati példákon keresztül kitérünk az adatmenedzsment, adat architektúra, DataOps és az adatbiztonság szerepére.

6.

Cloud data pipeline, Infrastructure as a Code
A labor során egy teljes data pipeline-t építünk ki egy felhőszolgáltatónál Terraform Infrastructure as a Code szolgáltatás segítségével.

7.

Snowflake
A labor során a Snowflake szolgáltatással és annak architektúrájával ismerkedhetnek meg a hallgatók.