Deep-learning a vizuális informatikában

1. Bevezetés a számítógépes látásba, alapfeladatok, nehézségek. Képfeldolgozás matematikai alapjai: konvolúció, Fourier transzformáció, szűrés frekvencia tartományban. 

2. Tanuló látás, mérőszámok. Lineáris osztályozás, költségfüggvények, optimalizálási módszerek. Neurális hálózatok alapjai: moduláris backpropagation, többrétegű neurális hálók. 

3. Konvolúciós neurális hálók, Gépi látásban gyakran használt háló architektúrák. Tanuló látás gyakorlati problémái és praktikái. 

4. Deep Learning a gyakorlatban, Konvergencia biztosítása, overfitting elkerülése. Hiperparaméterek keresése, modelltömörítés, ritkítás és együttesek. 

5. Szegmentálás típusai, szemantikus szegmentáló módszerek, U-Net, felskálázási technikák. ASPP és CRF kiegészítések. Adatbázisok, mérőszámok, alkalmazás autonóm járművekben, szimulációs megoldások 

6. Detektáló architektúrák, R-CNN variánsok, YOLO. Fontos metrikák és adatbázisok, anchor-alapú és anchor nélküli megoldások. Mask- és egyéb R-CNN kiegészítések. Önjáró autók vizuális intelligenciája és szenzorai, vezetéshez releváns objektumok felismerése 

7. Videoanalitika, események detektálása videókon, vezető segítő rendszerek. Figyelem típusok: térbeli és csatorna figyelem, ön-figyelem, vizuális transzformerek. 

8. Deep Learning 3D-ben, térbeli struktúrák reprezentációja: voxel, pontfelhő, mesh. Volumetrikus hálók, kd-hálók, ponthálók, mesh-hálók. Többnézetű alkalmazások 

9. Konvolúciós hálók vizualizációja. Textúra generálás, képgenerálás. Fekete-fehér képek színezése, stílus és domain transzfer konvolúciós hálókkal. 

10. Vizuális intelligencia megerősítéses tanulás segítségével, DQN, REINFORCE, Actor-Critic. Számítógépes játékok ágenseinek létrehozása, kemény vizuális figyelem. 

11. Felügyelt tanulás hátrányai és limitációi, kevés adatból történő tanulás lehetőségei: sim2real, few-shot. Kompakt reprezentációk tanulása, önfelügyelt technikák: hiányzó képrészletek kipótlása, objektumok eltüntetése.  

12. Neurális renderelés: a klasszikus számítógépes grafika technikáinak ötvözése mély generatív hálókkal szabályozható és fotorealisztikus képek előállításáért. Differenciálható renderelés: 3D színtérinformációk integrálása a háló tanításába.