Deep learning alkalmazása a vizuális informatikában

Hét

Előadás anyaga

1.

Bevezetés a gépi látásba, alapfeladatok, nehézségek.

Képfeldolgozás matematikai alapjai: konvolúció, Fourier transzformáció, szűrés frekvencia tartományban.

2.

GPGPU programozás alapjai: a GPU mint általános célú számítási platform.

Gyakorlat:

OpenCL/CUDA platform, párhuzamos feldolgozási primitívek, mátrix műveletek, megjelenítés OpenGL-ben.

3.

Tanuló látás, mérőszámok. Lineáris osztályozás, költségfüggvények, optimalizálási módszerek. Neurális hálózatok alapjai: moduláris backpropagation, többrétegű neurális hálók.

Gyakorlat:

Konvolúció GPU-n.

4.

Konvolúciós neurális hálók, Gépi látásban gyakran használt háló architektúrák. Tanuló látás gyakorlati problémái és praktikái.

Gyakorlat:

Képfeldolgozási műveletek megvalósítása GPU-n, élkeresés, élesítés, bilaterális szűrés, medián szűrés, hisztogram kiegyenlítés, Hough transzformáció.

5.

Neurális hálózatok GPU-n. A tanítást és kiértékelést támogató architektúrális egységek. Optimalizálás masszívan párhuzamos architektúrán.

Gyakorlat:

MLP implementálása GPU-n, egyszerű geometriai alakzatok felismerése.

6.

Deep Learning 3D-ben, térbeli struktúrák reprezentációja, volumetrikus hálók, kd-hálók, ponthálók.

Gyakorlat:

Implementált konvolúciós háló vizsgálata.

7.

Videoanalitika, vizuális figyelem, események detektálása videókon, vezető segítő rendszerek.

Gyakorlat:

Ismerkedés deep learning keretrendszerekkel.

8.

Szegmentációs és detekciós módszerek, önjáró autók vizuális intelligenciája és szenzorai, vezetéshez releváns objektumok felismerése, adatbázisok

Gyakorlat:

Közlekedési táblák osztályozása konvolúciós neurális hálózatokkal.

9.

Textúra generálás, hiányzó képrészletek kipótlása, objektumok eltüntetése. Fekete-fehér képek színezése, stílus transzfer konvolúciós hálókkal.

Gyakorlat:

Szuperfelbontás és stílus transzfer implementálása.

10.

Felügyelt tanulás hátrányai és limitációi, vizuális intelligencia. megerősítéses tanulás segítségével, DQN, REINFORCE, Actor-Critic. Számítógépes játékok ágenseinek létrehozása, kemény vizuális figyelem.

Gyakorlat:

Objektum detekció, detektált objektumok követése.

11.

Neurális hálók alkalmazása a robotikában, megerősítéses tanulás irányítási és kooperációs problémák megoldására

Gyakorlat:

Szemantikus szegmentálás robotfoci környezetben.

12.

Részecske transzport feladatok megoldása. Monte Carlo képszintézis módszerek alapjai. A Monte Carlo módszerek okozta zaj tulajdonságai. Monte Carlo képszintézis a filmkészítésben.

Gyakorlat:

Monte Carlo képszintézis módszerek tipikus zaj mintázatának csökkentése.

13.

Mélytanuló módszerek alkalmazása PET rekonstrukcióban. CT/MRI felvételek axiális szeleteinek osztályozása hagyományos módszerekkel illetve neurális hálózatokkal.

Gyakorlat:

Konvolúciós hálózatok alkalmazása voxel tömbökre.

14.

Neurális hálózatok a modellezésben.

Gyakorlat:

Megvilágítás és anyagmodell szétválasztás, BRDF rekonstrukció és generálás.