Számítógépes látórendszerek

 

1. Előadás: Kép fogalma, pixel, pixeltömb. Kép és videofolyam létrehozása. Fekete fehér, színes képek. 3D képek létrehozása. Képfeldolgozás és számítógépes látás fogalma, Színkorrekció, kontraszt, hisztogram

Gyakorlat: Kép előkészítése, feldolgozása. Képtartalom javítása. Képek alapvető hibái, zaj torzítások. Zajszűrési technikák. Konvolúció. Geometriai mérések: Gradiensek és magasabb deriváltak, momentumok, kaszkád Hough

2. Előadás: Képpárosítás: A megoldandó feladat, robusztus feldolgozási fokozatok. SIFT módszer, elmélet, a Gauss szűrő kitüntetett szerepe, praktikák, paraméterek, fontosabb alternatívák. KLT, Farneback. Harris detektor, szubpixeles pontosság kérdése

3. Előadás: Szegmentálás. Küszöbözés, többcsatornás küszöbözés. Textúra alapú szegmentálás. Egyéb megoldások, K-Means, Meanshift, gráfvágás, watershed

Gyakorlat: Bináris képek kiértékelése. Bool műveletek. Erózió, dilatáció. Nyitás, zárás. Tulajdonságalapú mérések. Méretek, felület, hossz, görbület. Számlálás. Egyenes/szakasz, kör/ellipszis

4. Előadás: Mozgásanalízis. Optical flow, Lucas-Kanade, HMM, Tracking markerekkel, sok kamerával

5. Előadás: Bevezetés a gépi tanulásba, Hibafüggvény, optimalizálás, regularizáció, Lineáris modell, SVM

Gyakorlat: Többrétegű és konvolúciós neurális hálók, backpropagation, háló struktúrák, tanítás a gyakorlatban

6. Előadás: Videó feldolgozása, sorozatok, Sorozatok feldolgozása, visszacsatolt hálók, LSTM, GRU

7. Előadás: Magas szintű vizuális feladatok. Lokalizáció, Detektálás, Szemantikus- és példány szegmentálás. Speciális architektúrák

Gyakorlat: Vizualizáció és hibakeresés, Generatív modellek, Variációs Autoencoder, GAN

8. Előadás: Megerősítéses tanulás a vizuális intelligencia fejlesztésére, DQN, REINFORCE, Actor-critic hálók

9. Előadás: Kép koordinátarendszerének megválasztása, következmények. A projektív képalkotás modellje, kameramodell, kameramátrix, valódi optikák. Hiearchikus feldolgozás sémája, alulmintavételezés kérdései, geometriai transzformációk a képen, ill. a méréseken.

Gyakorlat: Projekciós mátrix és 6 pontos kamerakalibráció, elmélet. 3 sakktáblás kalibráció. A lineáris algebra numerikus módszereinek elérhetősége: Matlab, Eigen, TNT. OpenCV

10. Előadás: Epipoláris geometria, esszenciális mátrix, fundamentális mátrix. 7 és 8 pontos kalibráció. Diszparitás meghatározása.

11. Előadás: A 3D rekostrukció, bizonytalanasága: globális transzformációra nézve, ill. a rekonstrált távolságokra nézve, elfajuló esetek, praktikus problémák. 3D adatok feldolgozása.

Gyakorlat: Valósidejűség a gépi látás során. Az alapvető módszerek használhatósága különféle környezetekben. Kis erőforrást biztosító rendszerek.

12. Előadás: SIMD megoldások. Adatfolyamfeldolgozás. GPU. Elérhető eszközök, tulajdonságaik. Párhuzamos algoritmusok. Előfeldolgozás GPU-n, szűrések, küszöbözés, torzításmentesítés. Frekvenciatartománybeli megoldások

13. Előadás: Hardveralapú megoldások. Programozható hardver. Lehetőségek. Előfeldolgozás, szűrések, küszöbözés, torzításmentesítés. Pipeline megoldások, Super-pipeline, programozható pipeline. Újrakonfigurálható megoldások. TPU

Gyakorlat: Geometriai torzítás kiküszöbölése. Kép feldolgozása frekvenciatartományban, szűrések, Fourier transzformáció, FFT

14. Előadás: Készülés vizsgára, konzultáció