Számítógépes látórendszerek

Előadások: 

1. Bevezetés, a számítógépes látás alapfeladatai és problémái, szemantikus gát. Képérzékelés alapjai, emberi látás, fotodióda, CCD, CMOS, színlátás. Képi zajok és hibák forrása, homályosság, fókusz, képtárolási technikák. Színkomponensek szerepe, színterek. Képjavítási eljárások, intenzitástranszformációk, hisztogram, hisztogramtranszformációk.

2. Szűrések képtartományban, konvolúció, simító, élesítő és élkereső szűrések, nemlineáris szűrők. Éldetektálás, Canny algoritmus. Képi matematika, interpolációs technikák, illesztések. Képfeldolgozás a frekvenciatartományban, 2D Fourier transzformáció, képi spektrum vizsgálata. Szűrések frekvenciatartományban, ideális és egyéb szűrők tulajdonságai. Osztályozás spektrum alapján, periodikus zajok vizsgálata. DCT, JPEG tömörítés, Wiener-dekonvolúció.

3. Képjellemzők fajtái és kinyerése. Mintaillesztés, hasonlósági metrikák. Sarokdetektálás, lokális struktúra mátrix, KLT, Harris. Invarianciák transzformációkra, SIFT, ORB. Osztályozás módszerei: Haar-jellemzők, Viola-Jones, Bag of Visual Words, Deformable parts. Követés megoldásai: Pixel-alapú követés, Optical flow, LK és Farneback módszerek. Iteratív és piramis optical flow. HMM és Kálmán-szűrő alkalmazása, objektumpárosítás affinitás alapján.

4. Szegmentálási módszerek csoportosítása. Intenzitás alapú szegmentálás, küszöbözés, hisztogram-alapú megoldások. Klaszterezés módszerei, k-Means, MoG, Mean-shift. Régiónövesztés, Split & Merge, SRM. Watershed, gráfvágás, mozgásszegmentálás.

5. Bináris képek feldolgozása, morfológiai alapműveletek, nyitás, zárás, kontúrkeresés. Távolság és szomszédosság, Jordan-tulajdonság. Csontvázasítás. Bináris objektumleírók, Euler-szám, lenyomat, pozíció, orientáció. Objektumszámlálás és -címkézés. Hough transzformáció.

6. Gépi tanulás alapjai, tanuló rendszerek felépítése, tanulás típusai. Példák tanuló rendszerekre, kNN, SVM. Felügyelet nélküli tanulás, Eigenfaces. Neurális hálózatok, tanulás alapvető nehézségei, overfitting, adatok minősége. Felügyelt tanulás lépései. Perceptron modell, döntésfüggvény.

7. Hibafüggvények, gradiens módszer, magasabb rendű módszerek. MLP és backpropagation. Konvolúciós hálók felépítése. Híres architektúrák, VGG, Inception, ResNet, DenseNet, EfficientNet. Neurális hálók vizualizációja, adversarial támadások. Deep Learning a gyakorlatban, Konvergencia biztosítása, overfitting elkerülése. Hiperparaméterek keresése, modelltömörítés, ritkítás és együttesek.

8. Detektáló architektúrák, R-CNN variánsok, YOLO. Fontos metrikák és adatbázisok, anchor-alapú és anchor nélküli megoldások. Mask- és egyéb R-CNN kiegészítések. Szegmentáló módszerek, U-Net, felskálázási technikák. ASPP és CRF kiegészítések.

9. Videók feldolgozása, fúziós szintek, 3D konvolúció. Visszacsatolt architektúrák, RNN, BPTT, eltűnő gradiensek. LSTM és GRU, puha figyelem megoldások. Ön-figyelem, és vision-transformer megoldások.

10. Projektív geometria alapjai, transzformáció típusok és tulajdonságaik. Képalkotás geometriája, pinhole kamera modell, külső és belső paraméterek. Kamerkalibrációs módszerek, 3D markeres és sakktáblás megoldás, önkalibráció. Sztereó elrendezés, epipoláris geometria, esszenciális, fundamentális mátrix. Sztereó kalibráció, rektifikáció.

11. Diszparitás fogalma és meghatározására való módszerek, BM, SGBM, BP. 3D rekonstrukció és invarianciái, gyakorlati esetek. SLAM és SfM, többnézetű rekonstrukció. 3D információk feldolgozása, tárolási, ábrázolási módszerek, voxel, pontfelhő, mesh. Szűrések, szomszédkeresés, kd-fa. Szegmentációs módszerek, RANSAC Lokális és globális jellemzők, regisztráció. Mélytanuló technikák.

12. Hardveres gyorsitás paradigmái, SIMD architektúrák. GPU hardver felépítése, SM. GPu programozási nyelvek, SL és GPGPU megoldások. CUDA nyelv alapjai: futási és memóriamodell, hardveres lehetőségek kihasználása.

13. Egyéb képfeldolgozó hardverek: TPU felépítése, szisztolikus tömb, architektúrák, VPU megoldások. Programozható hardverek alapjai, FPGA és szeletek felépítése, tervezés folyamata. Adatutak rendszere, szuperskalár és újrakonfigurálható csővezeték.

Gyakorlatok: 

1. Képek írása/beolvasása, képjavítás, szűrések, színtér- és hisztogramtranszformációk, küszöbözés, egyszerű szegmentáló eljárások (klaszterezés, régiónövelés)

2. Képjellemzők kinyerése, él- és sarokdetektálás, Hough-transzformáció. Bináris képek feldolgozása, nyitás-zárás, objektumok számlálása, leírása és azonosítása

3. Videófolyam feldolgozása, objektumkövetés optikai áramlás segítségével, mozgásdetektálás adaptív háttérmodell segítségével

4. Mély neurális hálózatok létrehozása és tanítása osztályozási problémákra, tanítás, validáció, hiperparaméterek hangolása

5. Kamerakalibráció elvégzése, sztereó kalibráció végrehajtása, 3D rekonstrukció elvégzése, szegmentáció 3D-ben

6. Konzultációs alkalom a házi feladathoz