Advanced Topics in Computer Vision Systems

• Képfeldolgozás alapok 

Bevezetés a képek digitális reprezentációjába, alapvető transzformációk, szűrések és hisztogram-manipuláció. A képfeldolgozás célja és szerepe a számítógépes látás rendszerekben. 

• Tradicionális (pl. morfológia, szegmentálás, mozgás) képfeldolgozási megoldások 

Klasszikus algoritmusok: éldetektálás, morfológiai műveletek, binarizálás, régió alapú szegmentálás, mozgásdetektálás és háttérmodellezés alapelvei, alkalmazási példákkal. 

• Konvolúciós neurális hálók a képfeldolgozásban 

A CNN-ek működése, főbb rétegtípusok, architektúrák (pl. VGG, ResNet), képklasszifikáció, detekció és szegmentálás feladatok megoldása konvolúciós hálókkal. 

• Transformer-alapú megoldások a képfeldolgozásban 

A transformer architektúra alapjai, Vision Transformer (ViT), Swin Transformer és ezek előnyei a képi reprezentációkban. Kontraszt a CNN-ekkel és felhasználási területek. 

• Tudásdesztilláció 

A tudásdesztilláció célja egy nagy, jól teljesítő „tanár" modell ismereteinek átadása egy kisebb, hatékonyabb „diák" modellnek. Ennek során a diák a tanár kimeneteit vagy belső reprezentációit tanulja meg, így közelíti meg annak teljesítményét kisebb számítási igény mellett. 

• Megerősítéses tanulás 

Agent-környezet interakció, jutalmazási rendszerek, alapvető algoritmusok (pl. Q-learning). Képfeldolgozási feladatokhoz való kapcsolódása, például robotikában vagy játékokban. 

• World Model, nagy adatbázisok, önfelügyelt tanítás, kíváncsiság modellek   

World Model koncepciók, adatok szerepe, annotált képadatbázisok jelentősége. BYOL, DINO, JEPA. Felfedező jellegű viselkedés elősegítése ön-felügyelt tanulási folyamatokhoz. 

• Multimodális modellek, Vizuális-Nyelvi modellek (VLM) 

Több érzékelt modalitás integrálása (pl. szöveg, hang, kép). Kép és szöveg összekapcsolása multimodális modellekben. CLIP, Flamingo. Közös reprezentációk létrehozása, felhasználás kereséshez, leírásgeneráláshoz, döntéstámogatáshoz. Vision-Language-Action (VLA) modellek és robotikai alkalmazásaik. 

• Generatív technikák, diffúzió 

Generatív modellek alapjai. GAN, VAE, diffúziós modellek. Diffúziós módszerek interpretációi, architektúrái (U-Net, DiT), flow matching. Diffúzió kondícionálása, irányítása (CFG). Nyílt modellek (pl. Stable Diffusion, MovieGen). Alkalmazások: képrekonstrukció, stílustranszfer, deepfake, inverz problémák, robotika (diffusion policy). 

• Vizuális odometria, Structure-from-Motion, SLAM 

VO/SfM/SLAM: alapproblémák, különbségek és szokványos megoldási módszerek.  Lokalizáció és 3D rekonstrukció képi jellemzők alapján (trianguláció, PnP, bundle adjustment). Loop closure. Elterjedt open source megoldások: COLMAP, ORB-SLAM, hloc. Mélytanulás alapú megközelítések: koordináta regresszió (ACE, DUSt3R), diffúzió. 

• 3D Geometriai adatok reprezentációja és feldolgozása 

Pontfelhők, hálók, implicit és voxel reprezentációk. Hatékony adastruktúrák: oktális és kd-fák, VDB, térhash. Geometriai leírók, felületi normálisok és görbületek becslése. Reprezentációk közötti konverziók, rekonstrukció mért adatokból: masírozó kockák, térfogati fúzió, Poisson rekonstrukció. Lokális és globális regisztráció. 3D mélytanulás speciális architektúrái. Elterjedt szoftverek bemutatása (pl. ParaView, Open3D, Pytorch3D). 

• Neurális mezők, térbeli modellezés (NeRF, 3DGS) 

Differenciálható képszintézisen alapuló 3D rekonstrukció alapjai. Új irányvonalak a 3D reprezentációban: Neural Distance/Occupancy/Radiance Fields (NeRF) és 3D Gaussian Splatting (3DGS). Koordináta-alapú neurális hálók sajátosságai: pozícionális kódolás, aktivációs függvények (SIREN), kondícionálás lehetőségei. Hibrid reprezentációk (Instant NGP). Adatvezérelt és generatív megközelítések. 

• Adatszintézis, Szimulátorok, Sim2Real küszöb 

Mesterséges adatok előállítása tanításhoz. Szimulációs környezetek (pl. Carla, Habitat, Isaac Gym) és az ebből tanult modellek valós világra való általánosíthatóságának kihívásai. 

• Válogatott alkalmazási területek 

Képfeldolgozás alkalmazása az orvosi képalkotásban, autonóm járművekben, ipari ellenőrzésben, biztonságtechnikában és más területeken. Esettanulmányok és gyakorlati példák.