Летната школа Мултимедиски технологии ,,Диоген” има за цел да им овозможи на студентите од завршните години проширени теоретски и практични знаења во областа на мултимедиските технологии. Таа е организирана од Институтот за електроника и традиционално се одржува пред почетокот на зимскиот семестар, оваа година од 26.09.2022 до 01.10.2022.
Целта на натпреварот е да се дизајнира и тренира модел (конволуциска невронска мрежа – CNN) за детектирање на луѓе во затворен простор. Во натпреварот учествуваат екипи од по најмногу три студенти. Се започнува со дадена предтренирана CNN за детекција на луѓе во отворен простор (надвор). Потоа се снимаат видеосеквенции со луѓе во затворен простор (во ходниците на ФЕИТ) и снименото множество се анотира со подготвена алатка. Дадената CNN се применува врз снимките од затворен простор. Таа CNN не може да постигне високи перформанси, очекувано, на видеосеквенции за кои не е тренирана. Потребно е да се модифицира структурата на CNN и да се дотренира CNN за детекција на луѓе во затворен простор. Модификацијата може да содржи нов код додаден во кодот добиен на почетокот од летната школа. Не е дозволено користење на готови мрежи од други извори. Дотренирањето се прави со секвенциите снимени и анотирани во претходните чекори, како и со било кои множества на слики од интернет. На крајот од периодот за адаптирање на моделот, моделот и изворниот код за тренирање се предаваат на комисијата.
Во натпреварот тестирањето се прави со нови видеосеквенции. Потребно е да се снимат видеосеквенции за тестирање. Секој тим снима видеосеквенција од 10 секунди. Сите снимени секвенции го сочинуваат множеството за тестирање. Тимовите ја имаат слободата да снимат секвенција со било која содржина во дадениот простор. Снимањето се извршува со истата статична камера во истиот простор за сите тимови. Се очекува дека тимовите ќе снимат креативни видеосеквенции во коишто нивниот модел добро ќе ги препознава луѓето, а противничките модели лошо. Се применуваат дизајнираните модели врз тест секвенциите и се пресметуваат перформансите. Победува моделот со најдобри перформанси.
Теми што се изучуваат на школата:
На летната школа студентите ќе имаат можност да се стекнат со нови знаења во следните области:
- Основна обработка на слика: колор и сиви слики, зголемување/намалување на слика, подобрување на контраст, филтрирање на шум, сегментирање со праг.
- Геометриски трансформации на слика: интерполација (по најблизок сосед, билинеарна, бикубична), потсемплирање, натсемплирање, афини трансформации во 2D и 3D.
- Основна обработка на звук.
- Основи на невронски мрежи за препознавање на објекти во слика.
- Конволуциски невронски мрежи за класификација: VGG, GoogleNet, ResNet, ….
- Конволуциски невронски мрежи за детекција: FasterRCNN, YOLO, …
- Детекција на аудионастани: детекција на настани во сообраќај.
- Сегментација на медицински слики: сегментација на CT-слики од `рбетен столб.
