| 1. | Наслов на наставниот предмет | Паралелно и дистрибуирано машинско учење | |||||||||||
| 2. | Код | 4ФЕИТ07011 | |||||||||||
| 3. | Студиска програма | 8-КМ-ИНН, 19-МВ, 21-ПНМИ | |||||||||||
| 4. | Организатор на студиската програма
(единица, односно институт, катедра, оддел) |
Факултет за електротехника и информациски технологии | |||||||||||
| 5. | Степен (прв, втор, трет циклус) | Втор циклус студии | |||||||||||
| 6. | Академска година/семестар | I/1 | 7. | Број на ЕКТС кредити | 6.00 | ||||||||
| 8. | Наставник | Д-р Даниел Денковски | |||||||||||
| 9. | Предуслов за запишување на предметот | ||||||||||||
| 10. | Цели на предметната програма (компетенции):
Познавање и разбирање на основните концепти кај паралелното и дистрибуираното машинско учење. Со овој предмет, студентот ќе се стекне со знаење за практично користење на напредни алатки, техники и софтвер, како и способност да решава практични проблеми од доменот на машинско учење во паралелни и дистрибуирани околини. |
||||||||||||
| 11. | Содржина на програмата:
Паралелност кај проблеми на машинско учење, со особен фокус на длабоко учење. Графички процесори (GPU) и тензор процесори (TPU) и практична употреба во машинско учење. Паралелност на ниво на податоци. Поделба и дистрибуирање на податоците, синхронизација на модел и ажурирање на модел. Паралелна редукција. Проблем на дистрибуирана пресметка на градиент. Паралелност на ниво на модел: хоризонтална (интраслојна поделба на модел, паралелност на ниво на тензор) и вертикална паралелност (меѓуслојна поделба на модел, pipeline паралелност). Напредни концепти на паралелно и дистрибуирано учење. Федеративно учење. Зачувување на безбедноста и приватноста со употреба на федеративното учење. Алгоритми за агрегација на модел. Хоризонтално, вертикално и поделено (split) федеративно учење. Персонализација на модели. Евалуација на перформанси и ефикасност на паралелно и на дистрибуирано учење. |
||||||||||||
| 12. | Методи на учење:
Предавања, самостојна работа на проектни задачи и изработка на семинарски работи |
||||||||||||
| 13. | Вкупен расположив фонд на време | 180 | |||||||||||
| 14. | Распределба на расположивото време | 3 + 3 | |||||||||||
| 15. | Форми на наставните активности | 15.1 | Предавања – теоретска настава | 45 часови | |||||||||
| 15.2 | Вежби (лабораториски, аудиториски), семинари, тимска работа | 45 часови | |||||||||||
| 16. | Други форми на активности | 16.1 | Проектни задачи | 30 часови | |||||||||
| 16.2 | Самостојни задачи | 30 часови | |||||||||||
| 16.3 | Домашно учење | 30 часови | |||||||||||
| 17. | Начин на оценување | ||||||||||||
| 17.1 | Тестови | 0 бодови | |||||||||||
| 17.2 | Семинарска работа/проект (презентација: писмена и усна) | 50 бодови | |||||||||||
| 17.3. | Активност и учење | 0 бодови | |||||||||||
| 17.4. | Завршен испит | 50 бодови | |||||||||||
| 18. | Критериуми за оценување (бодови/оценка) | до 50 бода | 5 (пет) (F) | ||||||||||
| од 51 до 60 бода | 6 (шест) (E) | ||||||||||||
| од 61 до 70 бода | 7 (седум) (D) | ||||||||||||
| од 71 до 80 бода | 8 (осум) (C) | ||||||||||||
| од 81 до 90 бода | 9 (девет) (B) | ||||||||||||
| од 91 до 100 бода | 10 (десет) (A) | ||||||||||||
| 19. | Услов за потпис и полагање на завршен испит | Редовно присуство на предавањата | |||||||||||
| 20. | Начин на полагање на испитот | Секој студент мора да изработи задолжителна проектна задача. Завршен испит со времетраење од 90 минути. Во конечната оценка влегуваат поените од проектната задача и завршниот испит. | |||||||||||
| 21. | Јазик на кој се изведува наставата | Македонски и Англиски | |||||||||||
| 22. | Метод на следење на квалитетот на наставата | Самоевалуација | |||||||||||
| 23. | Литература | ||||||||||||
| 23.1. | Задолжителна литература | ||||||||||||
| Ред.
број |
Автор | Наслов | Издавач | Година | |||||||||
| 1. | Guanhua Wang | Distributed Machine Learning with Python: Accelerating model training and serving with distributed systems | Packt Publishing | 2022 | |||||||||
| 2. | Heiko Ludwig and Nathalie Baracaldo | Federated Learning: A Comprehensive Overview of Methods and Applications | Springer | 2022 | |||||||||
| 23.2. | Дополнителна литература | ||||||||||||
| Ред.
број |
Автор | Наслов | Издавач | Година | |||||||||
| 1. | Arun Kumar Sangaiah | Deep Learning and Parallel Computing Environment for Bioengineering Systems | Elsevier Science | 2019 | |||||||||
