ОБРАБОТКА И ГЕНЕРАЦИЯ ИЗОБРАЖЕНИЙ
Курс
ПРЕПОДАВАТЕЛЬ
Валерия Ефимова
Преподаватель курса
«Я занимаюсь наукой с 2016 года и защитила кандидатскую по генерации изображений, а исследования в этой области я провожу уже 4 года. Из всех знаний и опыта и появился курс „Обработка и генерация изображений“, который я читаю второй год. Он состоит из двух модулей: обработка изображений и их генерация».
СОДЕРЖАНИЕ КУРСА
ОБРАБОТКА ИЗОБРАЖЕНИЙ
  • основы глубокого обучения
  • классификация
  • детекция
  • сегментация
  • построение карты глубины

ГЕНЕРАЦИЯ ИЗОБРАЖЕНИЙ
  • вариационные автокодировщики
  • генеративно-состязательные сети
  • авторегрессионные модели (трансформеры)
  • диффузионные модели (DALL-E, StableDiffusion)
  • условная генерация изображений (по изображению и по тексту)
  • методы оценки качества решения задач
ОБНОВЛЕНИЯ
Каждый год в области компьютерного зрения появляются новые методы и модели, например, диффузионные модели стали популярны осенью 2022, а контролируемая диффузия появилась только в 2023 году. Поэтому ежегодно мы дополняем курс на основе современных исследований, чтобы студенты могли получать самые актуальные знания.
ПРАКТИКА
На практических занятиях мы рассматриваем код и практики реализации нейронных сетей для компьютерного зрения.

Программировать предлагается на языке Python с использованием фреймворка Pytorch, но домашние задания можно выполнять на любом языке. Для обучения нейронных сетей требуются вычислительные ресурсы — графические ускорители, GPU, — их бесплатно предоставляет Google Colaboratory (Colab), поэтому код для практик написан в виде тетрадок для Colab.
ПОЛЬЗА
Курс поможет вам разобраться в компьютерном зрении и методах решения задач для обработки и генерации изображений.

Вы поймете основные принципы построения архитектур моделей для работы с изображениями, и при решении новой задачи компьютерного зрения будете интуитивно знать, какой архитектуры нейронную сеть применить и сможете ее реализовать.
ЧТО ИЗУЧИТЬ ПО ТЕМЕ
Открытых цельных курсов, которые бы покрывали рассматриваемые темы, нет.

Для начала стоит изучить базовое глубокое обучение на курсах С.И. Николенко, который тоже читает лекции в нашей магистратуре.

Также могу посоветовать лекции Летней школы AIRI в 2023 году (про диффузионные модели, 3D реконструкцию и оптимальный транспорт) и специализацию по генеративным моделям (генеративно-состязательные сети) на Coursera.

Также рекомендую лекции IT академии Samsung (детекция, сегментация, оптический поток, поиск похожих изображений).