- •Лекция 1. Введение в компьютерное зрение
- •1. История фотографии
- •2. Что такое цифровая фотография, пзс матрица
- •3. Характеристики объектива
- •Цветовое пространство lab, зачем нужна метрика ciede2000?
- •3. Особенности восприятия света человеком, цветовое пространство xyz
- •8. Цветовое пространство cmyk
- •9. Что такое цветовой охват
- •10. Что такое OpenCv
- •6. Цветовое пространство hsv
- •7. Цветовое пространство yuv
- •8. Что такое размытие изображения, какие виды размытия бывают и где их применяют
- •9. Что такое оператор Собеля и зачем он нужен
- •10. Что такое оператор Лапласа и зачем он нужен
- •11. Что такое нелинейные фильтры, приведите примеры
- •12. Что такое медиана в контексте операций над изображениями
- •13. Что такое билатеральный фильтр и зачем он нужен
- •14. Что такое компоненты связности и морфология в контексте операций над изображениями
- •Лекция 4. Манипуляции с изображениями
- •1. Что такое свертка
- •Преобразование Фурье в контексте манипуляции с изображениями
- •4. Свойства преобразования Фурье, применение теоремы о свертке в контексте манипуляции с изображениями
- •5. Что такое спектр изображения и частотные фильтры? Дайте примеры их применения. Какая связь между частотными фильтрами и свертками?
- •Фильтры низких частот.
- •Высокочастотные фильтры.
- •1. Абсолютный фильтр
- •9. Увеличение изображения - билинейная и бикубическая интерполяция
- •10. Уменьшение изображения - оператор уменьшения
- •11. Что такое пирамида изображений. Что такое пирамида Гаусса и пирамида Лапласа? Как делается блендинг изображений
- •Геометрические преобразования.
- •Лекция 5. Особые точки и выделение границ Особые точки, интуитивное понятие особой точки.
- •3. Алгоритм Харриса для нахождения углов
- •Sift детектор особых точек.
- •Surf-дескриптор.
- •Brief дескриптор.
- •Orb алгоритм
- •Сопоставление дескрипторов
- •Алгоритм выделение границ Canny.
- •Лекция 6. Сверточные нейронные сети Что такое нейронная сеть: слои, функции активации
- •Что такое нейронная сеть: слои, функции активации
- •Объясните терминологию обучения нейронных сетей: что такое эпоха, шаг, скорость обучения и размер батча? Что такое функция потерь и какие они бывают?
- •Алгоритм стохастического градиентного спуска для обучения нейронных сетей
- •Как инициализируют веса в нейронных сетях? Что такое проблема затухающих и взрывающихся градиентов? Что такое инициализация Хе (Кайминга) и Ксавье?
- •Что такое сверточный слой? Как он работает и какие параметры имеет?
- •Размеры входного и выходного изображения
- •Что такое нормализация по мини-батчам (batch normalization) и как она работает
- •Что такое дропаут и как он работает
- •Задача классификации и функции потерь для этой задачи в контексте обучения нейронных сетей
- •Опишите типичную архитектуру сверточной нейронной сети
- •Слой свёртки
- •Слой активации
- •Пулинг или слой субдискретизации
- •Полносвязная нейронная сеть
- •Перечислите несколько архитектур сверточных нейронных сетей, разберите одну подробно, например ResNet
- •Что такое transfer learning и как его осуществляют в контексте классификации изображений?
- •Лекция 7. Сегментация и детекция Что такое задача сегментации? Какие бывают виды сегментации?
- •Опишите что такое полносверточная нейронная сеть (fully convolutional neural network)
- •Что такое транспонированная свертка и для чего она нужна? Какие у нее есть альтернативы?
- •Что такое u-net? Опишите архитектуру и приведите примеры ее современных вариаций. Как обучают u-net?
- •Что такое задача детекции объектов на изображении? Опишите архитектуру yolo. Как обучают yolo?
- •Что такое якоря в контексте архитектур yolo, Faster и Mask rcnn?
- •Алгоритм nms (non maximum suppression) в контексте нейросетевых архитектур детекции
- •Что такое задача детекции объектов на изображении? Чем одностадийная детекция отличается от двухстадийной? Опишите архитектуру Mask rcnn. Чем она отличается от Faster rcnn?
- •Что такое RoI pooling и чем он отличается от RoI align в контексте архитектур Faster rcnn и Mask rcnn?
8. Что такое размытие изображения, какие виды размытия бывают и где их применяют
Размытие – преобразование, задающееся умножением 1/k на матрицу h.
Гауссовское размытие – двумерное нормальное распределение, это низкочастотный фильтр, который сглаживает неравномерные значения пикселей изображения, обрезая самые высокие значения. Получается плавная картинка, будто мазками. Размытие по Гауссу обычно используется при уменьшении размера изображения. широко используется в процессе уменьшения шума при обработке изображений
9. Что такое оператор Собеля и зачем он нужен
Оператор Собеля — дискретный дифференциальный оператор, вычисляющий приближенное значение разности яркости пикселей. Часто применяется в алгоритмах выделения границ. Результат показывает, насколько «резко» или «плавно» меняется яркость изображения в каждой точке. Оператор использует ядра 3 x 3, с которыми сворачивают исходное изображение для вычисления приближенных значений производных по горизонтали и вертикали.
10. Что такое оператор Лапласа и зачем он нужен
Оператор Лапласа: базируется на использовании производных второго порядка. Его применение для вычисления границ основано на том, что лапласиан применяет по абсолютной величине значение на участках «перегибов» функции яркости. Является практически нечувствительным к ориентации выделяемых границ, что является плюсом по сравнению с Собелем.
11. Что такое нелинейные фильтры, приведите примеры
Нелинейная фильтрация использует логические отношения между исходным изображением и шаблоном для получения результата, например, фильтр наибольшего значения и средний фильтр. Чаще используются медианный фильтр и двусторонний фильтр.
Median - В медианном размытии центральный пиксель изображения заменяется медианой всех пикселей в области ядра
Двусторонняя фильтрация - эффект шумоподавления и сохранения границ. По сравнению с Гаусс фильтрацией, у двусторонней фильтрации есть лишняя маска.
12. Что такое медиана в контексте операций над изображениями
Медианный фильтр — один из видов цифровых фильтров, используемый в цифровой обработке сигналов и изображений для уменьшения уровня шума (нелинейный). В отличие от Гаусса, устойчив к выбросам. Входные данные сортируются, и выбирается элемент, находящийся в середине. В случае четного числа элементов, считается среднее значение двух соседних в середине.
Это средний столбец в ядре свертки фильтра нечетного размера
13. Что такое билатеральный фильтр и зачем он нужен
Bilateral фильтр — сглаживающий фильтр, сохраняющий контуры деталей изображения. Заменяет значение обрабатываемого пикселя взвешенным средним значением его соседей, причем с учетом как их пространственного положения, так и яркости. Используется для борьбы с шумами.
14. Что такое компоненты связности и морфология в контексте операций над изображениями
Связной областью изображения считается такая его область (множество точек), в которой:
1. Все точки области имеют одинаковое значение (яркости или др.).
2. Между любыми двумя точками, принадлежащими данной области, существует непрерывный путь, состоящий из точек, также принадлежащих данной области, и являющихся при этом «соседями» в смысле заданного отношения соседства (8-связности или 4-связности).
Математическая морфология – семейство методов обработки бинарных изображений. Широко используется в устранении шумов. Каждая точка исходного изображения рассматривается с некоторой окрестностью. Форма и размер этой окрестности задаются структурным элементом (квадрат 3 х 3).
— Сужение — аналог &, точка принимает значение 1, если все точки в окрестности равны 1.
— Расширение — аналог |, точка принимает значение 1, если хотя бы одна точка в окрестности равна 1.
— Закрытие — последовательное выполнение расширения и сужения (применяется для устранения шумов внутри компоненты).
— Раскрытие — последовательное выполнение сужения и расширения (применяется для устранения шумов снаружи компоненты).
Применяется для подчистки масок изображений