542 Глава 14. Заключение
•. интеллектуальный автоответчик.—.генерирование.однострочных.ответов. на.электронные.письма;
•. ответы на вопросы.—.генерирование.ответов.на.общие.вопросы;
•. резюмирование.—.преобразование.длинных.статей.в.краткие.обзоры.
.Отображение.изображений.в.текст:
•. распознавание текста.—.преобразование.текста.на.изображении.в.соот- ветствующую.текстовую.строку;
•. генерирование подписей.—.генерирование.коротких.подписей.к.изображе- ниям,.описывающих.их.содержимое.
.Отображение.текста.в.изображения:
•. генерирование изображений по условию.—.получение.изображений,.соот- ветствующих.коротким.текстовым.описаниям;
•. выбор/генерирование логотипов — создание.логотипа.по.названию.и.крат кому.описанию.компании.
.Отображение.изображений.в.изображения:
•. увеличение разрешения.—.отображение.изображений.с.низким.разреше- нием.в.версии.с.высоким.разрешением;
•. придание визуальной глубины.—.создание.карт.глубины.по.плоским.изо- бражениям.
.Отображение.изображений.и.текста.в.текст:
•. вопросы/ответы по изображениям.—.отображение.изображений.и.вопро- сов.об.их.содержимом.на.естественном.языке.в.ответы.на.естественном. языке.
.Отображение.видео.и.текста.в.текст:
•. вопросы/ответы по видео.—.отображение.видео.и.вопросов.об.их.содер- жимом.на.естественном.языке.в.ответы.на.естественном.языке.
Возможно.почти все,.но.не совсем все..Давайте.в.следующем.разделе.посмотрим,. чего.нельзя.сделать.с.помощью.глубокого.обучения.
14.2. ОГРАНИЧЕНИЯ ГЛУБОКОГО ОБУЧЕНИЯ
Пространство.возможных.применений.глубокого.обучения.почти.бесконечно.. И.все.же.есть.практические.области,.в.которых.глубокое.обучение.оказывается. бессильным.даже.при.наличии.огромного.объема.данных,.классифицированных. человеком..Представьте,.например,.что.у.вас.есть.возможность.собрать.сотни. тысяч.—.или.даже.миллионы.—.описаний.функций.программного.продукта.на.
14.2. Ограничения глубокого обучения 543
естественном.языке,.написанных.специалистами,.а.также.соответствующий.исходный.код,.разработанный.группой.инженеров.и.реализующий.эти.функции.. Даже.с.таким.объемом.вы.не.сможете.обучить.модель.глубокого.обучения.читать. описание.продукта.и.генерировать.соответствующий.код..Это.лишь.один.пример. из.множества..Вообще.все,.что.требует.рассуждений,.как.программирование.или. применение.научных.методов.долгосрочного.планирования.и.алгоритмического. манипулирования.данными,.недоступно.для.моделей.глубокого.обучения,.независимо.от.объема.обучающих.данных..Даже.обучение.глубокой.нейронной.сети. простой.сортировке.—.весьма.трудоемкая.задача.
Это.связано.с.тем,.что.модель.глубокого.обучения.—.всего.лишь.цепочка.простых геометрических преобразований,.отображающих.одно.векторное.пространство. в.другое..Она.может.только.отображать.одну.совокупность.данных.X.в.другую. совокупность.Y,.предполагая.существование.обучаемого.непрерывного.преобразования.из.X.в.Y..Модель.глубокого.обучения.можно.интерпретировать.как. разновидность.программы;.но.большинство программ нельзя выразить в виде моделей глубокого обучения.—.для.большинства.задач.либо.не.существует.соот- ветствующей.глубокой.нейронной.сети,.способной.решить.ее,.либо,.если.даже. она.существует,.она.может.быть.необучаемой:.соответствующее.геометрическое. преобразование.может.быть.чересчур.сложным.или.могут.отсутствовать.данные,. необходимые.для.ее.обучения.
Масштабирование.современных.методов.глубокого.обучения.путем.увеличения. числа.слоев.и.использования.больших.объемов.обучающих.данных.может.лишь. слегка.смягчить.некоторые.из.этих.проблем..Однако.это.не.решает.главных. проблем,.ограничивающих.выразительные.возможности.моделей.глубокого.об- учения,.из-за.которых.большинство.программ,.которые.вы,.возможно,.захотите. включить.в.обучение,.нельзя.выразить.как.последовательность.геометрических. преобразований.совокупности.данных.
14.2.1. Риск очеловечивания моделей глубокого обучения
На.современном.этапе.развития.ИИ.существует.реальный.риск.неверно.истолковать.то,.что.делают.модели.глубокого.обучения,.и.переоценить.их.возможности.. Фундаментальной.особенностью.человека.является.наша.теория разума:.наше. стремление.проецировать.намерения,.убеждения.и.знания.на.окружающий.мир.. Рисунок.улыбающегося.лица.на.скале.делает.ее.«счастливой».—.в.наших.умах..
Применительно.к.глубокому.обучению.это.означает,.что,.когда,.например,.нам. удается.успешно.обучить.модель,.генерирующую.подписи.к.изображениям,. мы.склонны.думать,.что.модель.«понимает».изображенное.на.них.и.генерирует. подписи..Но.потом.мы.удивляемся,.когда.любое.отступление.от.изображений,. имеющихся.в.обучающем.наборе,.заставляет.модель.генерировать.совершенно. абсурдные.подписи.(рис..14.1).
544 Глава 14. Заключение
Рис. 14.1. Ошибка системы создания подписей к изображениям, основанной на глубоком обучении
Это.особенно.ярко.подчеркивается.примерами с состязательными сетями,.когда.
в.сеть.глубокого.обучения.передаются.образцы,.сконструированные.специально.для.того,.чтобы.обмануть.модель..Вы.уже.знаете,.что.можно,.например,. выполнить.градиентное.восхождение.во.входном.пространстве.и.сгенерировать. входные.данные,.максимизирующие.функцию.активации.некоторого.сверточного. фильтра,.—.это.основа.приема.визуализации.фильтров,.представленного.в.главе.9,. а.также.алгоритма.DeepDream,.который.мы.обсуждали.в.главе.12..Аналогично. с.помощью.градиентного.восхождения.можно.немного.изменить.изображение,. чтобы.увеличить.вероятность.выбора.данного.класса.при.классификации..Сделав. снимок.панды.и.добавив.в.него.градиент.гиббона,.можно.заставить.нейронную. сеть.классифицировать.панду.как.гиббона.(рис..14.2)..Это.свидетельство.хрупкости.таких.моделей.и.является.глубоким.отличием.их.отображения.входов.
в.выходы.от.человеческого.восприятия.
Проще.говоря,.модели.глубокого.обучения.не.имеют.никакого.понимания.дан- ных,.получаемых.на.входе,.—.по.крайней.мере.не.в.человеческом.смысле..Наше. собственное.понимание.изображений,.звуков.и.языка.основано.на.сенсомоторном.человеческом.опыте..Модели.машинного.обучения.не.имеют.такого.опыта. и.поэтому.не.могут.понимать.входные.данные.подобно.человеку..Аннотируя. большие.количества.обучающих.примеров.для.передачи.в.модели,.мы.учим.их. геометрическим.преобразованиям,.отображающим.данные.в.человеческие.понятия,.на.конкретном.наборе.примеров,.но.это.всего.лишь.схематический.эскиз. представлений,.имеющихся.в.наших.умах.и.полученных.в.результате.жизненного.опыта..Это.подобно.тусклому.отражению.в.зеркале.(рис..14.3)..Модели,. создаваемые.вами,.будут.использовать.любую.возможность.для.минимизации. потерь.и.максимального.приближения.к.обучающим.данным..Например,.модели.
