202    Глава 5. Основы машинного обучения

КРАТКИЕ ИТОГИ ГЛАВЫ

.Цель.модели.машинного.обучения.—.обобщение:.обеспечить.максимально. точную.интерпретацию.ранее.не.встречавшихся.ей.данных..Это.сложнее,. чем.кажется.

.Глубокая.нейронная.сеть.учится.обобщать,.обучаясь.интерполировать.пере- ходы.между.обучающими.образцами,.—.можно.сказать,.что.обученная.модель. изучила.«скрытое.многообразие».обучающих.данных..Вот.почему.модели. глубокого.обучения.могут.более.или.менее.успешно.интерпретировать.только. те.данные,.которые.близки.к.увиденным.ими.во.время.обучения.

.Фундаментальная.проблема.машинного.обучения.—.противоречие между оптимизацией и общностью:.чтобы.достичь.общности,.необходимо.сначала. добиться.хорошей.подгонки.модели.под.обучающие.данные,.но.через.какое-то. время.улучшение.подгонки.модели.под.обучающие.данные.неизбежно.начнет. вредить.ее.общности..Все.передовые.приемы.глубокого.обучения.направлены. на.преодоление.этого.противоречия.

.Способность.моделей.глубокого.обучения.к.обобщению.обусловлена.умением.аппроксимировать.скрытое многообразие.их.данных.и.за.счет.этого. интерпретировать.новые.входные.данные,.применяя.интерполяцию.

.Очень.важно.иметь.возможность.точно.оценить.обобщающую.способность. модели.во.время.ее.разработки..Для.этого.существует.множество.методов. оценки,.от.простой.проверки.с.расщеплением.выборки.до.перекрестной. проверки.по.K.блокам.и.перекрестной.проверки.по.K.блокам.с.перемешиванием..Не.забывайте.всегда.создавать.отдельную.контрольную.выборку.для. окончательной.оценки.модели.и.не.используйте.ее.для.проверки.в.процессе. обучения,.чтобы.исключить.утечку.информации.из.контрольных.данных. в.вашу.модель.

.Начиная.работать.над.моделью,.сначала.создайте.такую,.которая.обладает. хоть.какой-то.способностью.к.обобщению.и.может.переобучаться..В.этом. вам.помогут:.настройка.скорости.обучения.и.размера.пакета,.использование. более.подходящих.архитектур,.увеличение.емкости.модели.или.просто.более. длительное.обучение.

.Получив.модель,.способную.переобучаться,.переключитесь.на.улучшение. ее.способности.к.обобщению.за.счет.регуляризации..Попробуйте.уменьшить. емкость.модели,.добавить.регуляризацию.весов.или.прореживание,.используйте.раннюю.остановку..И.естественно,.не.забывайте.о.данных:.чем.больше. набор.данных.и.чем.они.качественнее,.тем.выше.будет.способность.модели. к.обобщению.

Обобщенный6процесс машинного обучения

В этой главе

33 Этапы определения задачи машинного обучения.

33 Этапы разработки действующей модели.

33 Этапы развертывания модели в промышленном окружении и ее обслуживание.

В.предыдущих.примерах.предполагалось,.что.у.нас.есть.готовый.маркированный. набор.данных.и.возможность.немедленно.начать.обучение.модели..В.реальном. мире.так.бывает.очень.редко..Вам.придется.начинать.не.с.создания.набора.данных,.а.с.определения.задачи.

Представьте,.что.вы.открываете.свой.консалтинговый.центр.по.машинному.обучению..Вы.регистрируетесь,.создаете.яркий.сайт,.уведомляете.потенциальных. клиентов.—.и.вам.начинают.поступать.проекты:

.персонализированный.механизм.поиска.по.фотографиям.в.социальной.сети:. вы.вводите.слово.«свадьба».—.и.получаете.все.фотографии,.сделанные.на. свадьбах,.без.необходимости.добавлять.метки.вручную;

.определение.спама.и.оскорбительных.выражений.в.сообщениях.нового.чатприложения;

.системы.подбора.музыкальных.рекомендаций.для.слушателей.интернетрадио;

204    Глава 6. Обобщенный процесс машинного обучения

.выявление.мошеннических.действий.с.кредитными.картами.на.веб-сайте. электронной.коммерции;

.прогнозирование.процента.переходов.по.рекламным.ссылкам,.чтобы.решить,. какое.объявление.показывать.тому.или.иному.пользователю.в.данный.момент;

.выявление.бракованных.изделий.на.конвейерной.ленте.линии.по.производству.печенья;

.использование.спутниковых.изображений.для.предсказания.местонахождения.еще.не.обнаруженных.археологических.памятников.

ЗАМЕЧАНИЕ ПО ЭТИКЕ

Иногда вам могут поступать проекты, сомнительные с этической точки зрения, например «создание модели ИИ, оценивающей надежность человека по его портрету». Во-первых, сомнительна сама обоснованность такого проекта: непонятно, как надежность может отразиться на лице. Во-вторых, подобная задача открывает двери всевозможным этическим проблемам. Подбор данных для этой задачи равносилен фиксации предубеждений людей, которые будут добавлять метки к изображениям. Модели, обученные на таких данных, перенесут предубеждения в черный ящик алгоритма, придавая им тонкий налет легитимности. В таком технологически малограмотном обществе, как наше, вердикт «алгоритм ИИ сказал, что этому человеку нельзя доверять», как ни странно, будет казаться более весомым и объективным, чем «Джон Смит сказал, что этому человеку нельзя доверять», — несмотря на то что первый представляет лишь усвоенное приближение к последнему. Ваша модель будет обелять и распространять наихудшие аспекты человеческих суждений с негативными последствиями для реальных людей.

Технологии не бывают нейтральными. Если ваша работа имеет какое-ли- бо влияние на мир, это влияние имеет моральную сторону: технические решения являются также этическим выбором. Всегда обдумывайте, какие ценности вы хотите поддерживать в своей работе.

Было.бы.очень.удобно.иметь.возможность.импортировать.корректный.набор. данных.из.keras.datasets.и.попробовать.некоторые.модели.глубокого.обучения.. К.сожалению,.в.реальной.жизни.вам.придется.начинать.с.нуля.

В.этой.главе.вы.познакомитесь.с.универсальным.пошаговым.планом,.который. можно.использовать.для.решения.любых.задач.машинного.обучения.—.в.том. числе.перечисленных.в.списке.выше..Этот.шаблон,.объединив.и.обобщив.все,. что.вы.узнали.в.главах.4.и.5,.даст.вам.дополнительную.практику,.которая.поможет.закрепить.сведения.следующих.глав.