6.3. Развертывание модели 219
6.3. РАЗВЕРТЫВАНИЕ МОДЕЛИ
Ваша.модель.успешно.прошла.окончательную.оценку.на.контрольном.наборе. и.готова.начать.свою.плодотворную.деятельность.
6.3.1. Объяснение особенностей работы модели заинтересованным сторонам и обозначение границ ожидаемого
Успех.и.доверие.клиентов.возможны,.только.если.модель.соответствует.ожиданиям.или.превосходит.их..Фактическая.система,.которую.вы.вводите.в.экс- плуатацию,.—.это.только.половина.дела;.другая.половина.—.обозначение.перед. выпуском.границ.ожидаемого.
Неспециалисты.часто.имеют.чересчур.завышенные.требования.в.отношении. систем.искусственного.интеллекта..Например,.они.могут.ожидать,.что.система. «понимает».свою.задачу.и.способна.проявлять.человеческий.здравый.смысл. в.ее.контексте..Чтобы.решить.эту.проблему,.устройте.демонстрацию.некоторых. примеров отказа.вашей.модели.(например,.покажите,.как.выглядят.неправильно. классифицированные.образцы,.особенно.те,.для.которых.неправильная.классификация.кажется.неожиданной).
Клиенты.также.могут.рассчитывать,.что.система.будет.работать.на.уровне.человека,.особенно.если.она.создавалась.для.выполнения.работы,.которую.раньше. делали.люди..Большинство.моделей.машинного.обучения.не.достигают.своих. целей,.потому.что.обучались.на.приближенных.метках,.созданных.человеком. (и.потому.несовершенных)..Вы.должны.четко.обозначить.ожидаемые.характеристики.модели..Избегайте.абстрактных.утверждений.типа.«модель.имеет.точность. 98.%».(которые.большинство.людей.мысленно.округляют.до.100.%).и.лучше. сообщайте,.например,.о.частоте.ложноположительных.и.ложноотрицательных. результатов..Вы.могли.бы.сказать:.«С.этими.настройками.модель.будет.ложно. квалифицировать.действия.как.мошеннические.в.5.%.случаев.и.пропускать. фактическое.мошенничество.в.2,5.%.случаев..Ежедневно.в.среднем.200.законных.транзакций.будут.идентифицированы.как.мошеннические.и.отправлены.на. ручную.проверку,.14.мошеннических.транзакций.будут.пропущены.и.266.будут. идентифицированы.верно»..Четко.соотнесите.показатели.эффективности.модели. с.бизнес-целями.
Также.обсудите.с.заинтересованными.сторонами.выбор.ключевых.параметров.—. например,.порог.вероятности,.при.котором.транзакция.должна.отмечаться.как. мошенническая.(разные.пороги.будут.давать.разное.число.ложноположительных. и.ложноотрицательных.срабатываний)..Такие.решения.предполагают.компро- миссы,.которые.можно.учесть.только.при.глубоком.понимании.бизнес-контекста.
220 Глава 6. Обобщенный процесс машинного обучения
6.3.2. Предоставление доступа к модели
Работа.над.проектом.машинного.обучения.не.заканчивается.в.тот.момент,.когда. вы.доберетесь.до.блокнота.Colab.и.сохраните.там.обученную.модель..Вообще,. модели.редко.передаются.в.эксплуатацию.в.виде.объекта.на.Python,.которым. вы.манипулировали.во.время.обучения.
Во-первых,.вам.может.потребоваться.экспортировать.модель.в.какое-то.другое. окружение,.отличное.от.Python:
.если.ваше.промышленное.окружение.вообще.не.поддерживает.Python.—.на- пример,.это.мобильное.приложение.или.встраиваемая.система;
.если.остальная.часть.приложения.написана.не.на.Python.(а.на.JavaScript,.C++. и.т..д.).—.в.таком.случае.использование.Python.для.обслуживания.модели. может.повлечь.значительные.накладные.расходы.
Во-вторых,.поскольку.модель.будет.использоваться.только.для.прогнозирова- ния.(эта.фаза.называется.выводом),.а.не.для.обучения,.вы.можете.применить. различные.оптимизации,.которые.помогут.ускорить.модель.и.уменьшить.объем. используемой.памяти.
Давайте.кратко.рассмотрим.доступные.варианты.развертывания.модели.
Развертывание модели в виде REST API
Это,.пожалуй,.самый.распространенный.способ.предоставления.доступа.к.модели. для.получения.прогнозов:.установите.TensorFlow.на.сервере.или.в.облачном. экземпляре.и.посылайте.запросы.модели.через.REST.API..Для.этого.можно. создать.свое.обслуживающее.приложение,.например,.на.основе.Flask.(или.любой. другой.библиотеки.для.разработки.веб-приложений.на.Python).или.использовать. библиотеку,.входящую.в.состав.фреймворка.TensorFlow.и.предназначенную.для. предоставления.доступа.к.моделям.через.API,.которая.называется.TensorFlow. Serving.(www.tensorflow.org/tfx/guide/serving)..TensorFlow.Serving.позволяет.развернуть.модель.Keras.за.считаные.минуты.
Данный.вариант.развертывания.следует.использовать:
.когда.приложение,.использующее.модель.для.прогнозирования,.имеет.надежное.соединение.с.интернетом.(что.очевидно,.ведь.приложение.не.сможет. получать.прогнозы.из.удаленного.API,.если.мобильное.устройство.перевести. в.режим.полета.или.разместить.там,.где.доступ.к.интернету.ограничен);
.когда.приложение.не.имеет.строгих.требований.к.задержке:.обработка.запроса, .вычисление .прогноза .и .передача .ответа .обычно .занимают .около. 500.миллисекунд;
.для.получения.прогноза.не.требуется.передавать.конфиденциальные.данные,. потому.что.данные.должны.быть.доступны.модели.в.расшифрованном.виде. (но.помните,.что.HTTP-запросы.и.ответы.должны.шифроваться.с.исполь- зованием.протокола.SSL).
6.3. Развертывание модели 221
Системы.поиска.изображений,.подбора.музыкальных.рекомендаций,.выявления. мошеннических.действий.с.кредитными.картами.и.анализа.спутниковых.изображений.вполне.могут.обслуживать.пользователей.через.REST.API.
Перед.развертыванием.модели.в.виде.REST.API.вам.также.придется.ответить. на.очень.важный.вопрос:.будете.ли.вы.размещать.код.на.своем.сервере.или. предпочтете.использовать.стороннюю.облачную.службу..Например,.Cloud.AI. Platform,.продукт.компании.Google,.позволяет.выгрузить.модель.TensorFlow. в.Google.Cloud.Storage.(GCS).и.получить.конечную.точку.API.для.отправки. запросов..Платформа.сама.позаботится.о.таких.тонкостях,.как.обслуживание. пакетных.прогнозов,.балансировка.нагрузки.и.масштабирование.
Развертывание модели на устройстве
В.некоторых.случаях.желательно,.чтобы.модель.работала.на.том.же.устройстве,. где.выполняется.использующее.ее.приложение..Это.может.быть.смартфон,.встроенная.в.робота.система.на.процессоре.ARM.или.микроконтроллер.в.небольшом. устройстве..Вероятно,.вы.видели.камеру,.способную.автоматически.обнаруживать.людей.и.распознавать.их.лица:.вполне.возможно,.что.это.результат.работы. небольшой.модели.глубокого.обучения,.действующей.непосредственно.в.камере.
Данный.вариант.развертывания.следует.использовать,.когда:
.модель.имеет.строгие.ограничения.по.задержке.или.должна.работать.в.отсутствие.подключения.к.интернету..Например,.в.захватывающем.приложении. с.функцией.дополненной.реальности.задержки.на.ожидание.ответа.удаленного.сервера.просто.недопустимы;
.модель.нужно.сделать.достаточно.маленькой,.чтобы.она.могла.работать. в.условиях.ограниченного.объема.доступной.памяти.и.на.процессоре.небольшой.мощности..В.таких.случаях.вам.может.помочь.набор.инструментов. TensorFlow.Model.Optimization.Toolkit.(www.tensorflow.org/model_optimization);
.точность .прогнозирования .не .является .критической .для .вашей .задачи.. Высокая.точность.и.быстродействие.—.это.два.взаимоисключающих.фак- тора,.поэтому.в.условиях.ограниченного.объема.памяти.и.невысокой.вычислительной.мощности.часто.приходится.развертывать.модель,.которая. не.так.хороша,.как.ее.версия,.требующая.для.работы.мощный.графический. процессор;
.входные.данные.строго.конфиденциальны.и.не.должны.появляться.в.открытом.виде.на.удаленном.сервере.
Например,.модель.обнаружения.спама.должна.запускаться.на.смартфоне.конеч- ного.пользователя.в.составе.чат-приложения,.поскольку.сообщения.подверга- ются.сквозному.шифрованию.и.не.могут.быть.прочитаны.удаленной.моделью..
Точно.так.же.модель.обнаружения.бракованного.печенья.на.ленте.конвейера. имеет.строгие.ограничения.по.задержке.и.должна.работать.непосредственно. на.заводе..К.счастью,.в.этом.случае.нет.ограничений.по.мощности.или.объему. памяти.и.модель.можно.запустить.на.графическом.процессоре.
222 Глава 6. Обобщенный процесс машинного обучения
Для.развертывания.моделей.Keras.на.смартфонах.или.встраиваемых.устройствах. можно.использовать.решение.TensorFlow.Lite.(www.tensorflow.org/lite)..Этот.фреймворк.обеспечивает.эффективную.работу.моделей.глубокого.обучения.в.режиме. прогнозирования.на.смартфонах.с.Android.и.iOS,.а.также.на.компьютерах.на.базе. ARM64,.Raspberry.Pi.и.некоторых.микроконтроллерах..Он.включает.инструмент. для.преобразования.моделей.Keras.в.формат.TensorFlow.Lite.
Развертывание модели в браузере
Модели.глубокого.обучения.часто.применяются.в.приложениях.на.JavaScript,. выполняющихся.в.браузере.или.в.настольной.версии..Конечно,.приложение. можно.реализовать.так,.что.оно.будет.обращаться.к.удаленной.модели.через. REST.API,.но.иногда.использование.модели.непосредственно.в.браузере.на.компьютере.пользователя.дает.важные.преимущества.(с.задействованием.ресурсов. графического.процессора,.если.он.доступен).
Данный.вариант.развертывания.следует.использовать,.когда:
.вы.хотите.переложить.нагрузку.на.оборудование.конечного.пользователя. и.за.счет.этого.уменьшить.нагрузку.на.сервер;
.входные.данные.должны.оставаться.на.компьютере.или.телефоне.конечного. пользователя..Например,.модель.обнаружения.спама.в.настольной.и.веб- версии.чат-приложения.(реализованного.как.кросс-платформенное.при- ложение.на.JavaScript).должна.выполняться.локально;
.приложение .имеет .строгие .ограничения .по .задержке..Конечно, .модель,. работающая.на.ноутбуке.или.смартфоне.конечного.пользователя,.почти. наверняка .будет.функционировать.медленнее,.чем.на.мощном.графическом.процессоре.вашего.сервера,.зато.ей.не.потребуются.дополнительные. 100.миллисекунд. .на.транспортировку.данных.по.сети;
.приложение.должно.продолжать.работу.в.отсутствие.подключения.к.интернету,.после.того.как.модель.будет.загружена.и.сохранена.в.локальном.кэше.
Выбирайте.этот.вариант,.только.если.ваша.модель.достаточно.мала.и.нетребовательна.к.вычислительным.ресурсам.или.объему.оперативной.памяти.ноутбука. или.смартфона.пользователя..Кроме.того,.поскольку.модель.будет.загружена. на.устройство.пользователя,.вы.должны.гарантировать.отсутствие.в.ней.любой. конфиденциальной.информации..Помните,.что.из.обученной.модели.глубокого. обучения.часто.можно.восстановить.некоторую.информацию.об.обучающих. данных:.если.модель.была.обучена.на.конфиденциальных.данных,.ее.лучше. не.выкладывать.в.общий.доступ.
Чтобы .развернуть .модель .на .JavaScript, .экосистема .TensorFlow .включает. TensorFlow.js.(www.tensorflow.org/js),.библиотеку.JavaScript.для.глубокого.обучения,.которая.реализует.почти.все.возможности.Keras.(изначально.она.разрабатывалась.под.рабочим.названием.WebKeras),.а.также.множество.низкоуровневых.