6.3. Развертывание модели    223

функций.TensorFlow.API..Готовую.модель.Keras.можно.без.особого.труда.импортировать.в.TensorFlow.js,.чтобы.затем.использовать.ее.в.составе.браузерного. приложения.на.JavaScript.или.настольного.приложения.Electron.

Оптимизация обученной модели

Оптимизация.обученной.модели.особенно.важна.при.развертывании.в.окружении.со.строгими.ограничениями.на.доступную.вычислительную.мощность. и.объем.памяти.(смартфоны.и.встраиваемые.устройства).или.с.жесткими.требованиями.к.задержке..Всегда.старайтесь.оптимизировать.модель.перед.импортом. в.TensorFlow.js.или.экспортом.в.TensorFlow.Lite.

Вот.два.популярных.метода.оптимизации,.которые.можно.применить:

.усечение.весов.—.не.все.коэффициенты.в.тензоре.весов.одинаково.влияют. на.прогнозы..Порой.можно.значительно.уменьшить.количество.параметров. в.слоях.модели,.сохранив.только.самые.важные..Это.поможет.снизить.потребление.памяти.и.вычислительных.ресурсов.вашей.моделью.при.небольшом. ухудшении.качества.ее.прогнозов..Выбирая.параметры.для.удаления,.можно. контролировать.соотношение.размера.и.точности.модели;

.квантование.весов.—.модели.глубокого.обучения.обучаются.за.счет.коррек- тировки.весов.с.плавающей.точкой.одинарной.точности.(float32)..Однако. веса.можно.квантовать.до.8-битных.целых.чисел.со.знаком.(int8),.чтобы. получить.модель.исключительно.для.прогнозирования,.которая.в.четыре. раза.меньше,.но.показывает.точность,.близкую.к.исходной.

Экосистема.TensorFlow.включает.набор.инструментов.для.усечения.и.квантования.весов.(www.tensorflow.org/model_optimization),.глубоко.интегрированный. с.Keras.API.

6.3.3. Мониторинг качества работы модели в процессе эксплуатации

Итак,.вы.экспортировали.обученную.модель,.интегрировали.ее.в.свое.приложе- ние,.опробовали.ее.на.реальных.данных.—.и.она.повела.себя.ровно.так,.как.вы. ожидали..Вы.написали.модульные.тесты,.а.также.реализовали.журналирование. и.мониторинг.состояния..Отлично!.Теперь.пришло.время.нажать.большую. красную.кнопку.и.развернуть.модель.в.рабочем.окружении.

Но.это.еще.не.конец..После.развертывания.модели.нужно.постоянно.наблюдать.за. ее.поведением,.качеством.прогнозов.на.новых.данных,.взаимодействием.с.осталь- ной.частью.приложения.и.ее.возможным.влиянием.на.бизнес-показатели.

.Увеличилась.ли.вовлеченность.пользователей.вашей.онлайн-радиостанции. после.внедрения.новой.системы.рекомендаций.музыки?.Увеличился.ли.

224    Глава 6. Обобщенный процесс машинного обучения

средний.процент.переходов.по.рекламным.ссылкам.после.развертывания.новой.модели.прогнозирования?.Подумайте.о.проведении.рандомизированного A/B-тестирования,.чтобы.отделить.эффект.влияния.модели.от.других.изме- нений:.подмножество.обращений.должно.обрабатываться.с.использованием. новой.модели,.а.другое.контрольное.подмножество.—.с.применением.старой. процедуры..После.обработки.достаточно.большого.количества.обращений. разница.в.результатах.почти.наверняка.будет.связана.с.моделью.

.Если.возможно,.регулярно.проводите.ручной.аудит.прогнозов.модели.по. реальным.данным..Обычно.при.этом.можно.использовать.ту.же.инфраструктуру,.что.и.для.маркировки.данных:.отправить.некоторую.часть.реальных. данных.для.маркировки.вручную.и.сравнить.прогнозы.модели.с.новыми. метками..Это.обязательно.следует.делать,.например,.для.системы.поиска. изображений.и.системы.отбраковки.печенья.

.Если.аудит.вручную.невозможен,.подумайте.об.альтернативных.способах. оценки,.таких.как.опрос.пользователей.(например,.в.системе.определения. спама.и.оскорбительного.контента).

6.3.4. Обслуживание модели

Наконец,.ни.одна.модель.не.вечна..Вы.уже.знаете.о.дрейфе понятий:.со.временем. характеристики.ваших.реальных.данных.будут.меняться,.постепенно.снижая. актуальность.модели..Срок.службы.системы.музыкальных.рекомендаций.будет.исчисляться.неделями..Системы.обнаружения.мошеннических.действий. с.кредитными.картами.—.днями..Системы.поиска.изображений.—.в.лучшем. случае.парой.лет.

После.ввода.модели.в.эксплуатацию.вы.должны.быть.готовы.к.обучению.модели. следующего.поколения,.которая.придет.на.смену.текущей..Для.этого:

.следите,.как.меняются.реальные.данные:.возможно,.появятся.новые.признаки.или.потребуется.расширить.или.иным.образом.изменить.набор.меток;

.продолжайте.собирать.и.маркировать.данные.и.последовательно.совершенствуйте.процесс.маркировки..В.частности,.особое.внимание.уделяйте.сбору. образцов,.при.классификации.которых.текущая.модель.допускает.много.оши- бок,.—.такие.образцы,.вероятнее.всего,.помогут.повысить.качество.модели.

На.этом.мы.завершаем.обзор.обобщенного.процесса.машинного.обучения.—.он. требует.помнить.о.многом..Чтобы.стать.экспертом,.нужны.время.и.опыт,.но. не.волнуйтесь:.вы.уже.знаете.намного.больше,.чем.несколько.глав.назад..А.теперь. вы.познакомились.и.с.общей.картиной.—.полным.спектром.всего,.что.связано. с .машинным.обучением..Большая .часть.этой.книги.посвящена.разработке. моделей,.но.теперь.вы.знаете,.что.это.лишь.часть.большого.процесса..Всегда. помните.об.общей.картине!