518 Глава 13. Методы и приемы для применения на практике
По.мере.обретения.опыта.использования.Keras.API.скорость.подготовки.новых. экспериментов.по.глубокому.обучению.перестанет.быть.для.вас.узким.местом. в.этом.циклическом.движении.вперед,.но.останется.еще.одно.—.скорость.об- учения.моделей..Быстрой.можно.назвать.инфраструктуру.обучения,.если.она. позволяет.получить.результаты.через.10–15.минут.—.благодаря.этому.вы.сможете. выполнять.десятки.итераций.каждый.день..А.чем.быстрее.обучение,.тем.выше. качество.ваших.решений.
В.этом.разделе.вы.познакомитесь.с.тремя.способами.ускорения.обучения.моделей:
. с.обучением.со.смешанной.точностью,.которое.можно.использовать.даже.с.GPU;
. с.обучением.на.нескольких.GPU;
. с.обучением.на.TPU.
Поехали.
13.2.1. Ускорение обучения на GPU со смешанной точностью
Что,.если.я.скажу.вам,.что.есть.простой.способ.ускорить.обучение.почти.любой. модели.в.три.раза.и.практически.бесплатно?.Многим.это.покажется.слишком. хорошим,.чтобы.быть.правдой,.—.и.все.же.такой.способ.действительно.суще- ствует..Это.обучение со смешанной точностью..Чтобы.понять,.как.это.возможно,. сначала.нужно.рассмотреть.понятие.точности.в.информатике.
Точность представления вещественных чисел
Точность.для.чисел.—.то.же.самое,.что.разрешение.для.изображений..Компьютер. может.обрабатывать.только.единицы.и.нули,.поэтому.любое.число,.которое.он. видит,.должно.быть.представлено.в.виде.последовательности.нулей.и.единиц..
Многие.из.вас.знакомы.с.целыми.числами.uint8,.которые.отражают.целочисленные.значения,.закодированные.восемью.битами:.00000000 .представляет.0,. а.11111111.—.255..Чтобы.закодировать.целые.числа.больше.255,.нужно.добавить. больше.битов.—.восьми.будет.недостаточно..Большинство.целых.чисел.хранят- ся.в.32.битах,.с.помощью.которых.можно.представлять.целые.числа.со.знаком. в.диапазоне.от.–2.147.483.648.до.2.147.483.647.
То .же .относится .к .вещественным .числам .(числам .с .плавающей .запятой)..
В.математике.они.образуют.непрерывную.последовательность:.между.любыми. двумя.числами.находится.бесконечное.количество.точек,.и.вы.всегда.можете. увеличить.масштаб.оси.вещественных.чисел..Однако.в.информатике.все.совсем. иначе:.например.между.3.и.4.существует.конечное.число.промежуточных.точек.. Как.много?.Зависит.от.точности.используемого.представления.—.количества. битов,.используемых.для.хранения.числа..Это.количество.можно.увеличивать. только.до.определенного.предела.
13.2. Масштабирование обучения моделей 519
Существует.три.уровня.точности,.которые.обычно.используются.в.информатике:
. половинная.точность,.или.float16,.когда.числа.хранятся.в.16.битах;
. одинарная.точность,.или.float32,.когда.числа.хранятся.в.32.битах;
. двойная.точность,.или.float64,.когда.числа.хранятся.в.64.битах.
ПРИМЕЧАНИЕ О ПРЕДСТАВЛЕНИИ ВЕЩЕСТВЕННЫХ ЧИСЕЛ В ФОРМАТЕ С ПЛАВАЮЩЕЙ ТОЧКОЙ
Представление вещественных чисел в формате с плавающей точкой вопреки здравому смыслу имеет неравномерное распределение. Большие числа имеют меньшую точность: между 2 ** N и 2 ** (N + 1) столько же представимых значений, сколько между 1 и 2, для любого N.
Данный факт связан с тем, что числа в представлении с плавающей точкой кодируются тремя частями — знаком, значением (его еще называют мантиссой) и показателем степени:
{знак} * (2 ** ({показатель степени} - 127)) * 1.{мантисса}
Например, вот как можно закодировать значение float32, ближайшее к числу пи:
Число пи в представлении с плавающей точкой с одинарной точностью, включающем бит знака, целочисленный показатель степени и целочисленную мантиссу
По этой причине числовая ошибка, возникающая при преобразовании числа в его представление с плавающей точкой, может сильно различаться в зависимости от точного значения, и эта ошибка имеет тенденцию увеличиваться для чисел с большим абсолютным значением.
13.2. Масштабирование обучения моделей 521
Однако.можно.использовать.гибридный.подход.—.в.этом.и.заключается.суть. обучения.со.смешанной.точностью..Идея.следующая:.применять.16-битные.вы- числения.там,.где.не.нужна.высокая.точность,.и.32-битные.—.в.других.местах,. чтобы.поддержать.числовую.стабильность..Современные.GPU.и.TPU.оснащены.специализированными.аппаратными.модулями,.способными.выполнять. 16-битные.операции.намного.быстрее.и.использовать.меньше.памяти,.чем.при. выполнении.эквивалентных.32-битных.операций..Используя.низкоточные. операции.там,.где.это.допустимо,.можно.значительно.ускорить.обучение.на. таких.устройствах..А.обеспечивая.вычисления.с.одинарной.точностью.в.частях. модели,.чувствительных.к.точности,.можно.получить.ряд.преимуществ.без. существенного.влияния.на.качество.модели.
И.эти.преимущества.значительны:.на.современных.графических.процессорах. NVIDIA.смешанная.точность.может.ускорить.обучение.до.трех.раз..Данный. прием.может.также.пригодиться.при.обучении.на.TPU.(мы.обсудим.этот.вопрос. чуть.ниже),.где.обучение.может.быть.ускорено.до.60.%.
Обучение со смешанной точностью на практике
Вот.как.можно.включить.использование.смешанной.точности.при.обучении. на.GPU:
from tensorflow import keras keras.mixed_precision.set_global_policy("mixed_float16")
Большая.часть.прямого.прохода.модели.в.этом.случае.будет.выполняться.с.использованием.чисел.float16.(за.исключением.численно.нестабильных.операций,. таких.как.softmax),.а.веса.модели.будут.храниться.и.изменяться.в.float32.
Слои.Keras.имеют.атрибуты.variable_dtype .и.compute_dtype..По.умолчанию. оба.имеют.значение.float32..При.включении.режима.смешанной.точности. атрибуту.compute_dtype .большинства.слоев.присваивается.значение.float16;. в.результате.эти.слои.будут.приводить.входные.данные.к.типу.float16 .и.выполнять.вычисления.в.float16 .(используя .копии .весов .с .половинной .точ- ностью)..Однако,.поскольку.их.атрибут.variable_dtype .по-прежнему.имеет. значение.float32,.веса.будут.получать.от.оптимизатора.точные.изменения. с.плавающей.точкой.
Обратите.внимание.на.то,.что.при.использовании.типа.float16.некоторые.операции.могут.быть.численно.нестабильными.(в.частности,.softmax.и.crossentropy)..
Если.вам.понадобится.отказаться.от.смешанной.точности.в.определенном.слое,. просто.передайте.аргумент.dtype="float32" .конструктору.этого.слоя.