Глубокое обучение с R и Keras. 2 изд

 Оглавление . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8

Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17

Благодарности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19

Об этой книге . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20

Об иллюстрации на обложке . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .24

Об авторах . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

Глава 1. Что такое глубокое обучение? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .26

1.1 Искусственный интеллект, машинное и глубокое обуче­ние . . . . . . . . . . . . . . . . . . . . .27

1.1.1 Искусственный интеллект . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27

1.1.2 Машинное обуче­ние . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

1.1.3 Извлечение правил и представлений из данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30

1.1.4 «Глубина» глубокого обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .33

1.1.5 Принцип действия глубокого обуче­ния в трех рисунках . . . . . . . . . . . . . . . . . . . . .35

1.1.6 Каких успехов достигло глубокое обуче­ние . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37

1.1.7 Не верьте рекламной шумихе . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .38

1.1.8 Перспективы развития ИИ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .39

1.2 Краткая история машинного обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40

1.2.1 Вероятностное моделирование . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41

1.2.2 Первые нейронные сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41

1.2.3 Ядерные методы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42

1.2.4 Деревья решений, случайные леса и градиентный бустинг . . . . . . . . . . . . . . . . . . . .44

1.2.5 Назад к нейронным сетям . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45

1.2.6 Отличительные черты глубокого обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .46

1.2.7 Современный ландшафт машинного обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47

1.3 Почему глубокое обуче­ние? Почему сейчас? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49

1.3.1 Оборудование . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .50

1.3.2 Данные . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51

1.3.3 Алгоритмы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .52

1.3.4 Новая волна инвестиций . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .53

1.3.5 Демократизация глубокого обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .54

1.3.6 Ждать ли продолжения этой тенденции? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .54

Глава 2. Математические основы нейронных сетей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .57

2.1 Первое знакомство с нейронной сетью . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .58

2.2 Представление данных для нейронных сетей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .62

2.2.1 Скаляры (тензоры нулевого ранга) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .63

2.2.2 Векторы (тензоры первого ранга) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .63

2.2.3 Матрицы (тензоры второго ранга) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .64

2.2.4 Тензоры третьего и более высокого рангов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .64

2.2.5 Ключевые атрибуты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .64

2.2.6 Манипулирование тензорами в R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .66

2.2.7 Пакеты данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .66

2.2.8 Практические примеры тензоров с данными . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67

2.2.9 Векторные данные . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67

2.2.10 Временные ряды, или последовательности данных . . . . . . . . . . . . . . . . . . . . . . . . . . .68

2.2.11 Изображения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .69

2.2.12 Видеоданные . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .69

2.3 Шестеренки нейронных сетей: операции с тензорами . . . . . . . . . . . . . . . . . . . . . . . . . . .70

2.3.1 Поэлементные операции . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .71

2.3.2 Операции с тензорами разной размерности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .72

2.3.3 Скалярное произведение тензоров . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .74

2.3.4 Изменение формы тензора . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .76

2.3.5 Геометрическая интерпретация операций с тензорами . . . . . . . . . . . . . . . . . . . . . . . .77

2.3.6 Геометрическая интерпретация глубокого обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . .81

2.4 Механизм нейронных сетей: оптимизация на основе градиента . . . . . . . . . . . . . . . . . .82

2.4.1 Что такое производная? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .84

2.4.2 Производная операций с тензорами: градиент . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .85

2.4.3 Стохастический градиентный спуск . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .87

2.4.4 Объединение производных: алгоритм обратного распространения ошибки . . . . . . .90

2.5 Возвращаясь к нашему первому примеру . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .97

2.5.1 Повторная реализация нашего первого примера с нуля в TensorFlow . . . . . . . . . .99

2.5.2 Выполнение одного шага обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .101

2.5.3 Полный цикл обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .103

2.5.4 Оценка модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .104

Краткие итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .105

Глава 3. Введение в Keras и TensorFlow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .106

3.1 Что такое TensorFlow? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .107

3.2 Что такое Keras? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .108

3.3 Keras и TensorFlow: краткая история . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .109

3.4 Интерфейсы Python и R: краткая история . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .110

3.5 Настройка среды разработки для глубокого обучения . . . . . . . . . . . . . . . . . . . . . . . . .111

3.5.1 Установка Keras и TensorFlow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .112

3.6 Первые шаги с TensorFlow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .113

3.6.1 Тензоры TensorFlow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .114

3.7 Атрибуты тензоров . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .115

3.7.1 Форма тензора и ее изменение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .116

3.7.2 Срезы тензоров . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .118

3.7.3 Операции с тензорами разной размерности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .119

3.7.4 Модуль tf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .119

3.7.5 Неизменность тензоров и переменные . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .121

3.7.6 Математические операции в TensorFlow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .122

3.7.7 Взгляд на API GradientTape с другой стороны . . . . . . . . . . . . . . . . . . . . . . . . . . . . .123

3.7.8 Полный пример: линейный классификатор в чистом TensorFlow . . . . . . . . . . . . . . .124

3.8 Анатомия нейронной сети и основы API Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .129

3.8.1 Слои: строительные блоки глубокого обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . . . . .130

3.8.2 От слоев к моделям . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .134

3.8.3 Этап «компиляции»: настройка процесса обучения . . . . . . . . . . . . . . . . . . . . . . . . . .136

3.8.4 Выбор функции потерь . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .139

3.8.5 Использование метода fit() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .140

3.8.6 Отслеживание потерь и показателей на контрольных данных . . . . . . . . . . . . . . . . .141

3.8.7 Использование модели после обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .142

Краткие итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .143

Глава 4. Примеры работы с нейросетью: классификация и регрессия . . . . . . . . . . . . . . .145

4.1 Классификация отзывов к фильмам: пример бинарной классификации . . . . . . . . . . . .147

4.1.1 Набор данных IMDB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .147

4.1.2 Подготовка данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .149

4.1.3 Создание модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .150

4.1.4 Проверка вашего выбора . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .153

4.1.5 Использование обученной сети для прогнозирования на новых данных . . . . . . . .156

4.1.6 Продолжаем эксперименты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .157

4.1.7 Промежуточные итоги . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .157

4.2 Классификация новостных лент: пример многоклассовой классификации . . . . . . . . .158

4.2.1 Набор данных Reuters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .158

4.2.2 Подготовка данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .160

4.2.3 Построение модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .160

4.2.4 Проверка модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .161

4.2.5 Предсказания на новых данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .163

4.2.6 Другой способ обработки меток и потерь . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .164

4.2.7 Важность использования достаточно больших промежуточных слоев . . . . . . . . . . .164

4.2.8 Дальнейшие эксперименты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .165

4.2.9 Промежуточные итоги . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .165

4.3 Предсказание цен на дома: пример регрессии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .166

4.3.1 Набор данных с ценами на жилье в Бостоне . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .166

4.3.2 Подготовка данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .167

4.3.3 Построение модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .167

4.3.4 Оценка качества модели методом K-кратной перекрестной проверки . . . . . . . . . .168

4.3.5 Выдача прогнозов на новых данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .173

4.3.6 Промежуточные выводы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .173

Краткие итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .173

Глава 5. Основы машинного обучения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .175

5.1 Обобщение – цель машинного обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .175

5.1.1 Недообучение и переобучение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .176

5.1.2 Базовые принципы обобщения в глубоком обуче­нии . . . . . . . . . . . . . . . . . . . . . . . . .182

5.2 Оценка моделей машинного обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .189

5.2.1 Наборы данных для обуче­ния, проверки и контроля . . . . . . . . . . . . . . . . . . . . . . . .189

5.2.2 Использование критериев, основанных на здравом смысле . . . . . . . . . . . . . . . . . . .193

5.2.3 Что следует помнить об оценке модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .194

5.3 Улучшение качества обуче­ния модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .195

5.3.1 Настройка ключевых параметров градиентного спуска . . . . . . . . . . . . . . . . . . . . . . .195

5.3.2 Использование лучшей априорно обоснованной архитектуры . . . . . . . . . . . . . . . . . .198

5.3.3 Увеличение емкости модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .199

5.4 Как улучшить обобщение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .201

5.4.1 Подготовка набора данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .201

5.4.2 Конструирование признаков . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .202

5.4.3 Использование ранней остановки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .204

5.4.4 Регуляризация модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .204

Краткие итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .215

Глава 6. Обобщенный рабочий процесс машинного обучения . . . . . . . . . . . . . . . . . . . . . . . .217

6.1 Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .219

6.1.1 Уточнение задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .219

6.1.2 Получение исходных данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .221

6.1.3 Добейтесь понимания данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .225

6.1.4 Выберите меру успеха . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .226

6.2 Разработка модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .227

6.2.1 Подготовка данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .227

6.2.2 Выбор протокола оценки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .229

6.2.3 Как превзойти простой базовый уровень . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .230

6.2.4 Масштабирование: разработка модели, способной к переобучению . . . . . . . . . . . .231

6.2.5 Регуляризация и настройка модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .232

6.3 Развертывание модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .233

6.3.1 Представление модели заказчику . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .233

6.3.2 Передача модели заказчику . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .234

6.3.3 Мониторинг модели в рабочей среде . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .238

6.3.4 Поддержка и обновление модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .238

Краткие итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .239

Глава 7. Работа с Keras: углубленные навыки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .241

7.1 Широкий спектр рабочих процессов Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .242

7.2 Различные способы построения моделей Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .242

7.2.1 Sequential API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .243

7.2.2 Functional API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .246

7.2.3 Создание подкласса класса Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .253

7.2.4 Смешивание и сочетание разных компонентов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .257

7.2.5 Используйте правильные инструменты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .258

7.3 Использование встроенных циклов обучения и оценки . . . . . . . . . . . . . . . . . . . . . . . . .258

7.3.1 Разработка собственных метрик . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .259

7.3.2 Использование обратных вызовов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .262

7.3.3 Разработка собственных обратных вызовов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .264

7.3.4 Мониторинг и визуализация с по­мощью TensorBoard . . . . . . . . . . . . . . . . . . . . . . . .266

7.4 Разработка собственных циклов обучения и оценки . . . . . . . . . . . . . . . . . . . . . . . . . . .268

7.4.1 Обучение или логический вывод . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .269

7.4.2 Использование метрик на низком уровне . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .270

7.4.3 Полный цикл обуче­ния и оценки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .271

7.4.4 Увеличьте быстродействие с по­мощью tf_function() . . . . . . . . . . . . . . . . . . . . . . .274

7.4.5 Использование fit() с пользовательским циклом обучения . . . . . . . . . . . . . . . . . .275

Краткие итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .278

Глава 8. Глубокое обучение в компьютерном зрении . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .279

8.1 Введение в сверточные нейронные сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .280

8.1.1 Операция свертки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .283

8.1.2 Выбор максимального значения из соседних (max-pooling) . . . . . . . . . . . . . . . . . .288

8.2 Обучение сверточной нейронной сети с нуля на небольшом наборе данных . . . . . .291

8.2.1 Целесообразность глубокого обуче­ния для решения задач с небольшими наборами данных .292

8.2.2 Загрузка данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .292

8.2.3 Построение сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .295

8.2.4 Предварительная обработка данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .297

8.2.5 Расширение данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .303

8.3 Использование предварительно обученной сверточной нейронной сети . . . . . . . . . .307

8.3.1 Выделение признаков . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .308

8.3.2 Дообучение ранее обученной модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .318

Краткие итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .322

Глава 9. Глубокое обучение для компьютерного зрения . . . . . . . . . . . . . . . . . . . . . . . . . . .323

9.1 Три основные задачи компьютерного зрения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .324

9.2 Пример сегментации изображения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .325

9.3 Современные стандартные архитектуры сверточных сетей . . . . . . . . . . . . . . . . . . . . . .335

9.3.1 Модульность, иерархия и повторное использование . . . . . . . . . . . . . . . . . . . . . . . . .336

9.3.2 Остаточные связи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .339

9.3.3 Пакетная нормализация . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .343

9.3.4 Разделяемые по глубине свертки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .346

9.3.5 Применим знания на практике: мини-модель, подобная Xception . . . . . . . . . . . . .349

9.4 Интерпретация знаний сверточной нейросети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .352

9.4.1 Визуализация промежуточных активаций . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .353

9.4.2 Визуализация сетевых фильтров . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .359

9.4.3 Визуализация тепловых карт активации класса . . . . . . . . . . . . . . . . . . . . . . . . . . . . .365

Краткие итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .371

Глава 10. Глубокое обучение и временные ряды . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .372

10.1 Различные виды задач временных рядов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .372

10.2 Пример прогнозирования температуры . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .374

10.2.1 Подготовка данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .378

10.2.2 Простое решение задачи без привлечения машинного обучения . . . . . . . . . . . . . .382

10.2.3 Решение с использованием базовой модели машинного обучения . . . . . . . . . . . . .384

10.2.4 Эксперимент с одномерной сверточной сетью . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .386

10.2.5 Первый вариант простой рекуррентной модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . .389

10.3 Рекуррентные нейронные сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .390

10.3.1 Рекуррентный слой в Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .393

10.4 Продвинутое применение рекуррентных нейронных сетей . . . . . . . . . . . . . . . . . . . . . .398

10.4.1 Использование рекуррентного прореживания для борьбы с переобуче­ни­ем . .399

10.4.2 Наложение рекуррентных слоев . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .402

10.4.3 Использование двунаправленных рекуррентных сетей . . . . . . . . . . . . . . . . . . . . . . .404

10.4.4 Что дальше . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .407

Краткие итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .409

Глава 11. Глубокое обучение в обработке текстов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .410

11.1 Обработка естественного языка: обзор отрасли . . . . . . . . . . . . . . . . . . . . . . . . . . . . .410

11.2 Подготовка текстовых данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .413

11.2.1 Стандартизация текста . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .414

11.2.2 Разделение текста (токенизация) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .415

11.2.3 Индексация словаря . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .416

11.2.4 Использование слоя layer_text_vectorization . . . . . . . . . . . . . . . . . . . . . . . . . . . .418

11.3 Два подхода к представлению групп слов: наборы и последовательности . . . . . .422

11.3.1 Подготовка данных обзоров фильмов IMDB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .423

11.3.2 Обработка слов без учета порядка . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .426

11.3.3 Обработка последовательности слов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .434

11.4 Архитектура Transformer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .448

11.4.1 Механизм самовнимания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .448

11.4.2 Многоголовое внимание . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .454

11.4.3 Кодировщик в архитектуре Transformer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .455

11.4.4 Когда следует использовать модели последовательности, а не модели мешка слов .465

11.5 Помимо классификации текста: обучение преобразованию последовательностей .466

11.5.1 Пример машинного перевода . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .468

11.5.3 Рекуррентная модель преобразования последовательностей . . . . . . . . . . . . . . . . .471

11.5.4 Преобразование последовательностей с Transformer . . . . . . . . . . . . . . . . . . . . . . .478

Краткие итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .484

Глава 12. Генеративные модели глубокого обучения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .486

12.1 Генерирование текста с помощью Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .488

12.1.1 Краткая история генеративных сетей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .488

12.1.2 Как генерируют последовательности данных? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .490

12.1.3 Важность стратегии выбора . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .490

12.1.4 Реализация генерации текста с по­мощью Keras . . . . . . . . . . . . . . . . . . . . . . . . . . .493

12.1.5 Обратный вызов генерации текста с выборкой при разной температуре . . . . . .497

12.1.6 Подведение итогов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .504

12.2 DeepDream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .504

12.2.1 Реализация DeepDream в Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .505

12.2.2 Подведение итогов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .513

12.3 Нейронный перенос стиля . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .514

12.3.1 Функция потерь содержания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .515

12.3.2 Функция потерь стиля . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .515

12.3.3 Реализация переноса стиля в Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .516

12.3.4 Подведение итогов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .524

12.4 Генерация изображений с помощью вариационных автокодировщиков . . . . . . . . . . . .524

12.4.1 Выбор шаблонов из скрытых пространств изображений . . . . . . . . . . . . . . . . . . . . . .525

12.4.2 Концептуальные векторы для редактирования изображений . . . . . . . . . . . . . . . . . .526

12.4.3 Вариационные автокодировщики . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .527

12.4.4 Реализация VAE с по­мощью Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .530

12.4.5 Подведение итогов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .536

12.5 Введение в генеративно-состязательные сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .536

12.5.1 Реализация генеративно-состязательной сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . .538

12.5.2 Полезные технические приемы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .539

12.5.3 Получение набора данных CelebA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .540

12.5.4 Дискриминатор . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .542

12.5.5 Генератор . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .543

12.5.6 Состязательная сеть . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .544

12.5.7 Подведение итогов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .547

Краткие итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .548

Глава 13. Глубокое обучение в реальной жизни . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .549

13.1 Получение максимальной отдачи от ваших моделей . . . . . . . . . . . . . . . . . . . . . . . . . . .550

13.1.1 Оптимизация гиперпараметров . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .550

13.1.2 Ансамблирование моделей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .559

13.2 Масштабируемое обуче­ние моделей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .561

13.2.1 Ускорение обуче­ния на GPU со смешанной точностью . . . . . . . . . . . . . . . . . . . . . .562

13.2.2 Обучение модели на нескольких GPU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .565

13.2.3 Обучение модели на TPU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .570

Краткие итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .572

Глава 14. Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .573

14.1 Краткий обзор ключевых понятий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .574

14.1.1 Различные подходы к ИИ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .574

14.1.2 Что выделяет глубокое обуче­ние среди других подходов к машинному обуче­нию .575

14.1.3 Как правильно воспринимать глубокое обуче­ние . . . . . . . . . . . . . . . . . . . . . . . . . .575

14.1.4 Ключевые технологии глубокого обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .577

14.1.5 Обобщенный рабочий процесс машинного обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . .578

14.1.6 Основные архитектуры сетей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .579

14.1.7 Пространство возможностей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .584

14.2 Ограничения глубокого обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .586

14.2.1 Риск очеловечивания моделей глубокого обуче­ния . . . . . . . . . . . . . . . . . . . . . . . .587

14.2.2 Принципиальное различие между автоматом и интеллектом . . . . . . . . . . . . . . . . . .589

14.2.3 Различие между локальным и экстремальным обобщением . . . . . . . . . . . . . . . . . . . .591

14.2.4 Предназначение интеллекта . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .594

14.2.5 Восхождение по уровням обобщения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .595

14.3 Курс на большую универсальность в ИИ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .596

14.3.1 О важности постановки правильной цели: правило короткого пути . . . . . . . . . .596

14.3.2 Новая цель . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .599

14.4 Реализация интеллекта: недостающие ингредиенты . . . . . . . . . . . . . . . . . . . . . . . . . . .601

14.4.1 Построение и использование абстрактных аналогий . . . . . . . . . . . . . . . . . . . . . . . .601

14.4.2 Два полюса абстракции . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .603

14.4.3 Сочетание двух полюсов абстракции . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .606

14.4.4 Недостающая половина картинки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .606

14.5 Будущее глубокого обуче­ния . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .608

14.5.1 Модели как программы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .608

14.5.2 Машинное обуче­ние и синтез программ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .610

14.5.3 Сочетание глубокого обуче­ния и синтеза программ . . . . . . . . . . . . . . . . . . . . . . .610

14.5.4 Непрерывное обуче­ние и повторное использование модульных подпрограмм . .613

14.5.5 Долгосрочная перспектива . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .614

14.6 Как не отстать от прогресса в быстро развивающейся отрасли . . . . . . . . . . . . . . .616

14.6.1 Решения реальных задач на сайте Kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .616

14.6.2 Знакомство с последними разработками на сайте arXiv . . . . . . . . . . . . . . . . . . . .616

14.6.3 Исследование экосистемы Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .617

14.7 Заключительное слово . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .618

Приложение. Введение в Python для пользователей R . . . . . . . . . . . . . . . . . . . . . . . . . . . . .619

Предметный указатель . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .643

Перед вами второе, расширенное в 1.5 раза издание бестселлера от автора библиотеки Keras.

Умение работать с моделями глубокого обучения стало важным навыком современных ученых, исследователей и программистов. API языка R для Keras и TensorFlow делает глубокое обучение доступным для всех пользователей R, даже если у них нет опыта работы с машинным обучением или нейронными сетями.Интуитивно понятные объяснения, четкие иллюстрации и наглядные примеры помогут вам освоить основные навыки глубокого обучения с помощью R, такие как компьютерное зрение, обработка естественного языка, работа с текстом, и даже изучить передовую архитектуру Transformer.Для читателей со средними навыками программирования на R. Опыт работы с Keras, TensorFlow или моделями глубокого обучения не требуется.