Генеративное глубокое обучение: Как не мы рисуем картины, пишем романы и музыку. 2 изд

Предисловие....18

 Вступление....19

 Цели и подходы....20

 Предварительные условия....21

 Структура издания....21

 Изменения во втором издании....23

 Прочие ресурсы....24

 Условные обозначения....25

 Примеры кода....25

 Использование программного кода примеров....26

 Благодарности....27

 От издательства....29

 ЧАСТЬ I. ВВЕДЕНИЕ В ГЕНЕРАТИВНОЕ ГЛУБОКОЕ ОБУЧЕНИЕ....-1

 Глава 1. Генеративное моделирование....31

 Что такое генеративное моделирование....31

 Генеративное и дискриминативное моделирование....33

 Появление генеративного моделирования....35

 Генеративное моделирование и ИИ....36

 Наша первая генеративная модель....37

 Привет мир!....37

 Базовые принципы генеративного моделирования....39

 Обучение представлению....41

 Основы теории вероятностей....44

 Классификация генеративных моделей....47

 Код примеров генеративного глубокого обучения....48

 Клонирование репозитория....49

 Использование Docker....49

 Применение графического процессора....49

 Резюме....49

 Глава 2. Глубокое обучение....51

 Данные для глубокого обучения....51

 Глубокие нейронные сети....53

 Что такое нейронная сеть....53

 Выявление высокоуровневых признаков....55

 TensorFlow и Keras....56

 Многослойный перцептрон....56

 Подготовка данных....57

 Конструирование модели....59

 Компиляция модели....64

 Обучение модели....65

 Оценка модели....67

 Сверточные нейронные сети (CNN)....69

 Сверточные слои....69

 Пакетная нормализация....75

 Слои прореживания....78

 Построение CNN....80

 Обучение и оценка CNN....83

 Резюме....84

 ЧАСТЬ II. МЕТОДЫ....-1

 Глава 3. Вариационные автокодировщики....87

 Введение....88

 Автокодировщики....89

 Набор данных Fashion-MNIST....90

 Архитектура автокодировщика....91

 Автокодировщик....92

 Декодировщик....93

 Объединение кодировщика и декодировщика....96

 Реконструкция изображений....97

 Визуализация скрытого пространства....98

 Генерирование новых изображений....99

 Вариационный автокодировщик....102

 Кодировщик....103

 Функция потерь....109

 Обучение вариационного автокодировщика....110

 Анализ вариационного автокодировщика....112

 Исследование скрытого пространства....113

 Набор данных CelebA....114

 Обучение вариационного автокодировщика....115

 Анализ вариационного автокодировщика....117

 Генерирование новых лиц....118

 Арифметика скрытого пространства....119

 Преобразование одного лица в другое....121

 Резюме....122

 Глава 4. Генеративно-состязательные сети....123

 Введение....124

 Глубокая сверточная GAN....126

 Набор данных Bricks....126

 Дискриминатор....127

 Генератор....130

 Обучение DCGAN....133

 Анализ DCGAN....138

 Обучение GAN: советы и рекомендации....139

 Дискриминатор получает подавляющее преимущество перед генератором....139

 Генератор получает подавляющее преимущество перед дискриминатором....140

 Неинформативные потери....141

 Гиперпараметры....142

 Решение проблем генеративно-состязательных сетей....142

 Генеративно-состязательные сети Вассерштейна со штрафом за градиент....142

 Функция потерь Вассерштейна....143

 Ограничение Липшица....144

 Реализация ограничения Липшица....145

 Функция потерь со штрафом за градиент....146

 Обучение WGAN-GP....148

 Анализ WGAN-GP....150

 Условные генеративно-состязательные сети....151

 Архитектура CGAN....152

 Обучение CGAN....154

 Анализ CGAN....155

 Резюме....156

 Глава 5. Модели авторегрессии....158

 Введение....159

 Сети с долгой краткосрочной памятью....160

 Набор данных Recipes....161

 Работа с текстовыми данными....162

 Лексемизация....164

 Создание набора обучающих данных....166

 Архитектура модели LSTM....167

 Слой Embedding....168

 Слой LSTM....169

 Ячейка LSTM....171

 Обучение LSTM....173

 Анализ LSTM....175

 Расширения RNN....179

 Многослойные рекуррентные сети....179

 Управляемые рекуррентные блоки....180

 Двунаправленные ячейки....182

 PixelCNN....182

 Маскированные сверточные слои....183

 Остаточные блоки....185

 Обучение PixelCNN....186

 Анализ PixelCNN....188

 Смесь распределений....190

 Резюме....193

 Глава 6. Модели нормализующих потоков....194

 Введение....195

 Нормализующие потоки....197

 Замена переменных....197

 Определитель якобиана....199

 Уравнение замены переменных....200

 RealNVP....201

 Набор данных Two Moons....202

 Слои связи....202

 Обучение модели RealNVP....207

 Анализ модели RealNVP....210

 Другие модели нормализующего потока....212

 GLOW....212

 FFJORD....213

 Резюме....214

 Глава 7. Модели на основе энергии....215

 Введение....215

 Модели на основе энергии....217

 Набор данных MNIST....218

 Функция энергии....219

 Выборка с использованием динамики Ланжевена....220

 Обучение с контрастивной дивергенцией....223

 Анализ модели на основе энергии....227

 Другие модели на основе энергии....229

 Резюме....230

 Глава 8. Модели диффузии....231

 Введение....232

 Модели удаления шума....234

 Набор данных Flowers....234

 Процесс прямой диффузии....236

 Трюк с перепараметризацией....237

 Режимы диффузии....237

 Процесс обратной диффузии....240

 Модель удаления шума U-Net....243

 Обучение диффузионной модели....250

 Выборка из диффузионной модели удаления шума....251

 Анализ модели....254

 Резюме....257

 ЧАСТЬ III. ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ....-1

 Глава 9. Трансформеры....261

 Введение....262

 GPT....262

 Набор данных Wine Reviews....263

 Внимание....264

 Запросы ключи и значения....265

 Многоголовое внимание....267

 Причинно-следственная маскировка....268

 Блок трансформера....271

 Позиционное представление....274

 Обучение GPT....276

 Анализ GPT....277

 Другие трансформеры....280

 T5....281

 GPT-3 и GPT-4....284

 ChatGPT....286

 Резюме....290

 Глава 10. Продвинутые GAN....291

 Введение....292

 ProGAN....292

 Прогрессивное обучение....293

 Выходы....299

 StyleGAN....300

 Сеть отображения....302

 Синтезирующая сеть....302

 Вывод сети StyleGAN....303

 StyleGAN2....305

 Модуляция и демодуляция весов....306

 Регуляризация длины пути....307

 Вывод сети StyleGAN2....309

 Другие важные генеративно-состязательные сети....310

 Self-Attention GAN....310

 BigGAN....312

 VQ-GAN....313

 ViT VQ-GAN....317

 Резюме....318

 Глава 11. Генерирование музыки....320

 Введение....321

 Генерирование музыки с помощью модели трансформера....322

 Набор данных JS Bach Cello Suite....323

 Парсинг MIDI-файлов....324

 Кодирование....325

 Создание обучающего набора....327

 Синусоидальное позиционное кодирование....328

 Несколько входов и выходов....329

 Анализ трансформера генерирования музыки....331

 Генерирование полифонической музыки....335

 MuseGAN....339

 Набор данных Bach Chorale....339

 Генератор MuseGAN....342

 Критик MuseGAN....348

 Анализ сети MuseGAN....349

 Резюме....351

 Глава 12. Модели мира....353

 Введение....353

 Обучение с подкреплением....354

 CarRacing....356

 Обзор модели мира....358

 Архитектура....358

 Обучение....360

 Сбор данных в ходе случайных прогонов....361

 Обучение VAE....363

 Архитектура VAE....363

 Анализ VAE....365

 Сбор данных для обучения RNN....367

 Обучение сети MDN-RNN....367

 Архитектура сети MDN-RNN....368

 Выборка следующего состояния и вознаграждения из MDN-RNN....369

 Обучение контроллера....370

 Архитектура контроллера....370

 CMA-ES....371

 Параллельное выполнение алгоритма CMA-ES....373

 Обучение в мнимом окружении....375

 Резюме....378

 Глава 13. Мультимодальные модели....379

 Введение....380

 DALL.E 2....381

 Архитектура....381

 Кодировщик....382

 CLIP....382

 Модель выборки....387

 Декодировщик....389

 Примеры изображений сгенерированных моделью DALL.E 2....393

 Imagen....396

 Архитектура....397

 DrawBench....398

 Примеры изображений созданных Imagen....399

 Stable Diffusion....399

 Архитектура....400

 Примеры изображений созданных Stable Diffusion....401

 Flamingo....401

 Архитектура....402

 Vision Encoder....402

 Perceiver Resampler....403

 Языковая модель....405

 Примеры использования Flamingo....408

 Резюме....409

 Глава 14. Заключение....411

 Хронология генеративного ИИ....412

 2014–2017 годы — эпоха VAE и GAN....412

 2018–2019 годы — эпоха трансформеров....414

 2020–2022 годы — эпоха больших моделей....415

 Текущее состояние генеративного ИИ....416

 Большие языковые модели....416

 Модели преобразования текста в программный код....420

 Модели преобразования текста в изображение....422

 Другие приложения....426

 Будущее генеративного ИИ....428

 Генеративный ИИ в повседневной жизни....428

 Генеративный ИИ на рабочем месте....430

 Генеративный ИИ в образовании....431

 Практические и этические проблемы генеративного ИИ....432

 Заключительные комментарии....435

 Ссылки....437

 Об авторе....443

 Иллюстрация на обложке....444

Генеративный ИИ — одна из самых обсуждаемых тем в сфере технологий. Пора разобраться с возможностями TensorFlow и Keras, чтобы с легкостью создавать впечатляющие генеративные модели глубокого обучения, включая вариационные автокодировщики (VAE), генеративно-состязательные сети (GAN), трансформеры, нормализующие потоки, модели на основе энергии и диффузионные модели удаления шума.Дэвид Фостер, начинает с основ глубокого обучения и постепенно переходит к передовым архитектурам. Благодаря его советам и подсказкам вы узнаете, как повысить эффективность обучения и творческие возможности ваших моделей.Книга была полностью обновлена и переработана, чтобы соответствовать текущему развитию генеративного обучения.