Базовая математика для искусственного интеллекта. Математика нового уровня для эффективных и успешных систем ИИ

Отзывы о книге "Базовая математика для искусственного интеллекта....16

Введение....18

Почему я написала эту книгу....18

Кому предназначена книга....20

Кому противопоказана книга....21

Как в книге представлена математика....21

Инфографика....23

Требования к математической подготовке для понимания материала книги....24

Краткий обзор глав....24

Мои любимые книги по искусственному интеллекту....29

Условные обозначения и соглашения....30

Примеры применения кода....31

Платформа онлайн-обучения O’Reilly....32

Как с нами связаться?....32

Благодарности....32

ГЛАВА 1. Почему так важно изучать математику искусственного интеллекта?....34

Что такое искусственный интеллект....35

Секрет популярности искусственного интеллекта....36

Возможности искусственного интеллекта....37

Конкретные задачи агента искусственного интеллекта....37

Ограничения искусственного интеллекта....39

Что происходит, когда системы искусственного интеллекта дают сбой....42

Направления развития искусственного интеллекта....42

Кто сегодня вносит основной вклад в развитие искусственного интеллекта....44

Какая математика используется в искусственном интеллекте....44

Итоги и перспективы....45

ГЛАВА 2. Данные, данные, данные....46

Данные для искусственного интеллекта....47

Реальные и имитационные данные....49

Математические модели: линейные и нелинейные....49

Пример реальных данных....51

Пример имитационных данных....54

Математические модели: симуляции и искусственный язык....57

Как получить данные....60

Словарь распределений данных, вероятностей, статистики....62

Случайные величины....63

Распределение вероятностей....63

Маргинальные (частные) вероятности....63

Равномерное и нормальное распределения....64

Условные вероятности и теорема Байеса....64

Условные вероятности и совместные распределения....64

Предварительное распределение, последующее распределение, функция правдоподобия....65

Смеси распределений....65

Суммы и произведения случайных величин....65

Использование графов для представления совместных распределений вероятностей....65

Ожидание, среднее значение, вариация, неопределенность....66

Ковариация и корреляция....66

Марковский процесс....67

Нормализация, масштабирование, стандартизация случайной переменной или набора данных....67

Общие примеры....68

Непрерывные и дискретные распределения (плотность us масса)....68

Сила совместной функции плотности вероятности....70

Распределение данных: равномерное распределение....71

Распределение данных: колоколообразное нормальное (гауссово) распределение....73

Распределение данных: другие важные и часто используемые распределения....76

Варианты значений слова "распределение....80

А/В-тестирование....81

Итоги и перспективы....82

ГЛАВА 3. Подгонка функций под данные....84

Лучшие традиционные модели машинного обучения....86

Численные и аналитические решения....88

Регрессия: предсказание числового значения....89

Обучающая функция....91

Функция потерь....93

Оптимизация....103

Логистическая регрессия: разделение на два класса....116

Обучающая функция....116

Функция потерь....117

Оптимизация....119

Регрессия softmax: классификация по нескольким категориям....119

Обучающая функция....121

Функция потерь....122

Оптимизация....123

Встраивание моделей в последний слой нейросети....124

Другие популярные методы машинного обучения и ансамбли методов....124

Машины опорных векторов....125

Деревья решений....129

Случайные леса....138

Кластеризация к средних....139

Показатели эффективности моделей классификации....139

Итоги и перспективы....141

ГЛАВА 4. Оптимизация нейронных сетей....144

Кора мозга и искусственные нейросети....144

Обучающая функция: полносвязные (плотные) нейросети с прямой связью....146

Нейросеть — это вычислительный граф, представляющий обучающую функцию....147

Линейная комбинация, добавление смещения и последующая активация....148

Основные функции активации....152

Универсальная аппроксимация функций....155

Теория аппроксимации в глубоком обучении....161

Функции потерь....161

Оптимизация....163

Математика и загадочный успех нейронных сетей....164

Градиентный спуск....165

Роль гиперпараметра скорости обучения г)....167

Выпуклые и невыпуклые ландшафты....170

Стохастический градиентный спуск....173

Инициализация весов в оптимизации....174

Методы регуляризации....175

Отсев....175

Ранняя остановка....176

Пакетная нормализация каждого слоя....176

Регулирование размера весов наложением штрафа на их норму....178

Наложение штрафа на нормы L2 и L1....180

Роль параметра а в регуляризации....181

Примеры гиперпараметров в машинном обучении....182

Цепное правило и обратное распространение ошибки: вычисление....183

Метод обратного распространения ошибки практически не отличается от того, как обучается наш мозг....184

Почему лучше использовать обратное распространение ошибки....185

Обратное распространение ошибки в деталях....185

Оценка значимости признаков входных данных....187

Итоги и перспективы....187

ГЛАВА 5. Сверточные нейронные сети и компьютерное зрение....190

Свертка и кросс-корреляция....191

Инвариантность и эквивариантность переноса....195

Свертка в обычном пространстве — это произведение в частотном пространстве....196

Свертка с точки зрения проектирования системы....196

Свертка и импульсная характеристика линейных и инвариантных по переносу систем....198

Свертка и одномерные дискретные сигналы....200

Свертка и двумерные дискретные сигналы....201

Фильтрация изображений....203

Карта признаков....206

Нотация линейной алгебры....207

Одномерный случай: умножение на матрицу Теплица....210

Двумерный случай: умножение на дважды блочно-циркулянтную матрицу....210

Пулинг....211

Сверточная нейросеть для классификации изображений....212

Итоги и перспективы....214

ГЛАВА 6. Сингулярное разложение: обработка изображений, обработка естественного языка и социальные сети....216

Факторизация матриц....217

Диагональные матрицы....220

Матрицы как линейные преобразования, действующие в пространстве....221

Воздействие А на правые сингулярные векторы....223

Воздействие А на стандартные единичные векторы и определяемый ими единичный квадрат....224

Воздействие А на единичную окружность....224

Преобразование окружности в эллипс методом сингулярного разложения....225

Матрицы поворота и отражения....226

Воздействие А на общий вектор х....227

Три способа умножения матриц....228

Большая картина....229

Число обусловленности и вычислительная устойчивость....231

Компоненты сингулярного разложения....231

Сингулярное и спектральное разложения....232

Вычисление сингулярного разложения....234

Численное вычисление собственного вектора....234

Псевдоинверсия....236

Применение сингулярного разложения к изображениям....237

Метод главных компонент и снижение размерности....240

Метод главных компонент и кластеризация....242

Приложение для социальных сетей....242

Латентно-семантический анализ....243

Рандомизированное сингулярное разложение....244

Итоги и перспективы....244

ГЛАВА 7. Искусственный интеллект для естественного языка и финансов: векторизация и временные ряды....246

Искусственный интеллект в обработке естественного языка....249

Подготовка данных естественного языка к машинной обработке....250

Статистические модели и логарифмическая функция....253

Закон Ципфа для подсчета терминов....254

Векторные представления документов на естественном языке....254

Векторное представление частоты термина документа или мешка слов....254

Векторное представление частоты термина и обратной частоты термина документа....255

Векторное представление тематики документа, определенной с помощью скрытого семантического анализа....256

Тематическое векторное представление документа, определенное с помощью латентного размещения Дирихле....260

Тематическое векторное представление документа, определенное с помощью латентного дискриминантного анализ....261

Смысловые векторные представления слов и документов, определяемые встроенными нейросетя....262

Косинусное сходство....269

Приложения для обработки естественного языка....270

Анализ настроений....270

Фильтрация спама....271

Поиск и извлечение информации....272

Машинный перевод....274

Создание подписей к изображениям....274

Чат-боты....274

Другие приложения....275

Трансформеры и модели внимания....275

Архитектура трансформера....276

Механизм внимания....279

Трансформеры далеки от совершенства....283

Сверточные нейросети для данных временных рядов....283

Рекуррентные нейросети для данных временных рядов....285

Как работает рекуррентная нейросеть....286

Управляемые рекуррентные блоки и блоки долгой краткосрочной памяти....287

Пример данных естественного языка....288

Финансовый искусственный интеллект....288

Итоги и перспективы....289

ГЛАВА 8. Вероятностные генеративные модели....290

Ценность генеративных моделей....291

Типичная математика генеративных моделей....293

Переключение мозга с детерминированного на вероятностное мышление....295

Оценка максимального правдоподобия....297

Явные и неявные модели плотности....299

Явно прослеживаемая плотность: полностью видимые сети доверия....300

Пример: генерация изображений с помощью PixelCNN и машинного звука с помощью WaveNet....300

Явно прослеживаемая плотность: нелинейный анализ независимых компонент с изменением переменных....303

Явно непрослеживаемая плотность: аппроксимация вариационных автокодировщиков вариационными методами....304

Явно непрослеживаемая плотность: аппроксимация машины Больцмана с помощью цепи Маркова....306

Неявная плотность — цепь Маркова: генеративная стохастическая сеть....306

Неявная плотность — направление: генеративно-состязательные сети....307

Принцип работы генеративно-состязательной сети....308

Пример: машинное обучение и генеративные сети для физики высоких энергий....310

Другие генеративные модели....313

Наивная байесовская модель классификации....314

Модель гауссовой смеси....315

Эволюция генеративных моделей....316

Сети Хопфилда....318

Машина Больцмана....318

Ограниченная машина Больцмана (явная плотность и трудноразрешимость)....318

Исходный автокодировщик....320

Вероятностное языковое моделирование....320

Итоги и перспективы....323

ГЛАВА 9. Графовые модели....324

Графы: узлы, грани и их признаки....326

Пример: алгоритм PageRank....329

Инверсия матриц с помощью графов....334

Графы Кэли для групп: чистая алгебра и параллельные вычисления....334

Передача сообщений внутри графа....335

Безграничные возможности применения графов....336

Сети головного мозга....337

Распространение заболеваний....338

Распространение информации....338

Обнаружение и отслеживание распространения фейков....339

Рекомендательные системы веб-масштаба....340

Борьба с онкологией....341

Биохимические графы....342

Генерация молекулярных графов для выявления структуры лекарственных препаратов и белков....343

Сети цитирования....343

Социальные медиасети и прогнозирование общественного воздействия....343

Социологические структуры....344

Байесовские сети....344

Прогноз трафика....344

Логистика и исследование операций....345

Языковые модели....345

Графовая структура Всемирной паутины....347

Автоматический анализ компьютерных программ....348

Структуры данных в вычислительной технике....348

Балансировка нагрузки в распределенных сетях....349

Искусственные нейросети....350

Случайные блуждания по графам....351

Обучение представлению узлов....353

Задачи для графовых нейросетей....354

Классификация узлов....354

Классификация графов....355

Кластеризация и обнаружение сообществ....355

Генерация графов....356

Максимизация влияния....356

Предсказание ссылок....356

Динамические графовые модели....357

Байесовские сети....358

Байесовская сеть как компактная таблица условных вероятностей....360

Создание предсказаний при помощи байесовской сети....360

Байесовские сети — это не каузальные сети, а сети доверия....361

Что нужно знать о байесовских сетях....361

Цепи, вилки и коллайдеры....362

Как создать байесовскую сеть для всех переменных из набора данных?....363

Графические диаграммы вероятностного каузального моделирования....364

Краткая история теории графов....366

Основные положения теории графов....368

Остовные деревья и кратчайшие остовные деревья....368

Наборы разрезов и разрезанные вершины....368

Планарность....369

Графы как векторные пространства....369

Реализуемость....370

Раскраска и сопоставление....370

Перечисление....371

Алгоритмы и вычислительные аспекты графов....371

Итоги и перспективы....372

ГЛАВА 10. Исследование операций....374

Отсутствие бесплатного обеда....376

Анализ сложности и нотация O()....377

Оптимизация — сердце исследования операций....380

Рассуждения об оптимизации....384

Оптимизация: конечные размерности без ограничений....384

Оптимизация: конечные размерности, ограниченные множители Лагранжа....385

Оптимизация: бесконечные размерности, вариационное исчисление....387

Оптимизация в сетях....392

Задача о коммивояжере....392

Минимальное остовное дерево....393

Кратчайший путь....394

Максимальный поток и минимальный разрез....395

Максимальный поток и минимальная стоимость....396

Метод критического пути для разработки проекта....397

Задача об П ферзях....397

Линейная оптимизация....398

Общая и стандартная формы....399

Визуализация задачи линейной оптимизации в двух измерениях....400

От выпуклости к линейности....401

Геометрия линейной оптимизации....403

Симплекс-метод....405

Транспортная задача и задача о назначении....412

Двойственность, релаксация Лагранжа, теневые цены, максимин, минимакс и все такое....413

Чувствительность....426

Теория игр и мультиагентные системы....426

Очередизация....428

Управление запасами....429

Машинное обучение в исследовании операций....429

Уравнение Гамильтона — Якоби — Веллмана....431

Исследование операций в искусственном интеллекте....431

Итоги и перспективы....432

ГЛАВА 11. Вероятность....434

Когда в книге встречается вероятность?....435

Что еще важно знать в области искусственного интеллекта?....438

Каузальное моделирование и исчисление do....432

Альтернативный метод: исчисление do....440

Парадоксы и интерпретация диаграмм....443

Парадокс Монти Холла....443

Парадокс Берксона....445

Парадокс Симпсона....445

Большие случайные матрицы....447

Примеры случайных векторов и случайных матриц....448

Основные положения теории случайных матриц....451

Ансамбли случайных матриц....452

Плотность собственных значений суммы двух больших случайных матриц....454

Базовая математика для больших случайных матриц....454

Стохастические процессы....455

Процесс Бернулли....457

Процесс Пуассона....457

Случайное блуждание....458

Процесс Винера, или броуновское движение....458

Мартингейл....459

Процесс Леви....460

Процесс ветвления....460

Цепь Маркова....460

Лемма Ито....461

Марковские процессы принятия решений и обучение с подкреплением....462

Примеры обучения с подкреплением....462

Обучение с подкреплением как марковский процесс принятия решений....463

Обучение с подкреплением в контексте оптимального управления и нелинейной динамики....465

Библиотека Python для обучения с подкреплением....465

Строгие теоретические основания....465

Какие события вероятны?....466

Возможен ли более широкий диапазон случайных величин?....467

Вероятностная тройка (пространство выборок, сигма-алгебра, мера вероятности)....468

В чем сложность?....469

Случайная величина, ожидание, интегрирование....469

Распределение случайной величины и теорема о замене переменной....471

Дальнейшие шаги в строгой теории вероятностей....471

Универсальная теорема для нейросетей....472

Итоги и перспективы....472

ГЛАВА 12. Математическая логика....474

Логические структуры....475

Пропозициональная логика....475

От нескольких аксиом к целостной теории....478

Кодирование логики внутри агента....479

Как сочетаются детерминированное и вероятностное машинное обучение?....479

Логика первого порядка....480

Отношения между кванторами существования и всеобщности....481

Вероятностная логика....483

Нечеткая логика....483

Темпоральная логика....484

Сравнение с естественным человеческим языком....485

Машины и сложные математические рассуждения....486

Итоги и перспективы....486

ГЛАВА 13. Искусственный интеллект и дифференциальные уравнения в частных производных....488

Что собой представляет дифференциальное уравнение в частных производных?....489

Моделирование с помощью дифференциальных уравнений....491

Модели различных масштабов....491

Параметры дифференциального уравнения в частных производных....492

Как изменение одного параметра в дифференциальном уравнении в частных производных может обернуться серьезными проблемами....493

Насколько полезен искусственный интеллект?....494

Численные решения обладают огромной ценностью....495

Непрерывные и дискретные функции....496

Дифференциальные уравнения в частных производных в моей докторской диссертации....498

Дискретизация и проклятие размерности....500

Метод конечных разностей....501

Метод конечных элементов....507

Вариационные или энергетические методы....512

Методы Монте-Карло....513

Немного статистической механики: замечательное основное уравнение....516

Решения как ожидания лежащих в основе случайных процессов....518

Преобразование дифференциального уравнения в частных производных....519

Преобразование Фурье....519

Преобразование Лапласа....521

Операторы решения....523

Пример использования уравнения теплопроводности....523

Пример использования уравнения Пуассона....525

Метод простой итерации....527

Искусственный интеллект применительно к дифференциальным уравнениям в частных производных....534

Глубокое обучение для нахождения значений физических параметров....534

Глубокое обучение для расчета сеток....535

Глубокое обучение для аппроксимации операторов решения дифференциальных уравнений в частных производных....537

Численные решения высокоразмерных дифференциальных уравнений....544

Моделирование природных явлений непосредственно из данных....546

Дифференциальное уравнение в частных производных Гамильтона — Якоби — Веллмана для динамического программирования....548

Дифференциальные уравнения в частных производных для искусственного интеллекта....553

Другие аспекты дифференциальных уравнений в частных производных....554

Итоги и перспективы....556

ГЛАВА 14. Искусственный интеллект, этика, математика, право и политика....558

Хороший искусственный интеллект....560

Вопросы политики....562

Что может пойти не так?....563

От математики к вооружению....563

Боевые отравляющие вещества....565

Искусственный интеллект и политика....565

Нежелательные результаты генеративных моделей....566

Как это исправить?....567

Решение проблемы недостаточной представленности в обучающих данных....567

Устранение погрешностей в векторах слов....567

Решение проблемы конфиденциальности....568

Решение проблемы справедливости....569

Встраивание моральных аспектов в искусственный интеллект....570

Демократизация и доступность искусственного интеллекта для неспециалистов....571

Установка приоритета на высококачественные данные....571

Отличие предвзятости от дискриминации....573

Излишняя шумиха....573

Заключительные размышления....574

Предметный указатель....576

Об авторе....591

Об изображении на обложке....592

Книга дает прочные знания математики, лежащей в основе работы современных систем ИИ. Приведены необходимые и достаточные сведения для успешной работы в области ИИ, без углубления  в  сложные  академические  теории,  с  акцентом  на практическом применении и современных моделях. Даны основы машинного обучения и науки о данных. Рассмотрены регрессия, нейронные сети, свертка, оптимизация, вероятность, марковские процессы, дифференциальные уравнения и многое другое исключительно в контексте искусственного интеллекта. Показано, как объединять модели машинного обучения и естественного языка, работать с графовыми и сетевыми данными, визуализировать преобразования пространства, уменьшать размерность, обрабатывать изображения, выбирать модели и для проектов, основанных на данных.

Для специалистов в области ИИ, машинного обучения и науки о данных

На обложке книги изображен упряжный бушбок (Tragelaphus scriptus scriptus) — антилопа, ареал распространения которой охватывает Африку к югу от Сахары. Бушбок получил свое название благодаря узору из белых полос и пятен вдоль спины и боков, напоминающему седло или упряжь. Упряжный бушбок — самый маленький из восьми подвидов бушбоков: его рост в холке составляет около 77 см, а масса тела — от 32 до 45 кг.

Сегодня многие сферы бизнеса стремятся внедрять новые технологии на основе ИИ и управления данными.

Однако для того чтобы создать действительно успешные системы ИИ, требуются прочные знания математики, лежащей в основе их работы. Книга представляет собой всеобъемлющее руководство, способное устранить существующий разрыв в представлении между неограниченным потенциалом и возможностями применения ИИ и соответствующими математическими основами.

Автор книги Хала Нельсон не углубляется в сложные академические теории, она рассказывает о математике, необходимой для успешной работы в области ИИ, уделяя особое внимание реальным приложениям и современным моделям.

В книге обсуждаются такие темы, как регрессия, нейронные сети, свертка, оптимизация, вероятность, марковские процессы, дифференциальные уравнения и многое другое исключительно в контексте ИИ. Она будет интересна инженерам, специалистам по обработке данных, математикам, ученым в качестве прочной базы для успешной работы в различных областях ИИ и математики.

Прочитав книгу, вы сможете

• уверенно пользоваться языками ИИ, машинного обучения, науки о данных, математики;
• объединять модели машинного обучения и модели естественного языка в рамках одной математической структуры;
• легко работать с графовыми и сетевыми данными;
• изучать реальные данные, визуализировать преобразования пространства, уменьшать раз-мерность, обрабатывать изображения;
• решать, какие модели использовать для проектов, основанных на данных;
• изучать различные последствия и ограничения ИИ.