Анализ данных в науке и технике

От издательства
Об авторах
Предисловие
Общеупотребительные методы оптимизации, уравнения, символы и акронимы
Часть I. ПОНИЖЕНИЕ РАЗМЕРНОСТИ И ПРЕОБРАЗОВАНИЯ
Глава 1. Сингулярное разложение (SVD)
1.1. Общие сведения
Определение SVD
Вычисление SVD
Историческая справка
Использование в этой книге и предположения о подготовке читателей
1.2. Аппроксимация матриц
Усечение
Пример: сжатие изображения
1.3. Математические свойства и манипуляции
Интерпретация с привлечением доминирующих корреляций
Метод моментальных снимков
Геометрическая интерпретация
Инвариантность SVD относительно унитарных преобразований
Левые унитарные преобразования
Правые унитарные преобразования
1.4. Псевдообращение, метод наименьших квадратов и регрессия
Одномерная линейная регрессия
Полилинейная регрессия
Предостережение
1.5. Метод главных компонент (PCA)
Вычисление
Пример: данные с гауссовым шумом
Пример: данные о раке яичников
1.6. Пример: «собственные лица»
1.7. Отсечение и выравнивание
Оптимальный жесткий порог отсечения
Важность выравнивания данных
1.8. Рандомизированное сингулярное разложение
Рандомизированная линейная алгебра
Рандомизированный алгоритм SVD
Пример рандомизированного SVD
1.9. Тензорные разложения и N-мерные массивы данных
Рекомендуемая литература
Глава 2. Преобразование Фурье и вейвлет-преобразование
2.1. Ряд Фурье и преобразование Фурье
Скалярные произведения функций и векторов
Ряд Фурье
Преобразование Фурье
2.2. Дискретное преобразование Фурье (ДПФ) и быстрое преобразование Фурье (БПФ)
Дискретное преобразование Фурье
Быстрое преобразование Фурье
Пример БПФ: фильтрация шума
Пример БПФ: спектральные производные
2.3. Преобразование дифференциальных уравнений в частных производных
Уравнение теплопроводности
Одностороннее волновое уравнение
Уравнение Бюргерса
2.4. Преобразование Габора и спектрограмма
Дискретное преобразование Габора
Пример: сигнал с квадратичной частотной модуляцией
Пример: «Патетическая соната» Бетховена
Принцип неопределенности
2.5. Вейвлеты и многомасштабный анализ
Дискретное вейвлет-преобразование
2.6. Двумерные преобразования и обработка сигналов
Двумерное преобразование Фурье для изображений
Двумерное вейвлет-преобразование изображений
Рекомендуемая литература
Глава 3. Разреженность и сжатие измерений
3.1. Разреженность и сжатие
Пример: сжатие изображения
Почему сигналы допускают сжатие: просторность пространства изображений
3.2. Сжатое измерение
Заявление об отказе от ответственности
Другие формулировки
3.3. Примеры сжатых измерений
Норма 𝓁1 и разреженные решения недоопределенной системы
Восстановление звукового сигнала по разреженным измерениям
3.4. Геометрия сжатия
Свойство ограниченной изометрии (RIP)
Некогерентность и матрицы измерений
Плохие измерения
3.5. Разреженная регрессия
Отбрасывание выбросов и робастность
Отбор признаков и LASSO-регрессия
3.6. Разреженное представление
3.7. Робастный метод главных компонент (RPCA)
3.8. Разреженное размещение датчиков
Разреженное размещение датчиков для реконструкции
Разреженная классификация
Рекомендуемая литература
Часть II. МАШИННОЕ ОБУЧЕНИЕ И АНАЛИЗ ДАННЫХ
Глава 4. Регрессия и выбор модели
4.1. Классическая аппроксимация кривой
Методы наименьших квадратов
Линия наименьших квадратов
Линеаризация данных
4.2. Нелинейная регрессия и градиентный спуск
Градиентный спуск
Метод переменных направлений
4.3. Регрессия и уравнение Ax = b: переопределенные и недоопределенные системы
Переопределенные системы
Недоопределенные системы
4.4. Оптимизация как краеугольный камень регрессии
4.5. Парето-фронт и Lex Parsimoniae
Переобучение
4.6. Выбор модели: перекрестная проверка
k-групповая перекрестная проверка
Перекрестная проверка с контролем по p точкам
4.7. Выбор модели: информационный критерий
Информационные критерии: AIC и BIC
Вычисление AIC и BIC
Рекомендуемая литература
Глава 5. Кластеризация и классификация
5.1. Выделение признаков и добыча данных
5.2. Обучение с учителем и без учителя
5.3. Обучение без учителя: кластеризация методом k средних
5.4. Иерархическая кластеризация без учителя: дендрограмма
5.5. Смесовые модели и EM-алгоритм
5.6. Обучение с учителем и линейные дискриминанты
5.7. Метод опорных векторов (SVM)
Линейный SVM
Нелинейный SVM
Ядерные методы в сочетании с SVM
5.8. Решающие деревья и случайные леса
Случайные леса
5.9. 10 лучших алгоритмов по версии Data Mining 2008
Алгоритм k средних
EM-алгоритм (смесовые модели)
Метод опорных векторов (SVM)
CART (Classification and Regression Tree – дерево классификации и регрессии)
Метод k ближайших соседей (kNN)
Наивная байесовская классификация
AdaBoost (ансамблевое обучение с усилением)
C4.5 (ансамблевое обучение решающих деревьев)
Алгоритм Apriori
PageRank
Рекомендуемая литература
Глава 6. Нейронные сети и глубокое обучение
6.1. Нейронные сети: однослойные сети
6.2. Многослойные сети и функции активации
6.3. Алгоритм обратного распространения
6.4. Алгоритм стохастического градиентного спуска
6.5. Глубокие сверточные нейронные сети
Сверточные слои
Пулинговые слои
Полносвязные слои
Прореживание
6.6. Нейронные сети для динамических систем
6.7. Разнообразие нейронных сетей
Перцептрон
Сети прямого распространения (FF)
Рекуррентная нейронная сеть (RNN)
Автокодировщик (AE)
Марковская цепь (MC)
Сеть Хопфилда (HN)
Машина Больцмана (BM)
Ограниченная машина Больцмана (RBM)
Сеть глубокого доверия (DBN)
Глубокая сверточная нейронная сеть (DCNN)
Антисверточная сеть (DN)
Глубокая сверточная сеть обратной графики (DCIGN)
Порождающая состязательная сеть (GAN)
Машина неустойчивых состояний (LSM)
Машина экстремального обучения (ELM)
Сеть с эхо-состояниями (ESN)
Глубокая остаточная сеть (DRN)
Сеть Кохонена (KN)
Нейронная машина Тьюринга (NTM)
Рекомендуемая литература
Часть III. ДИНАМИЧЕСКИЕ СИСТЕМЫ И УПРАВЛЕНИЕ
Глава 7. Динамические системы, управляемые данными
7.1. Обзор, мотивация и проблемы
Динамические системы
Цели и проблемы современной теории динамических систем
7.2. Разложение по динамическим модам (DMD)
Алгоритм DMD
Пример и код
Расширения, приложения и ограничения
7.3. Разреженная идентификация нелинейной динамики (SINDy)
Нахождение дифференциальных уравнений в частных производных
Обобщение SINDy на рациональные нелинейности
Применение информационного критерия для выбора модели
7.4. Теория оператора Купмана
Математическая теория оператора Купмана
Разложение по модам Купмана и конечные представления
Примеры погружений Купмана
Аналитическое разложение собственных функций в ряд
История и недавние достижения
7.5. Управляемый данными анализ Купмана
Расширенный DMD
Аппроксимация собственных функций Купмана на основе данных
Управляемый данными анализ Купмана и запаздывающие координаты
Нейронные сети для погружений Купмана
Рекомендуемая литература
Глава 8. Теория линейного управления
Типы управления
8.1. Управление с замкнутым контуром обратной связи
Примеры преимуществ управления с обратной связью
8.2. Линейные стационарные системы
Линеаризация нелинейной динамики
Неуправляемая линейная система
Управляемая линейная система
Системы с дискретным временем
Пример: обратный маятник
8.3. Управляемость и наблюдаемость
Управляемость
Наблюдаемость
Критерий управляемости PBH
Теорема Кэли–Гамильтона и достижимость
Грамианы и степень управляемости и наблюдаемости
Стабилизируемость и распознаваемость
8.4. Оптимальное управление полным состоянием: линейно-квадратичный регулятор (ЛКР)
Вывод уравнения Риккати оптимального управления
8.5. Оптимальное оценивание полного состояния: фильтр Калмана
8.6. Оптимальное управление с использованием датчиков : линейно-квадратичное гауссово управление (ЛКГ)
8.7. Практический пример: обратный маятник на тележке
Управление маятником на тележке с обратной связью
Оценка полного состояния системы маятник–тележка
Управление с обратной связью системой маятник–тележка с использованием датчиков
8.8. Робастное управление и методы анализа в частотной области
Методы в частотной области
Качество управления и передаточная функция контура: чувствительность и дополнительная чувствительность
Обращение динамики
Робастное управление
Рекомендуемая литература
Глава 9. Сбалансированные модели, пригодные для управления
9.1. Упрощение модели и идентификация системы
9.2. Сбалансированное упрощение модели
Цель упрощения модели
Замена переменных в системах управления
Балансирующие преобразования
Сбалансирование усечение
Вычисление сбалансированных реализаций
Пример сбалансированного упрощения модели
9.3. Идентификация системы
Алгоритм реализации собственной системы
Идентификация наблюдателей с помощью фильтра Калмана
Комбинация ERA и OKID
Рекомендуемая литература
Глава 10. Управление на основе данных
10.1. Идентификация нелинейной системы для управления
DMD с управлением
Нелинейное управление с помощью оператора Купмана
SINDy с управлением
Пример управления на основе прогнозирующих моделей (MPC)
10.2. Управление с машинным обучением
Обучение с подкреплением
Управление с итеративным обучением
Генетические алгоритмы
Генетическое программирование
Пример: применение генетического алгоритма для настройки ПИД-регулятора
10.3. Адаптивное управление с поиском экстремума
Простой пример управления с поиском экстремума
Пример управления с поиском экстремума в сложной ситуации
Приложения управления с поиском экстремума
Рекомендуемая литература
Часть IV. МОДЕЛИ ПОНИЖЕННОГО ПОРЯДКА
Глава 11. Модели пониженного порядка (ROM)
11.1. POD для дифференциальных уравнений в частных производных
Разложение по модам Фурье
Специальные функции и теория Штурма–Лиувилля
Понижение размерности
11.2. Элементы оптимального базиса: собственное ортогональное разложение
Проекция Галеркина на POD-моды
Пример: гармонический осциллятор
11.3. POD и динамика солитонов
Упрощение солитона (N = 1)
Упрощение солитона (N = 2)
11.4. POD в непрерывной формулировке
Квадратурные правила для R: правило трапеций
Квадратурные правила более высокого порядка
POD-моды и квадратурные формулы
11.5. POD с симметриями: повороты и сдвиги
Сдвиг: распространение волн
Поворот: спиральные волны
Рекомендуемая литература
Глава 12. Интерполяция для ROM
12.1. Неполное POD
Разреженные измерения и реконструкция
Моды гармонического осциллятора
12.2. Ошибка и сходимость неполного POD
Случайная выборка и сходимость
Неполные измерения и качество реконструкции
12.3. Неполные измерения: минимизация числа обусловленности
Замены числа обусловленности
12.4. Неполные измерения: максимальная дисперсия
12.5. POD и дискретный эмпирический метод интерполяции (DEIM)
POD и DEIM
DEIM
12.6. Реализация алгоритма DEIM
Алгоритм QDEIM
12.7. Машинное обучение ROM
Выбор POD-моды
Пример: обтекание цилиндра
Рекомендуемая литература
Глоссарий
Предметный указатель

Открытия, сделанные на основе анализа данных, совершили революцию в моделировании, прогнозировании поведения и управлении сложными системами. В книге приводятся сведения из машинного обучения, математики и физики с целью показать, как моделирование и управление динамическими системами сочетаются с современными методами науки о данных. Рассказывается о многих достижениях в области научных расчетов, которые позволяют применять управляемые данными методы к изучению разнообразных систем: турбулентность, наука о мозге, климатология, эпидемиология, финансы, робототехника и автономные системы.

Книга рассчитана на специалистов по работе с данными широкого профиля: инженеров, ученых, разработчиков ПО, а также будет полезна студентам и аспирантам технических вузов.