От издательства..........................................................................................12
Об авторе...................................................................................................13
Колофон.....................................................................................................14
Предисловие...............................................................................................15
Глава 1. Введение ......................................................................................17
Что такое линейная алгебра и зачем ее изучать?...........................................17
Об этой книге.............................................................................................18
Предварительные требования......................................................................19
Математика................................................................................................19
Отношение.................................................................................................19
Программирование......................................................................................20
Математические доказательства в противовес интуитивному
пониманию на основе программирования......................................................20
Рабочий код в книге и предназначенный для скачивания онлайн....................22
Упражнения по программированию...............................................................22
Как пользоваться этой книгой (для учителей и самообучающихся)..................23
Глава 2. Векторы. Часть 1............................................................................24
Создание и визуализация векторов в NumPy..................................................24
Геометрия векторов.....................................................................................27
Операции на векторах.................................................................................28
Сложение двух векторов..............................................................................28
Вычитание двух векторов............................................................................29
Геометрия сложения и вычитания векторов...................................................30
Умножение вектора на скаляр......................................................................31
Сложение скаляра с вектором......................................................................32
Геометрия умножения вектора на скаляр......................................................32
Транспонирование......................................................................................33
Транслирование векторов в Python...............................................................34
Модуль вектора и единичные векторы..........................................................35
Точечное произведение векторов.................................................................36
Точечное произведение является дистрибутивным.........................................38
Геометрия точечного произведения..............................................................39
Другие умножения векторов........................................................................40
Адамарово умножение.................................................................................40
Внешнее произведение...............................................................................41
Перекрестное и тройное произведения.........................................................42
Ортогональное разложение векторов...........................................................42
Резюме......................................................................................................46
Упражнения по программированию..............................................................46
Глава 3. Векторы. Часть 2...........................................................................49
Множества векторов...................................................................................49
Линейно-взвешенная комбинация................................................................50
Линейная независимость.............................................................................51
Математика линейной независимости...........................................................53
Независимость и вектор нулей.....................................................................54
Подпространство и охват.............................................................................54
Базис.........................................................................................................57
Определение базиса....................................................................................60
Резюме.......................................................................................................61
Упражнения по программированию...............................................................62
Глава 4. Применения векторов.....................................................................64
Корреляция и косинусное сходство...............................................................64
Фильтрация временных рядов и обнаружение признаков................................67
Кластеризация методом k-средних................................................................68
Упражнения по программированию...............................................................71
Упражнения по корреляции..........................................................................71
Упражнения по фильтрации и обнаружению признаков..................................73
Упражнения по алгоритму k-средних.............................................................75
Глава 5. Матрицы. Часть 1............................................................................76
Создание и визуализация матриц в NumPy.....................................................76
Визуализация, индексация и нарезка матриц.................................................76
Специальные матрицы..................................................................................78
Матричная математика: сложение, умножение на скаляр, адамарово
умножение..................................................................................................80
Сложение и вычитание................................................................................80
«Сдвиг» матрицы.........................................................................................81
Умножение на скаляр и адамарово умножение...............................................82
Стандартное умножение матриц....................................................................82
Правила допустимости умножения матриц.....................................................83
Умножение матриц.......................................................................................84
Умножение матрицы на вектор......................................................................85
Линейно-взвешенные комбинации................................................................86
Результаты геометрических преобразований.................................................86
Матричные операции: транспонирование......................................................88
Обозначение точечного и внешнего произведений.........................................88
Матричные операции: LIVE EVIL (порядок следования операций)....................89
Симметричные матрицы...............................................................................89
Создание симметричных матриц из несимметричных......................................90
Резюме.......................................................................................................91
Упражнения по программированию...............................................................92
Глава 6. Матрицы. Часть 2...........................................................................97
Нормы матриц.............................................................................................97
След матрицы и норма Фробениуса...............................................................99
Пространства матрицы (столбцовое, строчное, нуль-пространство).................100
Столбцовое пространство.............................................................................100
Строчное пространство................................................................................104
Нуль-пространства......................................................................................104
Ранг...........................................................................................................108
Ранги специальных матриц..........................................................................110
Ранг сложенных и умноженных матриц.........................................................112
Ранг сдвинутых матриц................................................................................113
Теория и практика.......................................................................................113
Применения ранга.......................................................................................114
В столбцовом пространстве..........................................................................115
Линейная независимость множества векторов................................................116
Определитель..............................................................................................117
Вычисление определителя............................................................................117
Определитель с линейными зависимостями....................................................119
Характеристический многочлен.....................................................................119
Резюме........................................................................................................121
Упражнения по программированию................................................................123
Глава 7. Применения матриц.........................................................................128
Матрицы ковариаций многопеременных данных..............................................128
Геометрические преобразования посредством умножения матриц
на векторы...................................................................................................131
Обнаружение признаков изображения............................................................135
Резюме.........................................................................................................138
Упражнения по программированию.................................................................138
Упражнения по матрицам ковариаций и корреляций........................................138
Упражнения по геометрическим преобразованиям...........................................140
Упражнения по обнаружению признаков изображения.....................................142
Глава 8. Обратные матрицы...........................................................................144
Обратная матрица.........................................................................................144
Типы обратных матриц и условия обратимости.................................................145
Вычисление обратной матрицы.......................................................................146
Обратная матрица матрицы 2×2......................................................................146
Обратная матрица диагональной матрицы........................................................148
Инвертирование любой квадратной полноранговой матрицы.............................149
Односторонние обратные матрицы..................................................................151
Уникальность обратной матрицы.....................................................................153
Псевдообратная матрица Мура–Пенроуза.........................................................154
Численная стабильность обратной матрицы......................................................155
Геометрическая интерпретация обратной матрицы............................................156
Резюме..........................................................................................................158
Упражнения по программированию..................................................................158
Глава 9. Ортогональные матрицы и QR-разложение..........................................162
Ортогональные матрицы.................................................................................162
Процедура Грама–Шмидта..............................................................................164
QR-разложение..............................................................................................165
Размеры матриц Q и R....................................................................................166
Почему матрица R является верхнетреугольной...............................................168
QR и обратные матрицы.................................................................................169
Резюме.........................................................................................................169
Упражнения по программированию.................................................................170
Глава 10. Приведение строк и LU-разложение.................................................174
Системы уравнений.......................................................................................174
Конвертирование уравнений в матрицы..........................................................175
Работа с матричными уравнениями.................................................................176
Приведение строк.........................................................................................178
Метод устранения по Гауссу..........................................................................180
Метод устранения по Гауссу–Жордану............................................................181
Обратная матрица посредством метода устранения
по Гауссу–Жордану.......................................................................................182
LU-разложение.............................................................................................183
Взаимообмен строками посредством матриц перестановок...............................185
Резюме........................................................................................................186
Упражнения по программированию................................................................186
Глава 11. Общие линейные модели и наименьшие
квадраты.....................................................................................................189
Общие линейные модели..............................................................................190
Терминология..............................................................................................190
Настройка общей линейной модели...............................................................190
Решение общих линейных моделей...............................................................192
Является ли решение точным?......................................................................193
Геометрическая перспектива наименьших квадратов......................................194
В чем причина работы метода наименьших квадратов?...................................195
Общая линейная модель на простом примере.................................................197
Наименьшие квадраты посредством QR-разложения........................................201
Резюме........................................................................................................202
Упражнения по программированию................................................................203
Глава 12. Применения метода наименьших квадратов.....................................207
Предсказывание количеств велопрокатов на основе погоды............................207
Регрессионная таблица с использованием библиотеки statsmodels...................212
Мультиколлинеарность.................................................................................213
Регуляризация.............................................................................................213
Полиномиальная регрессия...........................................................................215
Поиск в параметрической решетке для отыскания модельных
параметров..................................................................................................218
Резюме........................................................................................................220
Упражнения по программированию................................................................221
Упражнения по аренде велосипедов...............................................................221
Упражнения по мультиколлинеарности...........................................................222
Упражнения по регуляризации.......................................................................223
Упражнение по полиномиальной регрессии.....................................................224
Упражнения по поиску в параметрической решетке.........................................225
Глава 13. Собственное разложение................................................................227
Интерпретации собственных чисел и собственных векторов.............................228
Геометрия....................................................................................................228
Статистика (анализ главных компонент).........................................................229
Подавление шума.........................................................................................230
Уменьшение размерности (сжатие данных).....................................................231
Отыскание собственных чисел.......................................................................231
Отыскание собственных векторов..................................................................234
Неопределенность собственных векторов по знаку и шкале.............................235
Диагонализация квадратной матрицы.............................................................236
Особая удивительность симметричных матриц................................................238
Ортогональные собственные векторы.............................................................238
Действительно-значные собственные числа...................................................240
Собственное разложение сингулярных матриц...............................................241
Квадратичная форма, определенность и собственные числа............................243
Квадратичная форма матрицы.......................................................................243
Определенность ..........................................................................................245
ATA является положительной (полу)определенной..........................................245
Обобщенное собственное разложение............................................................246
Резюме........................................................................................................248
Упражнения по программированию................................................................249
Глава 14. Сингулярное разложение................................................................254
Общая картина сингулярного разложения.......................................................254
Сингулярные числа и ранг матрицы................................................................256
Сингулярное разложение на Python................................................................256
Сингулярное разложение и одноранговые «слои» матрицы..............................257
Сингулярное разложение из собственного разложения....................................259
Сингулярное разложение матрицы АТА...........................................................260
Конвертация сингулярных чисел в дисперсию: объяснение..............................260
Кондиционное число.....................................................................................261
Сингулярное разложение и псевдообратная матрица Mура–Пенроуза...............262
Резюме.........................................................................................................263
Упражнения по программированию.................................................................264
Глава 15. Применения собственного и сингулярного
разложений..................................................................................................268
Анализ главных компонент с использованием собственного
и сингулярного разложений..........................................................................268
Математика анализа главных компонент........................................................269
Шаги выполнения PCA..................................................................................271
PCA посредством сингулярного разложения....................................................272
Линейный дискриминантный анализ..............................................................273
Низкоранговая аппроксимация посредством сингулярного разложения............275
Сингулярное разложение для шумоподавления..............................................276
Резюме........................................................................................................276
Упражнения.................................................................................................277
Анализ главных компонент (PCA)..................................................................277
Линейный дискриминантный анализ (LDA).....................................................281
Сингулярное разложение для низкоранговых аппроксимаций..........................285
Сингулярное разложение для шумоподавления в изображениях......................287
Глава 16. Краткое руководство по языку Python.............................................291
Почему Python и какие есть альтернативы?....................................................291
Интерактивные среды разработки.................................................................292
Использование Python локально и онлайн......................................................292
Работа с файлами исходного кода в Google Colab............................................293
Переменные.................................................................................................294
Типы данных................................................................................................296
Индексация..................................................................................................297
Функции......................................................................................................297
Методы в качестве функций..........................................................................299
Написание своих собственных функций.........................................................299
Библиотеки..................................................................................................301
NumPy.........................................................................................................301
Индексация и нарезка в NumPy.....................................................................302
Визуализация..............................................................................................303
Переложение формул в исходный код...........................................................305
Форматирование печати и F-строки...............................................................308
Поток управления........................................................................................309
Компараторы...............................................................................................309
Инструкции if...............................................................................................310
Инструкции elif и else...................................................................................310
Несколько условий.......................................................................................311
Циклы for.....................................................................................................312
Вложенные инструкции управления...............................................................312
Измерение времени вычислений....................................................................313
Получение помощи и приобретение новых знаний...........................................313
Что делать, когда дела идут наперекосяк........................................................314
Резюме.........................................................................................................314
Дополнение А. Теорема о ранге и нульности....................................................315
Тематический указатель.................................................................................317

 В этой книге рассказывается о ключевых концепциях линейной алгебры, реализованных на Python, и о том, как их использовать в науке о данных, машинном и глубоком обучении и вычислительном моделировании. Рассматриваются интерпретации и приложения векторов и матриц, матричная арифметика, важные разложения, используемые в прикладной линейной алгебре, и пр. Прочитав книгу, вы научитесь внедрять и адаптировать под свои задачи целый ряд современных методов анализа и алгоритмов.
 Издание адресовано специалистам по обработке данных, а также будет полезно студентам и широкому кругу разработчиков ПО.