Машинное обучение для абсолютных новичков. Вводный курс, изложенный простым языком

1. ПРЕДИСЛОВИЕ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....11
2. ЧТО ТАКОЕ МАШИННОЕ ОБУЧЕНИЕ? . . . . . . . . . . . . . . . . . . . . . . . . . . . .....15
Тренировочные и тестовые данные . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....19
Анатомия машинного обучения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....19
3. КАТЕГОРИИ МАШИННОГО ОБУЧЕНИЯ . . . . . . . . . . . . . . . . . . . . . . . . . .....25
Контролируемое обучение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....25
Неконтролируемое обучение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....27
Полуконтролируемое обучение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....31
Обучение с подкреплением . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....31
Q-обучение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....32
4. ИНСТРУМЕНТЫ МАШИННОГО ОБУЧЕНИЯ . . . . . . . . . . . . . . . . . . . . . .....35
Отделение 1: Данные . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....35
Отделение 2: Инфраструктура . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....38
Отделение 3: Алгоритмы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....40
Визуализация . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....41
Расширенный набор инструментов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....41
Отделение 1: Большие данные . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....42
Отделение 2: Инфраструктура . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....42
Отделение 3: Продвинутые алгоритмы . . . . . . . . . . . . . . . . . . . . . . . .....44
5. ОЧИСТКА ДАННЫХ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....47
Отбор признаков . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....47
Сжатие строк . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....50
Прямое кодирование . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....51
Биннинг . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....54
Нормализация . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....54
Стандартизация . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....55
Отсутствующие данные . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....56
7
6. РАЗБИЕНИЕ ДАННЫХ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....57
Перекрестная проверка . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....59
Сколько данных мне нужно? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....61
7. ЛИНЕЙНАЯ РЕГРЕССИЯ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....63
Наклон . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....65
Формула линейной регрессии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....66
Пример расчета . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....67
Множественная линейная регрессия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....69
Дискретные переменные . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....70
Выбор переменных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....70
Контрольная работа . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....73
Ответы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....75
8. ЛОГИСТИЧЕСКАЯ РЕГРЕССИЯ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....77
Контрольная работа . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....81
Ответы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....82
9. МЕТОД KБЛИЖАЙШИХ СОСЕДЕЙ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....83
Контрольная работа . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....86
Ответы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....87
10. КЛАСТЕРИЗАЦИЯ МЕТОДОМ KСРЕДНИХ . . . . . . . . . . . . . . . . . . . . . .....89
Выбор значения k . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....94
Контрольная работа . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....97
Ответы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....98
11. СМЕЩЕНИЕ И ДИСПЕРСИЯ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....99
12. МАШИНЫ ОПОРНЫХ ВЕКТОРОВ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....105
Контрольная работа . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....110
Ответы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....111
13. ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ . . . . . . . . . . . . . . . . . . . . . . . . . .....113
Дилемма «черного ящика» . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....115
Построение нейронной сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....116
Многослойные перцептроны . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....121
Глубокое обучение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....122
Контрольная работа . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....124
Ответы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....125
8
14. ДЕРЕВЬЯ РЕШЕНИЙ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....127
Построение дерева решений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....129
Вычисление энтропии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....132
Переобучение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....135
Бэггинг . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....136
Метод случайного леса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....136
Бустинг . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....138
Контрольная работа . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....140
Ответы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....141
15. АНСАМБЛЕВОЕ МОДЕЛИРОВАНИЕ . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....143
16. СРЕДА РАЗРАБОТКИ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....147
Импорт библиотек . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....149
Импорт и предварительный просмотр набора данных . . . . . . . . . . . . .....149
Поиск нужной строки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....152
Вывод на экран названий столбцов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....153
17. ПОСТРОЕНИЕ МОДЕЛИ НА ЯЗЫКЕ PYTHON . . . . . . . . . . . . . . . . . . .....155
Импорт библиотек . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....155
Импорт набора данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....156
Очистка набора данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....157
Процесс очистки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....157
Разбиение набора данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....161
Выбор алгоритма и настройка его гиперпараметров . . . . . . . . .....161
Оценка результатов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....163
18. ОПТИМИЗАЦИЯ МОДЕЛИ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....167
Код оптимизированной модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....169
Код для выполнения поиска по решетке . . . . . . . . . . . . . . . . . . . . . .....171
ДАЛЬНЕЙШИЕ ШАГИ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....175
Видеоуроки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....175
Построение модели для прогнозирования
стоимости домов на Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....175
Прочие ресурсы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....176
Благодарность читателю . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....176
Программа Bug Bounty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....177
Дополнительные ресурсы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....177
| Машинное обучение | . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....177
| Базовые алгоритмы | . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....178
| Будущее искусственного интеллекта | . . . . . . . . . . . . . . . . . . . . . . .....178
| Программирование | . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....179
| Рекомендательные системы | . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....180
| Глубокое обучение | . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....180
| Профессии будущего | . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....181
ПРИЛОЖЕНИЕ: ВВЕДЕНИЕ В PYTHON . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....183
Комментарии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....183
Типы данных в Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....184
Отступы и пробелы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....185
Арифметические операторы в Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....185
Объявление переменных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....186
Импорт библиотек . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....188
Импорт набора данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....188
Вывод данных на экран . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....189
Индексирование . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....190
Нарезка . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....191
ДРУГИЕ КНИГИ АВТОРА . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....193
Курс на платформе Skillshare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....193
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....195

Практическое и подробное введение в машинное обучение.
Простые и понятные объяснения и отсутствие необходимости опыта программирования делают эту книгу прекрасной альтернативой академическому учебнику. Здесь представлены основные алгоритмы машинного обучения (ML), которые сопровождаются наглядными примерами и практическими работами. Также вы узнаете про перекрестную проверку, ансамблевое моделирование, поиск по сетке для настройки моделей, проектирование функций, горячее кодирование и многое другое.
Для разработки интеллектуальных машин в первую очередь надо понять классическую статистику, так как алгоритмы на ее основе — это сердце машинного обучения. Написание кода — еще одна неотъемлемая часть ML, которая предусматривает управление данными. Однако материал этого руководства можно освоить даже без навыков программирования.
Возможно, с чтения этой книги начнется ваш путь к получению работы в области машинного обучения, а может быть, она просто удовлетворит ваше любопытство.

Внутри руководства:

• Загрузка бесплатных наборов данных.
• Методы очистки данных, включая горячее кодирование, группирование и обработку недостающих данных.
• Подготовка данных для анализа.
• Линейный регрессионный анализ.
• Кластеризация, включая кластеризацию k-средних.
• Основы работы нейронных сетей.
• Смещение/дисперсия для улучшения модели машинного обучения.
• Деревья решений для декодирования классификации.
• Ваша первая модель машинного обучения с помощью Python.