Большие данные. Big Data: учебник для вузов

ВВЕДЕНИЕ ....6

1. ПАРАДИГМА МАШИННОГО ОБУЧЕНИЯВ ИНТЕЛЛЕКТУАЛЬНОМ АНАЛИЗЕ ДАННЫХ ....7

1.1. Машинное обучение ....7

1.2. Нейробиологическое направление в ИИ ....7

1.3. Нейросети ....9

1.4. Эволюционное моделирование как исследовательский метод ....12

1.5. Генетические алгоритмы ....14

1.6. Ансамблевые методы: джекнайф и бутстрэп ....17

1.7. Ансамблевые методы: бэггинг, бустинг, стекинг ....18

2. ИЗВЛЕЧЕНИЕ ЗНАНИЙ ....22

2.1. Виды знаний и способы их представления ....22

2.2. Модели представления знаний ....22

2.3. Извлечение знаний ....23

2.4. Некоторые подходы к интеллектуальному анализу данных ....29

2.5. Формирование знаний методами локальных геометрий ....34

3. ИММУНОКОМПЬЮТИНГ ....37

3.1. Вычислительная процедура сингулярного разложения матриц ....40

3.2. Распознавание в пространстве проекций ....41

3.3. Формирование индексов риска ....42

3.4. Алгоритм формирования электронной цифровой подписи ....44

4. КЛАСТЕРНЫЙ АНАЛИЗ ....47

4.1. Кластеризация. Выбор метрики ....47

4.2. Метод k средних и ЕМ-алгоритм ....47

4.3. Иерархическая кластеризация на основе дендрограммы ....49

4.4. Оценка качества разделения ....50

4.5. Кластер-анализ ....50

4.6. Снижение размерности за счет выделения компонент ....52

5. ПРОГНОЗНАЯ АНАЛИТИКА ....53

5.1. Прогнозирование ....53

5.2. Классификация методов прогнозирования ....53

5.3. Временные ряды ....54

5.4. Множественная регрессия ....56

5.5. Адаптивная модель множественной регрессии ....58

5.6. Прогнозирование МВР....60

5.7. Прогнозирование МВР в пространстве проекций ....62

5.8. Анализ сингулярных спектров ....62

5.9. Прецедентный анализ ....65

6. СЛИЯНИЕ ДАННЫХ ....67

6.1. Проблемы. Оценивание в условиях неопределенности ....67

6.2. Комплексирование координатной оценки и оценки пеленга ....68

6.3. Байесовское слияние ....71

6.4. Примеры комплексирования данных ....73

7. МАШИНЫ ОПОРНЫХ ВЕКТОРОВ ....78

7.1. Постановка задачи ....78

7.2. Идея метода опорных векторов ....78

7.3. Разделение полосой на плоскости ....79

7.4. Случай отсутствия линейной отделимости ....83

7.5. Развитие метода ....84

7.6. Регрессионный анализ на базе метода опорных векторов ....86

8. НЕЙРОМАТЕМАТИКА ....88

8.1. Пример: персептрон Розенблатта ....88

8.2. Краткий исторический обзор ....94

8.3. Архитектура нейронных сетей ....95

8.4. Области применения нейронных сетей ....100

9. НЕЙРОННЫЕ СЕТИ ....102

9.1. Распространение ошибок ....103

9.2. Многослойные сети. Некоторые архитектуры сетей ....105

9.3. Функции создания нейронных сетей в ИМС MatLab ....109

9.4. Примеры создания и использования нейронных сетей ....110

10. ЭВОЛЮЦИОННОЕ МОДЕЛИРОВАНИЕ И ГЕНЕТИЧЕСКИЕАЛГОРИТМЫ ....115

10.1. Эволюционное моделирование ....115

10.2. Модели возникновения МГИС ....116

10.3. Применение в задачах функциональной оптимизации ....117

10.4. ЭМ как исследовательский метод в информатике ....117

10.5. Генетические алгоритмы ....119

10.6. Естественный отбор в природе ....120

10.7. Что такое генетический алгоритм ....123

10.8. Особенности генетических алгоритмов ....128

11. ВЗАИМОДЕЙСТВИЕ СФЕР МАШИННОГО ОБУЧЕНИЯ ....133

11.1. Задачи нейросетевой математики ....133

11.2. Алгоритмы обучения сети ....133

11.3. Области применения нейронных сетей ....136

11.4. Взаимодействие различных областей ....137

11.5. ANFIS: функциональный эквивалент нечеткой модели ....138

11.6. Нейронные сети и эволюционное моделирование ....139

11.7. Искусственные нейронные сети и экспертные системы ....141

11.8. Соображения надежности. ....142

12. КОГНИТИВНЫЙ АНАЛИЗ И МОДЕЛИРОВАНИЕ ПРОБЛЕМНЫХСИТУАЦИЙ ....143

12.1. Ситуационный анализ на основе когнитивных карт ....143

12.2. Обеспечение целенаправленного поведения ....145

12.3. Методика когнитивного анализа сложных ситуаций ....146

12.4. Построение когнитивной модели ....147

12.5. Моделирование ....149

12.6. Внешняя среда ....149

12.7. Нестабильность внешней среды ....150

12.8. Слабоструктурированность внешней среды ....150

12.9. Общее понятие когнитивного анализа ....151

12.10. Механизмы реализации частных задач ....153

12.11. Виды факторов ....154

12.12. Выявление факторов (элементов системы) ....156

12.13. Два подхода к выявлению связей между факторами ....157

12.14. Проблема определения силы воздействия факторов ....158

12.15. Проверка адекватности модели ....159

12.16. Применение когнитивных моделей в СППР ....159

12.17. Компьютерные СППР ....162

13. НОВЫЕ ПРОБЛЕМЫ БОЛЬШИХ ДАННЫХ И ПРИМЕРЫ ....165

13.1. Примеры успешных применений аналитики БД ....165

13.2. Новые проблемы, обусловленные особенностями БД ....166

13.3. Накопление ошибок ....167

13.4. Возникновение ложных выборочных корреляций ....171

13.5. Зависимости между помехой и переменными модели ....172

13.6. Некоторые возможные решения ключевых проблем ....173

ЗАКЛЮЧЕНИЕ ....180

СПИСОК ЛИТЕРАТУРЫ ....181

В учебнике излагается содержание курса по дисциплине «Теория информационных процессов и систем», а также дополнительные материалы по дисциплинам «Системы поддержки принятия решений» и «Технологии интеллектуального анализа данных» по направлению «Информационные системы и технологии», в том числе профиля «Информационные технологии на транспорте» в соответствии с ФГОС 3++. Рассмотрены основные аспекты работы с большими данными, методы и технологии «Big Data» и «Data Mining», а также общие приемы интеллектуального анализа данных. В качестве инструментальной среды разработки используется интегрированный пакет MatLab версий 6.5 и выше.

Учебник предназначен для формирования у студентов компетенций в соответствии с рабочей программой дисциплины «Теория информационных процессов и систем». Материалы учебника также могут быть использованы студентами, магистрантами и аспирантами других инженерно-технических специальностей, желающими самостоятельно изучить вопросы анализа больших данных.