MySQL 8 для больших данных. Эффективная обработка данных с помощью MySQL8, Hadoop, API NoSql и других инструментов для больших данных

Об авторах ........................................................................................................ 11
О рецензентах ................................................................................................. 14
Предисловие .........................................................................................................17

Глава 1. Введение в большие данные и MySQL 8 ......................................21

• Важность больших данных ............................................................................ 22
  • Социальные медиа ...................................................................................... 22
  • Политика ...................................................................................................... 23
  • Наука и исследование ................................................................................ 24
  • Энергетика ................................................................................................... 24
  • Обнаружение мошенничества ................................................................... 24
  • Здравоохранение ........................................................................................ 25
  • Бизнес-картирование ................................................................................. 25
• Жизненный цикл больших данных .............................................................. 26
  • Объём .......................................................................................................... 27
  • Разнообразие .............................................................................................. 27
  • Скорость ...................................................................................................... 28
  • Правдивость ............................................................................................... 28
  • Фазы жизненного цикла больших данных .............................................. 28
• Структурированные базы данных .................................................................. 31
• Основы MySQL ................................................................................................. 32
  • MySQL как реляционная СУБД .................................................................. 32
  • Лицензирование .......................................................................................... 32
  • Надежность и масштабируемость ......................................................... 33
  • Совместимость платформ .......................................................................... 33
  • Выпуски ........................................................................................................ 33
• Новые возможности в MySQL 8 ...................................................................... 33
  • Транзакционный словарь данных .......................................................... 34
  • Роли .............................................................................................................. 35
  • Автоинкремент InnoDB .............................................................................. 35
  • Поддержка невидимых индексов ............................................................ 36
  • Улучшение индексов по убыванию ......................................................... 36
  • SET PERSIST ................................................................................................. 36
  • Расширенная поддержка ГИС .................................................................... 36
  • Кодировка символов по умолчанию ...................................................... 37
  • Улучшение побитовых операций ............................................................. 37
  • InnoDB Memcached ...................................................................................... 37
  • NOWAIT и SKIP LOCKED ............................................................................. 37
• Преимущества использования MySQL ......................................................... 38
  • Безопасность ............................................................................................... 38
  • Масштабируемость .......................................................................................... 38
  • Реляционная СУБД с открытым исходным кодом ....................................... 39
  • Высокая производительность ......................................................................... 39
  • Высокая доступность ..................................................................................... 39
  • Кросс-платформенность ................................................................................ 39
  • Инсталляция MySQL 8
  • Получение MySQL 8 ....................................................................................... 40
  • Установка MySQL 8 ....................................................................................... 40
  • Служебные команды MySQL ......................................................................... 41
  • Эволюция MySQL для больших данных
  • Получение данных в MySQL ......................................................................... 43
  • Организация данных в Hadoop ...................................................................... 43
  • Аналитическая обработка данных .............................................................. 43
  • Результаты анализа ....................................................................................... 43
  • Резюме ...................................................................................................... 44

  • Глава 2. Методы запроса данных в MySQL 8 ........................................... 45

  • Обзор SQL ...................................................................................................... 45
  • Подсистемы хранения и их разновидности .............................................. 46
    • InnoDB ......................................................................................................... 48
    • MyISAM ....................................................................................................... 49
    • Memory ........................................................................................................ 50
    • Archive ......................................................................................................... 50
    • Blackhole ..................................................................................................... 51
    • CSV .............................................................................................................. 51
    • Merge .......................................................................................................... 51
    • Federated .................................................................................................... 52
    • NDB Cluster ................................................................................................ 53
  • Работа с SQL-операторами
  • Оператор SELECT ....................................................................................... 54
  • Условие WHERE .......................................................................................... 54
  • Сортировка ORDER BY ............................................................................... 56
  • Ограничение LIMIT ..................................................................................... 57
  • Соединения (JOIN) ....................................................................................... 57
  • UNION .......................................................................................................... 59
  • Оптимизация и модификация
  • Оптимизация запросов SELECT .............................................................. 60
  • Операторы INSERT, REPLACE, UPDATE .............................................. 62
    • INSERT ...................................................................................................... 62
    • UPDATE ..................................................................................................... 62
    • REPLACE ................................................................................................... 62
  • Транзакции и агрегирование
  • Транзакции в MySQL 8 .................................................................................. 63
  • Агрегирование данных ................................................................................ 63
    • Важность агрегатных функций ............................................................. 64
  • Работа с JSON
  • JSON в MySQL ................................................................................................. 66
    • JSON_OBJECTAGG .................................................................................... 67
    • JSON_ARRAYAGG ..................................................................................... 68
  • Резюме ...................................................................................................... 70

  • Глава 3. Индексирование данных для высокопроизводительных запросов ............... 71

  • Индексирование в MySQL ............................................................................. 72
  • Индексные структуры ................................................................................... 72
  • Создание или удаление индексов ................................................................ 75
  • Типы индексов СУБД MySQL 8 ..................................................................... 78
    • Определение первичного индекса ...................................................... 78
    • Уникальные ключи ................................................................................... 80
    • Определение столбцового индекса .................................................... 80
  • Полнотекстовая индексация ........................................................................ 85
  • Пространственные индексы ......................................................................... 89
  • Индексирование данных JSON ..................................................................... 90
    • Генерируемые столбцы ........................................................................... 90
    • Определение индексов на JSON .......................................................... 92
  • Резюме ...................................................................................................... 94

  • Глава 4. Использование Memcached в MySQL 8 ........................................... 95

  • Обзор Memcached .......................................................................................... 95
  • Настройка плагина Memcached ................................................................... 97
    • Инсталляция ............................................................................................. 97
    • Верификация ............................................................................................ 98
  • Использование плагина Memcached ......................................................... 99
    • Наладчик производительности ........................................................... 99
    • Инструмент кеширования ...................................................................... 99
    • Простота в использовании ..................................................................... 99
  • Анализ хранящихся в Memcached данных ................................................ 100
  • Конфигурирование репликации Memcached ............................................ 101
  • API Memcached для различных технологий ............................................ 103
    • Memcached с Java .................................................................................. 103
    • Memcached с PHP .................................................................................. 105
    • Memcached с Ruby ................................................................................. 105
    • Memcached с Python .............................................................................. 106
  • Резюме .................................................................................................... 106

  • Глава 5. Разделение больших объемов данных ........................................ 107

  • Разделение данных в MySQL 8 ................................................................... 108
    • Что такое разделение данных? ......................................................... 108
    • Типы разделения данных ....................................................................... 109
  • Горизонтальное разделение в MySQL 8 .................................................. 109
    • Диапазонное разделение ...................................................................... 110
    • Списковое разделение ........................................................................... 112
    • Хеш-разделение ..................................................................................... 112
    • Столбцовое разделение ......................................................................... 114
    • Разделение по ключу ............................................................................ 116
    • Разбиение на подразделы ...................................................................... 117
  • Вертикальное разделение .......................................................................... 118

  • Разделение больших объемов данных.......................................................... 107

  • Разделение данных на многочисленные таблицы ....................................... 119
  • Подрезание разделов в MySQL ....................................................................... 122
    • Подрезание со списковым разделением .............................................. 125
    • Подрезание с разделением по ключу .................................................. 125
  • Выполнение запросов на разделённых данных ......................................... 126
    • Запрос DELETE с параметром PARTITION ............................................ 128
    • Запрос UPDATE с параметром PARTITION ............................................ 129
    • Запрос INSERT с параметром PARTITION ............................................. 129
  • Резюме .......................................................................................................... 130

  • Глава 6. Репликация для построения высокодоступных решений ............. 131

  • Высокая доступность ....................................................................................... 131
  • Репликация в MySQL ...................................................................................... 132
    • Кластер MySQL ...................................................................................... 132
    • Облачная служба Oracle MySQL .......................................................... 133
    • MySQL с кластером Solaris .................................................................... 133
  • Репликация с помощью MySQL ........................................................................ 134
    • Преимущества репликации в MySQL 8 .............................................. 134
    • Методы репликации в MySQL 8 .......................................................... 135
    • Конфигурация репликации ................................................................... 135
  • Групповая репликация ................................................................................ 148
    • Предварительные условия .................................................................... 149
    • Конфигурирование групповой репликации ....................................... 149
    • Пользователь репликации и активация плагина .................................. 151
    • Запуск групповой репликации ........................................................... 152
  • Резюме .......................................................................................................... 153

  • Глава 7. Практические рекомендации по работе с MySQL 8 ................... 154

  • Сравнительные испытания и конфигурации MySQL ..................................... 155
    • Использование ресурсов ...................................................................... 155
    • Увеличение длительности нагрузочных тестов ................................ 155
    • Репликация параметров производственной среды ........................... 156
    • Пропускная способность и задержка ................................................ 156
    • Возможности Sysbench ........................................................................ 156
    • Мир виртуализации ............................................................................... 156
    • Параллелизм .......................................................................................... 156
    • Фоновая нагрузка .................................................................................. 157
    • Суть вашего запроса ............................................................................. 157
    • Сравнительные испытания ................................................................... 157
  • Рекомендации в отношении вопросов MySQL ..................................... 159
    • Типы данных .......................................................................................... 159
    • Not Null .................................................................................................... 160
    • Индексация ............................................................................................. 160
    • Извлекайте все данные ......................................................................... 161

    • Практические рекомендации по работе с MySQL 8 ................. 154

    • Приложение сделает работу ......................................................................... 161
    • Существование данных .................................................................................. 161
    • Ограничивайте себя ......................................................................................... 161
    • Анализируйте медленные запросы ............................................................. 161
    • Стоимость запроса ......................................................................................... 161
    • Рекомендации в отношении конфигурации Memcached ...................... 162
      • Распределение ресурсов ........................................................................ 162
      • Архитектура операционной системы ................................................... 162
      • Конфигурации по умолчанию ............................................................... 162
      • Максимальный размер объекта ............................................................. 163
      • Ограничение очереди незавершённых заданий .................................. 163
      • Поддержка больших страниц ................................................................. 163
      • Конфиденциальные данные ..................................................................... 163
      • Ограничение открытости ......................................................................... 163
      • Отказоустойчивость ................................................................................. 164
      • Пространства имён .................................................................................. 164
      • Механизм кеширования .......................................................................... 164
      • Общая статистика Memcached ............................................................... 164
    • Рекомендации в отношении репликации ............................................. 166
      • Пропускная способность в групповой репликации ............................ 166
      • Определение размеров инфраструктуры ............................................ 166
      • Постоянная пропускная способность ................................................... 166
      • Неподходящая нагрузка ............................................................................ 166
      • Масштабируемость операции записи .................................................. 167
    • Резюме ........................................................................................................ 167

    • Глава 8. Прикладной программный интерфейс NoSQL для интеграции с решениями для больших данных ............................................................................ 169

    • Обзор NoSQL ................................................................................................... 169
    • Быстрое изменение с течением времени ................................................... 170
    • Масштабирование ......................................................................................... 170
    • Меньше управленческой деятельности ................................................... 170
    • Лучше для больших данных ......................................................................... 171
    • NoSQL против SQL ......................................................................................... 171
    • Реализация API NoSQL ............................................................................ 171
      • NoSQL со слоем API Memcached ........................................................... 172
      • NDB API Cluster ....................................................................................... 178
    • Резюме ........................................................................................................ 189

    • Глава 9. Практический пример: часть I. Apache Sqoop для обмена данными между MySQL и платформой Hadoop ....................................................... 190

    • Практический пример анализа журналов операций .................................. 191
    • Использование MySQL 8 и Hadoop для анализа журналов операций ........ 191
    • Обзор Apache Sqoop ...................................................................................... 192
    • Интеграция Apache Sqoop с MySQL и Hadoop ............................................. 194
    • Hadoop ............................................................................................................. 194

    • Практический пример: часть I. Apache Sqoop для обмена данными между MySQL и платформой Hadoop ................. 190

    • Настройка Hadoop в Linux .......................................................................... 196
    • Инсталляция Apache Sqoop ......................................................................... 198
    • Конфигурирование коннектора MySQL .................................................... 199
    • Импортирование неструктурированных данных в Hadoop HDFS из MySQL ... 199
    • Импорт Sqoop для извлечения данных из MySQL 8 ................................. 199
    • Инкрементный импорт с использованием Sqoop .................................... 202
    • Загрузка структурированных данных в MySQL с помощью Apache Sqoop ... 202
    • Экспорт Sqoop для хранения структурированных данных в MySQL 8 .... 202
    • Сохранённые задания Sqoop ....................................................................... 204
    • Резюме ..................................................................................................... 205

    • Глава 10. Практический пример: часть II. Обработка событий в режиме реального времени с помощью MySQL Applier ............. 206

    • Обзор практического примера ..................................................................... 206
    • MySQL Applier .............................................................................................. 208
    • Дамп и импорт SQL ..................................................................................... 208
    • Sqoop ............................................................................................................. 209
    • Репликатор Tungsten ................................................................................... 209
    • Apache Kafka .................................................................................................. 209
    • Talend ............................................................................................................. 210
    • Dell Shareplex ................................................................................................ 210
    • Сравнение инструментов ............................................................................. 210
    • Обзор MySQL Applier .................................................................................. 210
      • Инсталляция MySQL Applier ................................................................. 212
      • Интеграция в режиме реального времени с MySQL Applier .............. 214
      • Организация и анализ данных в Hadoop .............................................. 216
    • Резюме ......................................................................................................... 218

    • Предметный указатель ................................................................................. 219

Среди организаций, работающих с крупными объемами данных на регулярной основе, реляционная система управления базами данных MySQL стала популярным решением по обработке структурированных больших данных. В книге вы познакомитесь с тем, как администраторы баз данных могут использовать MySQL для обработки миллиардов записей и извлечения данных с производительностью, сравнимой или превосходящей коммерческие решения для СУБД с более высокими затратами. Показано, как реализовывать успешную стратегию больших данных с помощью таких технологий, как Apache Hadoop, MapReduce и MySQL Applier. Также книга включает в себя практические примеры использования Apache Sqoop для обработки событий в режиме реального времени.
Издание будет полезно администраторам баз данных MySQL и специалистам по большим данным, которые хотят интегрировать MySQL и Hadoop с целью реализации высокопроизводительных решений.