Анализ данных с помощью GenAI и Python

Предисловие....12

Вступление....14

Благодарности....15

О книге....17

Целевая аудитория....18

Как читать эту книгу....19

Данные, использованные при работе над книгой....21

О коде....21

Об авторах....22

Иллюстрация на обложке....23

От издательства....24

О научном редакторе русскоязычного издания....24

Глава 1. Использование генеративного ИИ в сфере анализа данных....25

1.1. Внутренние ограничения генеративных моделей ИИ....26

1.2. Роль генеративного ИИ в аналитике данных....29

1.2.1. Как генеративный ИИ можно использовать в аналитике данных....30

1.2.2. Взаимодополняемость языковых моделей и других инструментов анализа данных....34

1.2.3. Ограничения генеративного ИИ в автоматизации и оптимизации аналитических процессов....37

1.3. Первые шаги с генеративным ИИ в аналитике данных....39

1.3.1. Работа через веб-интерфейс....39

1.3.2. Остерегайтесь токенов....40

1.3.3. Подключение к API и работа с ним....41

1.3.4. Интеграция сторонних моделей генеративного ИИ....46

1.3.5. Запуск языковых моделей локально....47

1.3.6. Практические советы по успешному внедрению генеративного ИИ....48

Резюме....50

Глава 2. Как генеративный ИИ помогает улучшать качество данных....51

2.1. Прихоти судьбы....52

2.2. Несколько слов о передовых практиках....53

2.3. Начало работы....54

2.4. Структура оценки качества данных....62

2.4.1. Этапы очистки данных....62

2.4.2. Ключевые этапы исследовательского анализа данных....63

2.5. Очистка данных....64

2.5.1. Удаление дубликатов....65

2.5.2. Обработка пропущенных значений....66

2.5.3. Исправление явных ошибок ввода....69

2.5.4. Проверка формата и корректности данных....70

2.6. Исследовательский анализ данных....73

2.6.1. Анализ распределения оценок....75

2.6.2. Исследование временных рядов....79

2.6.3. Исследование неизвестных переменных....86

2.6.4. Приведение данных к единому виду....89

Резюме....93

Глава 3. Описательный анализ и статистические выводы с помощью генеративного ИИ....94

3.1. Вопросы исследования....95

3.2. Проектирование аналитического процесса....98

3.3. Описательный анализ данных....101

3.3.1. Популярность категорий товаров....102

3.3.2. Эффективность продаж по категориям и регионам....111

3.3.3. Распределение пользовательских оценок....118

3.3.4. Статусы заказов....126

3.4. Статистический вывод....132

3.4.1. Прежде чем начать....133

3.4.2. Связь между характеристиками товара и стоимостью доставки....134

3.4.3. Связь между товаром, транзакциями, параметрами доставки и оценкой в отзыве....142

3.4.4. Различия в показателях продаж и удовлетворенности клиентов между продавцами....148

Резюме....156

Глава 4. Интерпретация результатов с помощью генеративного ИИ....157

4.1. Определение проблемы....158

4.2. Популярность категорий товаров....160

4.3. Эффективность продаж по категориям и регионам....171

4.4. Анализ распределения оценок отзыва....173

4.5. Статус заказа....179

4.6. Связь между характеристиками товара и стоимостью доставки....184

4.7. Связь между товаром, транзакцией, параметрами доставки и оценкой в отзыве....188

4.8. Различия в показателях продаж и удовлетворенности клиентов между продавцами....193

Резюме....195

Глава 5. Основы анализа текста с помощью генеративного ИИ....196

5.1. Анализ текста в эпоху генеративного ИИ....197

5.1.1. Генеративный ИИ меняет правила игры....198

5.1.2. Остерегайтесь запугивания со стороны ИИ....199

5.1.3. Ограничения и их влияние на анализ....200

5.2. Подготовка к анализу....201

5.2.1. Оценка качества текстовых данных....201

5.2.2. Пример подготовки отзыва клиента....203

5.3. Частотный анализ....205

5.3.1. Что можно узнать из частотного анализа отзывов....205

5.3.2. Выполнение частотного анализа с помощью генеративного ИИ....206

5.3.3. Загрузка данных в ChatGPT для частотного анализа....208

5.3.4. Извлечение наиболее часто встречающихся слов....208

5.3.5. Извлечение наиболее часто встречающихся фраз....213

5.3.6. Интерпретация результатов частотного анализа....214

5.4. Анализ сопутствующих событий....218

5.4.1. Какие выводы можно сделать из анализа сопутствующих событий....218

5.4.2. Анализ сопутствующих событий на практике....219

5.4.3. Интерпретация результатов анализа....223

5.5. Поиск по ключевым словам....225

5.5.1. Где и как помогает поиск по ключевым словам....225

5.5.2. Генерация ключевых слов с помощью ИИ....226

5.5.3. Практическая реализация генерации ключевых слов....227

5.5.4. Поиск по ключевым словам....232

5.5.5. Улучшение результатов поиска по ключевым словам....234

5.5.6. Сравнение моделей ИИ: программный поиск положительных отзывов....241

5.5.7. Где искать вдохновение для анализа....248

5.6. Методы, основанные на словарях....254

5.6.1. Что можно узнать с помощью методов, основанных на словарях....254

5.6.2. Поиск подходящих словарей и ресурсов....257

5.6.3. Интерпретация ресурсов....259

5.6.4. Адаптация кода под выбранные словари....260

5.6.5. Повышение качества поиска по словарю....263

Резюме....265

Глава 6. Продвинутый анализ текста с помощью генеративного ИИ....266

6.1. Анализ отзывов....267

6.2. Анализ тональности....268

6.2.1. Что можно узнать из анализа тональности....270

6.2.2. Прямой анализ тональности с помощью генеративного ИИ....272

6.2.3. Анализ тональности с помощью API генеративного ИИ....273

6.2.4. Анализ тональности с помощью машинного обучения....276

6.2.5. Анализ тональности с использованием неоптимальной модели....281

6.2.6. Анализ тональности на основе переведенных данных....284

6.2.7. Анализ тональности с помощью многоязычных моделей....285

6.2.8. Анализ тональности с помощью моделей zero-shot....287

6.2.9. Сравнение подходов к расширенному анализу тональности....288

6.3. Резюмирование текста....290

6.3.1. Зачем нужно резюмирование текста....290

6.3.2. Как генеративный ИИ может помочь в резюмировании текста....292

6.3.3. Резюмирование текста с помощью ChatGPT....294

6.3.4. Резюмирование текста с помощью специализированных библиотек....295

6.3.5. Тематическое моделирование....300

Резюме....304

Глава 7. Масштабирование и оптимизация производительности....305

7.1. Измерение производительности....307

7.1.1. Время выполнения....309

7.1.2. Пропускная способность....313

7.1.3. Использование ресурсов....314

7.2. Улучшение производительности кода....317

7.2.1. Оптимизация кода....318

7.2.2. Масштабирование кода....320

7.3. Развертывание в облаке....328

7.3.1. Что такое облачные вычисления....328

7.3.2. Перенос кода в облако....329

7.4. Преобразование кода....332

Резюме....337

Глава 8. Риски, способы их снижения и компромиссы....338

8.1. Риски работы с генеративным ИИ....340

8.2. Общие рекомендации....341

8.2.1. Политика использования ИИ....342

8.2.2. Поощрение прозрачности и подотчетность....344

8.2.3. Обучение заинтересованных сторон....345

8.2.4. Экспертная проверка результатов модели....349

8.3. Риски искажения информации и галлюцинаций в генеративных моделях....351

8.4. Снижение рисков неправильного толкования и интерпретации....357

8.4.1. Обеспечение понимания контекста....358

8.4.2. Адаптация и итеративное уточнение запросов....359

8.4.3. Методики постобработки....360

8.4.4. Представление результатов ИИ: лучшие практики прозрачной и понятной коммуникации....363

8.4.5. Организация обратной связи....364

8.5. Риски предвзятости и нарушения принципов справедливости модели....366

8.5.1. Распознавание и выявление предвзятости в результатах модели....367

8.5.2. Применение методов распознавания и смягчения предвзятости....367

8.5.3. Поощрение разнообразия и обеспечение этичного использования генеративного ИИ....369

8.5.4. Постоянный мониторинг и актуализация моделей....370

8.6. Риски конфиденциальности и безопасности....370

8.6.1. Выявление конфиденциальных данных....371

8.6.2. Анонимизация и псевдонимизация данных....373

8.6.3. Социальная инженерия и фишинг....375

8.6.4. Соблюдение правил защиты данных....376

8.6.5. Регулярные аудиты и оценки безопасности....377

8.6.6. Обучение и повышение осведомленности сотрудников....377

8.7. Правовые и нормативно-правовые риски....378

8.7.1. Понимание действующих норм....378

8.7.2. Интеллектуальная собственность и лицензирование....378

8.7.3. Прозрачность и интерпретируемость....379

8.7.4. Создание структуры соответствия....379

8.7.5. Поддержание актуальности практик соответствия....379

8.8. Непредвиденные риски....379

8.8.1. Модели-мошенники....380

8.8.2. Уязвимые королевские драгоценности....380

8.8.3. Неизвестные неизвестности....381

Резюме....382

Приложение A. Передача нескольких DataFrame в ChatGPT v4....383

А1. Чат от 1 апреля 2023 г.....383

Приложение Б. Об отладке кода ChatGPT....388

Б1. Чат от 3 апреля 2023 г.....388

Приложение В. О лени и человеческих ошибках....396

В1. Чат от 7 апреля 2023 г.....396

Эта книга — практическое руководство для тех, кто превращает данные в решения. Шаг за шагом вы разберетесь, как современные методы искусственного интеллекта помогают не просто интерпретировать массивы информации, но и находить скрытые закономерности, прогнозировать будущее и создавать конкурентные преимущества для бизнеса. Вы получите системное понимание инструментов анализа, узнаете о лучших практиках применения машинного обучения и научитесь интегрировать ChatGPT в ежедневные рабочие процессы.

Четкие инструкции научат правильно извлекать, интерпретировать и представлять данные, в результате вы сможете поднять навыки на совершенно новый уровень.

Это не сухая теория — это рабочая методика, которая помогает аналитикам принимать решения быстрее, точнее и смелее.

Вы получите проверенные стратегии анализа больших данных с помощью ИИ, практические инструменты для повышения точности прогнозов, кейсы из бизнеса и индустрии, которые можно адаптировать под свои задачи, понимание, как превратить аналитическую работу в драйвер роста компании.

5 причин купить книгу

1. Практическая ценность: книга дает прикладные методы анализа, которые можно сразу внедрить в проекты.
2. Углубление компетенций: помогает выйти за рамки чистого кодинга и освоить работу с данными.
3. Современные подходы: рассматриваются актуальные техники и алгоритмы.
4. Оптимизация решений: учит находить закономерности и принимать более точные технические решения.
5. Профессиональный рост: знание анализа данных усиливает позиции разработчика на рынке труда.