Регрессия. Теория и практика. С примерами на R и Stan

 Предисловие....14

Благодарности....15

Краткое содержание книги....16

Более увлекательные названия глав....17

Скачивание исходного кода примеров....19

Максимально эффективное использование книги....19

В помощь преподавателю: возможная структура курсов....19

Типографские соглашения, принятые в книге....20

Отзывы и пожелания....20

Список опечаток....21

Нарушение авторских прав....21

Часть I. Основы....22

Глава 1....23

Обзор темы и знакомство с регрессией....23

1.1. Три задачи статистики....23

1.2. Зачем изучать регрессию?....25

1.3. Несколько примеров регрессии....27

1.4. Проблемы построения и интерпретации регрессий....33

1.5. Классический и байесовский вывод....39

1.6. Вычисление наименьших квадратов и байесовской регрессии....44

1.7. Упражнения....45

Глава 2....49

Данные и показатели....49

2.1. Проверка происхождения данных....49

2.2. Достоверность и надежность....52

2.3. Все графики служат для сравнения....55

2.4. Данные и корректировка: тенденции в уровнях смертности....64

2.5. Упражнения....67

Глава 3....69

Обзор основных методов математики и теории вероятностей....69

3.1. Средневзвешенные значения....69

3.2. Векторы и матрицы....70

3.3. Построение линии....72

3.4. Экспоненциальный и степенной рост и спад, логарифмические отношения....73

3.5. Распределения вероятностей....77

3.6. Вероятностное моделирование....84

3.7. Упражнения....87

Глава 4....89

Статистический вывод....89

4.1. Выборочные распределения и генеративные модели....89

4.2. Оценки, стандартные ошибки и доверительные интервалы....91

4.3. Предвзятость и немоделируемая погрешность....99

4.4. Статистическая значимость, проверка гипотез и статистические ошибки....102

4.5. Проблемы с концепцией статистической значимости....107

4.6. Пример проверки гипотезы: 55 000 жителей нуждаются в вашей помощи!....112

4.7. Выход за рамки проверки гипотез....116

4.8. Упражнения....118

Глава 5....121

Моделирование случайных величин....121

5.1. Моделирование дискретных вероятностей....121

5.2. Моделирование непрерывных и смешанных дискретно-непрерывных вероятностей....124

5.3. Вычисление сводных показателей моделей с использованием среднего и среднего абсолютного отклонения....126

5.4. Моделирование выборочного распределения с помощью бутстрапа....127

5.5. Моделирование имитационных данных как образ жизни....131

5.6. Упражнения....131

Часть II. Линейная регрессия....136

Глава 6....137

Основы регрессионного моделирования....137

6.1. Регрессионные модели....137

6.2. Подгонка простой регрессии к смоделированным данным....138

6.3. Интерпретируйте коэффициенты как сравнения, а не как эффекты....141

6.4. Историческое происхождение регрессии....143

6.5. Парадокс регрессии к среднему....146

6.6. Упражнения....150

Глава 7....153

Линейная регрессия с одним предиктором....153

7.1. Пример: прогнозирование итога президентских выборов по экономической ситуации....153

7.2. Проверка подгонки модели с помощью моделирования данных....158

7.3. Сравнения как частный случай регрессионных моделей....161

7.4. Упражнения....165

Глава 8....167

Подгонка регрессионных моделей....167

8.1. Наименьшие квадраты, максимальное правдоподобие и байесовский вывод....167

8.2. Влияние отдельных точек в подогнанной регрессии....174

8.3. Наклон линии в методе наименьших квадратов как средневзвешенное значение наклонов пар....175

8.4. Сравнение подгоночных функций lm и stan_glm....176

8.5. Упражнения....179

Глава 9....183

Прогнозирование и байесовский вывод....183

9.1. Распространение погрешности вывода с помощью апостериорного моделирования....183

9.2. Прогноз и погрешность: predict, posterior_linpred и posterior_predict....186

9.3. Априорная информация и байесовский синтез....192

9.4. Пример байесовского вывода: соотношение привлекательности и пола....195

9.5. Равномерные, малоинформативные и информативные априорные значения в регрессии....198

9.6. Упражнения....205

Глава 10....209

Линейная регрессия с несколькими предикторами....209

10.1. Добавление предикторов в модель....209

10.2. Интерпретация коэффициентов регрессии....213

10.3. Взаимодействия....214

10.4. Индикаторные переменные....216

10.5. Построение плана парного и группового эксперимента как задача регрессии....221

10.6. Погрешность прогнозирования выборов в Конгресс....223

10.7. Математические обозначения и статистический вывод....229

10.8. Взвешенная регрессия....233

10.9. Подгонка одной модели ко многим наборам данных....235

10.10. Упражнения....236

Глава 11....241

Предположения, диагностика и оценка модели....241

11.1. Предположения регрессионного анализа....241

11.2. Построение графика данных и подогнанной модели....246

11.3. Графики остатков....252

11.4. Сравнение данных с репликациями из подогнанной модели....256

11.5. Прогнозное моделирование для проверки подгонки модели временного ряда....259

11.6. Остаточное стандартное отклонение σ и объясненная дисперсия R2....263

11.7. Внешняя валидация: проверка подогнанной модели на новых данных....268

11.8. Перекрестная проверка....269

11.9. Упражнения....281

Глава 12....284

Регрессия и преобразования данных....284

12.1. Линейные преобразования....284

12.2. Центрирование и стандартизация моделей с взаимодействиями....287

12.3. Корреляция и регрессия к среднему....290

12.4. Логарифмические преобразования....293

12.5. Другие преобразования....302

12.6. Создание и сравнение регрессионных моделей для прогнозирования....307

12.7. Модели с большим количеством предикторов....318

12.8. Упражнения....325

Часть III. Обобщенные линейные модели....330

Глава 13....331

Логистическая регрессия....331

13.1. Логистическая регрессия с одним предиктором....331

13.2. Интерпретация коэффициентов логистической регрессии и правило деления на 4....335

13.3. Прогнозы и сравнения....339

13.4. Интерпретация регрессии через скрытые данные....344

13.5. Максимальное правдоподобие и байесовский вывод для логистической регрессии....347

13.6. Перекрестная проверка и логарифмическая оценка для логистической регрессии....351

13.7. Построение модели логистической регрессии: колодцы в Бангладеш....354

13.8. Упражнения....361

Глава 14....366

Продолжаем работу с логистической регрессией....366

14.1. Графическое представление логистической регрессии и двоичных данных....366

14.2. Логистическая регрессия с взаимодействиями....368

14.3. Прогностическое извлечение имитационных данных....375

14.4. Средние прогностические сравнения по шкале вероятности....377

14.5. Остатки регрессии дискретных данных....383

14.6. Идентификация и разделение....388

14.7. Упражнения....393

Глава 15....397

Другие обобщенные линейные модели....397

15.1. Определение и обозначения....397

15.2. Регрессия Пуассона и отрицательная биномиальная регрессия....399

15.3. Логистически-биномиальная модель....408

15.4. Пробит-регрессия: нормально распределенные скрытые данные....410

15.5. Упорядоченная и неупорядоченная категориальная регрессия....412

15.6. Робастная регрессия с использованием t-модели....419

15.7. Модели конструктивного выбора....421

15.8. Выходим за рамки обобщенных линейных моделей....426

15.9. Упражнения....430

Часть IV. До и после подгонки регрессии....436

Глава 16....437

План исследования и размер выборки....437

16.1. Проблема статистической мощности....437

16.2. Общие принципы разработки исследования на примере оценки долей....440

16.3. Размер выборки и расчет плана для непрерывных результатов....446

16.4. Взаимодействия труднее оценить, чем основные эффекты....453

16.5. Расчет эксперимента после сбора данных....459

16.6. Анализ эксперимента с использованием имитационных данных....462

16.7. Упражнения....468

Глава 17....472

Постстратификация и внедрение недостающих данных....472

17.1. Постстратификация: использование регрессии для обобщения на новую популяцию....472

17.2. Генерация имитационных данных для регрессии и постстратификации....483

17.3. Моделирование недостающих данных....486

17.4. Простые подходы к работе с отсутствующими данными....489

17.5. Что такое множественная подстановка?....492

17.6. Неисключающие модели отсутствующих данных....502

17.7. Упражнения....503

Часть V. Причинный вывод....508

Глава 18....509

Причинный вывод и рандомизированные эксперименты....509

18.1. Основы причинного вывода....509

18.2. Средние причинные эффекты....515

18.3. Рандомизированные эксперименты....519

18.4. Распределения выборки, распределения рандомизации и систематическая ошибка в оценке....521

18.5. Использование дополнительной информации при планировании экспериментов....523

18.6. Свойства, допущения и ограничения рандомизированных экспериментов....528

18.7. Упражнения....537

Глава 19....545

Причинный вывод с использованием регрессии по переменной воздействия....545

19.1. Ковариаты до воздействия, методы воздействия и потенциальные результаты....545

19.2. Пример: эффект от показа детям образовательного телешоу....547

19.3. Использование предикторов, известных до воздействия....552

19.4. Различные эффекты воздействия, взаимодействие и постстратификация....556

19.5. Проблемы интерпретации коэффициентов регрессии как эффектов воздействия....560

19.6. Не применяйте для корректировки модели вторичные переменные....562

19.7. Промежуточные результаты и причинно-следственные связи....565

19.8. Упражнения....570

Глава 20....575

Наблюдательные исследования со всеми предполагаемыми искажающими факторами....575

20.1. Проблема причинного вывода....575

20.2. Использование регрессии для оценки причинного эффекта по данным наблюдений....579

20.3. Допущение о неведении при назначении воздействия в наблюдательном исследовании....582

20.4. Дисбаланс и недостаточное перекрытие....587

20.5. Пример: оценка программы по воспитанию детей....593

20.6. Подклассификация и средние эффекты воздействия....596

20.7. Сопоставление меры склонности в примере ухода за детьми....601

20.8. Реструктуризация для создания сбалансированных экспериментальных и контрольных групп....610

20.9. Дополнительные соображения относительно наблюдательных исследований....624

20.10. Упражнения....628

Глава 21....635

Дополнительные соображения о причинном выводе....635

21.1. Косвенная оценка причинно-следственных связей с использованием инструментальных переменных....635

21.2. Инструментальные переменные в регрессионном подходе....644

21.3. Разрывная регрессия: известный механизм назначения, но без перекрытия....653

21.4. Идентификация с использованием различий внутри или между группами....664

21.5. Причины следствий и следствия причин....673

21.6. Упражнения....679

Часть VI. Что дальше?....688

Глава 22....689

Расширенная регрессия и многоуровневые модели....689

22.1. Представление моделей в наиболее обобщенном виде....689

22.2. Неполные данные....690

22.3. Коррелированные ошибки и многомерные модели....692

22.4. Регуляризация моделей со многими предикторами....693

22.5. Многоуровневые, или иерархические, модели....694

22.6. Нелинейные модели – демонстрация с использованием Stan....695

22.7. Непараметрическая регрессия и машинное обучение....700

22.8. Вычислительная эффективность....706

22.9. Упражнения....710

Приложение A....712

Вычисления в R....712

A.1. Загрузка и установка R и Stan....712

A.2. Скачивание данных и кода примеров....714

А.3. Основы....714

A.4. Чтение, запись и просмотр данных....720

А.5. Создание графиков....722

A.6. Работа с неупорядоченными данными....726

A.7. Основы программирования на R....730

A.8. Работа с объектами rstanarm....733

Приложение B....736

10 кратких советов по регрессионному моделированию....736

B.1. Не забывайте о вариации и репликации....736

B.2. Забудьте о статистической значимости....736

B.3. Изображайте на графике только релевантные данные....737

B.4. Интерпретируйте коэффициенты регрессии как сравнения....738

B.5. Изучайте методы статистики при помощи симуляции данных....738

B.6. Подгоняйте много моделей....739

B.7. Настройте вычислительную часть рабочего процесса....740

B.8. Используйте преобразования....741

B.9. Делайте целенаправленные выводы о причинно-следственных связях....741

B.10. Изучайте методы на живых примерах....742

Предметный указатель....743

Регрессия - это статистический метод, который позволяет найти уравнение, наилучшим образом описывающее совокупность данных. Регрессионный анализ позволяет моделировать, проверять и исследовать пространственные отношения, а в ряде случаев устанавливать причинно-следственные связи между независимыми и зависимыми переменными.В этой книге представлен практический подход к компьютерному построению регрессионных моделей. Прочитав ее и проработав упражнения, вы научитесь выбирать, создавать, интерпретировать и оценивать линейные и обобщенные линейные модели и использовать их, чтобы делать прогнозы и выводы.Издание предназначено широкому кругу специалистов по анализу и обработке данных, а также может служить учебником для студентов технических вузов.