- •Об авторе
- •О научных редакторах
- •Благодарности
- •От издательства
- •Введение
- •Для кого эта книга?
- •Почему Python?
- •План книги
- •Версия Python, платформа и IDE
- •Установка Python
- •Запуск Python
- •Использование виртуальной среды
- •Вперед!
- •Глава 1. Спасение моряков с помощью теоремы Байеса
- •Теорема Байеса
- •Проект #1. Поиск и спасение
- •Стратегия
- •Установка библиотек Python
- •Код для теоремы Байеса
- •Время сыграть
- •Итоги
- •Дополнительная литература
- •Усложняем проект. Более грамотный поиск
- •Усложняем проект. Поиск лучшей стратегии с помощью MCS
- •Усложняем проект. Вычисление вероятности обнаружения
- •Глава 2. Установление авторства с помощью стилометрии
- •Проект #2: «Собака Баскервилей», «Война миров» и «Затерянный мир»
- •Стратегия
- •Установка NLTK
- •Корпусы текстов
- •Код стилометрии
- •Итоги
- •Дополнительная литература
- •Практический проект: охота на собаку Баскервилей с помощью распределения
- •Практический проект: тепловая карта пунктуации
- •Усложняем проект: фиксирование частотности
- •Глава 3. Суммаризация текста с помощью обработки естественного языка
- •Стратегия
- •Веб-скрапинг
- •Код для «У меня есть мечта»
- •Установка gensim
- •Код для суммаризации речи «Заправляйте свою кровать»
- •Проект #5. Суммаризация речи с помощью облака слов
- •Модули Word Cloud и PIL
- •Код для создания облака слов
- •Итоги
- •Дополнительная литература
- •Усложняем проект: ночные игры
- •Усложняем проект: суммаризация суммаризаций
- •Глава 4. Отправка суперсекретных сообщений с помощью книжного шифра
- •Одноразовый блокнот
- •Шифр «Ребекка»
- •Проект #6. Цифровой ключ к «Ребекке»
- •Стратегия
- •Код для шифрования
- •Отправка сообщений
- •Итоги
- •Дополнительная литература
- •Глава 5. Поиск Плутона
- •Проект #7. Воссоздание блинк-компаратора
- •Стратегия
- •Данные
- •Код блинк-компаратора
- •Использование блинк-компаратора
- •Проект #8. Обнаружение астрономических транзиентов путем дифференцирования изображений
- •Стратегия
- •Код для детектора транзиентов
- •Использование детектора транзиентов
- •Итоги
- •Дополнительная литература
- •Практический проект: представление орбитальной траектории
- •Практический проект: найди отличия
- •Усложняем проект: сосчитаем звезды
- •Глава 6. Победа в лунной гонке с помощью «Аполлона-8»
- •Цель миссии «Аполлон-8»
- •Траектория свободного возврата
- •Задача трех тел
- •Проект #9. На Луну с «Аполлоном-8»!
- •Использование модуля turtle
- •Стратегия
- •Код программы для расчета свободного возврата «Аполлона-8»
- •Выполнение симуляции
- •Итоги
- •Дополнительная литература
- •Практический проект: симуляция шаблона поисков
- •Практический проект: запусти меня!
- •Практический проект: останови меня!
- •Усложняем проект: симуляция в истинном масштабе
- •Усложняем проект: реальный «Аполлон-8»
- •Глава 7. Выбор мест высадки на Марсе
- •Посадка на Марс
- •Карта MOLA
- •Проект #10. Выбор посадочных мест на Марсе
- •Стратегия
- •Код для выбора мест посадки
- •Результаты
- •Итоги
- •Дополнительная литература
- •Практический проект: убедимся, что рисунки становятся частью изображения
- •Практический проект: визуализация профиля высот
- •Практический проект: отображение в 3D
- •Практический проект: совмещение карт
- •Усложняем проект: три в одном
- •Усложняем проект: перенос прямоугольников
- •Глава 8. Обнаружение далеких экзопланет
- •Транзитная фотометрия
- •Проект #11. Симуляция транзита экзопланеты
- •Стратегия
- •Код для транзита
- •Эксперименты с транзитной фотометрией
- •Проект #12. Получение изображений экзопланет
- •Стратегия
- •Код для пикселизатора
- •Итоги
- •Дополнительная литература
- •Практический проект: обнаружение инопланетных мегаструктур
- •Практический проект: обнаружение транзита астероидов
- •Практический проект: добавление эффекта потемнения к краю
- •Практический проект: обнаружение пятен на звездах
- •Практический проект: обнаружение инопланетной армады
- •Практический проект: обнаружение планеты с луной
- •Практический проект: измерение продолжительности экзопланетного дня
- •Усложняем проект: генерация динамической кривой блеска
- •Глава 9. Как различить своих и чужих
- •Обнаружение лиц на фотографиях
- •Проект #13. Программирование робота-часового
- •Стратегия
- •Результаты
- •Обнаружение лиц в видеопотоке
- •Итоги
- •Дополнительная литература
- •Практический проект: размытие лиц
- •Усложняем проект: обнаружение кошачьих мордочек
- •Глава 10. Ограничение доступа по принципу распознавания лиц
- •Распознавание лиц с помощью LBPH
- •Схема распознавания лиц
- •Извлечение гистограмм локальных бинарных шаблонов
- •Проект #14. Ограничение доступа к инопланетному артефакту
- •Стратегия
- •Поддержка модулей и файлов
- •Код для захвата видео
- •Код для обучения алгоритма распознавания лиц
- •Код для прогнозирования лиц
- •Результаты
- •Итоги
- •Дополнительная литература
- •Усложняем проект: добавление пароля и видеозахвата
- •Усложняем проект: похожие лица и близнецы
- •Усложняем проект: машина времени
- •Глава 11. Создание интерактивной карты побега от зомби
- •Проект #15. Визуализация плотности населения с помощью хороплетной карты
- •Стратегия
- •Библиотека анализа данных
- •Библиотеки bokeh и holoviews
- •Установка pandas, bokeh и holoviews
- •Работа с данными по уровню безработицы и плотности населения в округах и штатах
- •Разбираем код holoviews
- •Код для отрисовки хороплетной карты
- •Планирование маршрута
- •Итоги
- •Дополнительная литература
- •Усложняем проект: отображение на карте изменения численности населения США
- •Глава 12. Находимся ли мы в компьютерной симуляции?
- •Проект #16. Жизнь, Вселенная и пруд черепахи Йертл
- •Код симуляции пруда
- •Следствия симуляции пруда
- •Измерение затрат на пересечение строк или столбцов сетки
- •Результаты
- •Стратегия
- •Итоги
- •Дополнительная литература
- •Дополнение
- •Усложняем проект: поиск безопасного места в космосе
- •Усложняем проект: а вот и Солнце
- •Усложняем проект: взгляд глазами собаки
- •Усложняем проект: кастомизированный поиск слов
- •Усложняем проект: что за сложную паутину мы плетем
- •Усложняем проект: идем вещать с горы
- •Решения для практических проектов
- •Глава 2. Определение авторства с помощью стилометрии
- •Охота на собаку Баскервилей с помощью распределения
- •Тепловая карта пунктуации
- •Глава 4. Отправка суперсекретных сообщений с помощью книжного шифра
- •Составление графика символов
- •Отправка секретов шифром времен Второй мировой войны
- •Глава 5. Поиск Плутона
- •Представление орбитальной траектории
- •Глава 6. Победа в лунной гонке с помощью «Аполлона-8»
- •Симуляция шаблона поисков
- •Заведи меня!
- •Останови меня!
- •Глава 7. Выбор мест высадки на Марсе
- •Убеждаемся, что рисунки становятся частью изображения
- •Визуализация профиля высоты
- •Отображение в 3D
- •Совмещение карт
- •Глава 8. Обнаружение далеких экзопланет
- •Обнаружение инопланетных мегаструктур
- •Обнаружение транзита астероидов
- •Добавление эффекта потемнения к краю
- •Обнаружение инопланетной армады
- •Обнаружение планеты с луной
- •Измерение продолжительности экзопланетного дня
- •Глава 9. Как различить своих и чужих
- •Размытие лиц
- •Глава 10. Ограничение доступа по принципу распознавания лиц
- •Усложняем проект: добавление пароля и видеозахвата
336 Глава 11. Создание интерактивной карты побега от зомби
Стоун-Маунтин находится ближе 20 миль от Атланты в округе ДеКалб с населением 2586 человек на квадратную милю. Вудбери (в реальности город Сеноя) расположен всего в 35 милях от центра Атланты на границе округа Ковета с населением 289 человек на квадратную милю и округа Файетт с населением 549 человек на квадратную милю. Неудивительно, что у выживших было так много проблем. Если бы у них в группе был хотя бы один специалист по обработке данных…
Итоги
В этой главе вы научились работать с библиотекой анализа данных pandas, а также с модулями визуализации bokeh и holoviews. Вы осуществили первичную обработку данных, очистив их и связав информацию из разных источников.
Дополнительная литература
Статья «If the Zombie Apocalypse Happens, Scientists Say You Should Run for the Hills» («Ученые говорят, что если случится зомби-апокалипсис, то надо бежать в горы») (Business Insider, 2017) Кевина Лориа (Kevin Loria) описывает применение стандартных моделей заболеваемости к показателям увеличения числа зомби при зомби-апокалипсисе.
Статья «What to Consider When Creating Choropleth Maps» (Chartable, 2018) Лизы Шарлотты Рост (Lisa Charlotte Rost) содержит полезные рекомендации по составлению хороплетных карт. Найти ее можно на https://blog.datawrapper. de/choroplethmaps/.
Публикация Ларри Веру (Larry Weru) «Muddy America: Color Balancing the Election Map—Infographic» (STEM Lounge, 2019) демонстрирует способы увеличения количества полезных опций хороплетных карт на примере стандартной красно-синей карты, показывающей результаты выборов в США.
«Python Data Science Handbook: Essential Tools for Working with Data»1 (O’Reilly Media, 2016), написанная Джеком Ван Дер Пласом (Jake VanderPlas), представляет подробный справочник важных инструментов Python для работы с данными, включая pandas.
«Beneath the Window: Early Ranch Life in the Big Bend Country» (Iron Mountain Press, 2003), написанная Патрицией Уилсон Клотьер (Patricia Wilson
1Вандер Плас Дж. «Python для сложных задач. Наука о данных и машинное обучение». СПб., издательство «Питер».
Усложняем проект: отображение на карте изменения численности... 337
Clothier), — увлекательная история о жизни автора в начале XX века на обширном ранчо в округе Биг-Бенд штата Техас, еще до того, как эта территория стала Национальным парком. В книге автор размышляет на тему, как выжившие во время апокалипсиса могут обустроить жизнь в суровых природных условиях.
«Game Theory: Real Tips for SURVIVING a Zombie Apocalypse (7 Days to Die)» (The Game Theorists, 2016) — видеосюжет, посвященный лучшему в мире месту для проживания во время зомби-апокалипсиса. В отличие от «Ходячих мертвецов» сюжет предполагает, что вирус зомби может передаваться через москитов и клещей, на основе чего и происходит выбор места. Посмотреть сюжет можно онлайн.
Усложняем проект: отображение на карте изменения численности населения США
Правительство США ежегодно публикует данные переписи населения. На момент написания книги доступны промежуточные, не очень точные данные от 2019 года. Используйте один из их вариантов вместе с данными от 2010 года из проекта 15 для построения новой хороплетной карты, охватывающей изменение в населенности по округам в течение этого временного отрезка.
Подсказка: можно вычесть столбцы в датафрейме pandas, чтобы сгенерировать данные, отражающие разницу, как показано в примере ниже. Значения плотности населения на 2020 год представляют фиктивные данные.
>>>import pandas as pd
>>># Генерируем набор данных о населении по округам:
>>>pop_2010 = {'county': ['Autauga', 'Baldwin', 'Barbour', 'Bibb'],
'popl': [54571, 182265, 27457, 22915]}
>>> pop_2020 = {'county': ['Autauga', 'Baldwin', 'Barbour', 'Bibb'],
'popl': [52910, 258321, 29073, 29881]}
>>>
>>>df_2010 = pd.DataFrame(pop_2010)
>>>df_2020 = pd.DataFrame(pop_2020)
>>>df_diff = df_2020.copy() # Копируем датафрейм 2020 года в новый датафрейм
>>>df_diff['diff'] = df_diff['popl'].sub(df_2010['popl']) # Вычитаем столбцы
popl
>>> print(df_diff.loc[:4, ['county', 'diff']])
|
county |
diff |
0 |
Autauga |
-1661 |
1 |
Baldwin |
76056 |
2 |
Barbour |
1616 |
3 |
Bibb |
6966 |