- •Об авторе
- •Предисловие
- •Для кого эта книга
- •О чем эта книга
- •Что вам потребуется при чтении этой книги
- •Условные обозначения
- •От издательства
- •Глава 1. Обзор алгоритмов
- •Что такое алгоритм
- •Этапы алгоритма
- •Определение логики алгоритма
- •Псевдокод
- •Использование сниппетов
- •Создание плана выполнения
- •Введение в библиотеки Python
- •Библиотеки Python
- •Реализация Python с помощью Jupyter Notebook
- •Методы разработки алгоритмов
- •Параметры данных
- •Параметры вычислений
- •Анализ производительности
- •Анализ пространственной сложности
- •Анализ временной сложности
- •Оценка эффективности
- •Выбор алгоритма
- •«О-большое»
- •Проверка алгоритма
- •Точные, приближенные и рандомизированные алгоритмы
- •Объяснимость алгоритма
- •Резюме
- •Глава 2. Структуры данных, используемые в алгоритмах
- •Структуры данных в Python
- •Список
- •Кортеж
- •Словарь
- •Множество
- •DataFrame
- •Матрица
- •Абстрактные типы данных
- •Вектор
- •Стек
- •Очередь
- •Базовый принцип использования стеков и очередей
- •Дерево
- •Резюме
- •Глава 3. Алгоритмы сортировки и поиска
- •Алгоритмы сортировки
- •Обмен значений переменных в Python
- •Сортировка пузырьком
- •Сортировка вставками
- •Сортировка слиянием
- •Сортировка Шелла
- •Сортировка выбором
- •Алгоритмы поиска
- •Линейный поиск
- •Бинарный поиск
- •Интерполяционный поиск
- •Практическое применение
- •Резюме
- •Глава 4. Разработка алгоритмов
- •Знакомство с основными концепциями разработки алгоритма
- •Вопрос 1. Даст ли разработанный алгоритм ожидаемый результат?
- •Вопрос 2. Является ли данный алгоритм оптимальным способом получения результата?
- •Вопрос 3. Как алгоритм будет работать с большими наборами данных?
- •Понимание алгоритмических стратегий
- •Стратегия «разделяй и властвуй»
- •Стратегия динамического программирования
- •Жадные алгоритмы
- •Практическое применение — решение задачи коммивояжера
- •Использование стратегии полного перебора
- •Использование жадного алгоритма
- •Алгоритм PageRank
- •Постановка задачи
- •Реализация алгоритма PageRank
- •Знакомство с линейным программированием
- •Практическое применение — планирование производства с помощью линейного программирования
- •Резюме
- •Глава 5. Графовые алгоритмы
- •Представление графов
- •Типы графов
- •Особые типы ребер
- •Эгоцентрические сети
- •Анализ социальных сетей
- •Введение в теорию сетевого анализа
- •Кратчайший путь
- •Создание окрестностей
- •Показатели центральности
- •Вычисление показателей центральности с помощью Python
- •Понятие обхода графа
- •BFS — поиск в ширину
- •DFS — поиск в глубину
- •Практический пример — выявление мошенничества
- •Простой анализ мошенничества
- •Анализ мошенничества методом сторожевой башни
- •Резюме
- •Глава 6. Алгоритмы машинного обучения без учителя
- •Обучение без учителя
- •Обучение без учителя в жизненном цикле майнинга данных
- •Современные тенденции исследований в области обучения без учителя
- •Практические примеры
- •Алгоритмы кластеризации
- •Количественная оценка сходства
- •Иерархическая кластеризация
- •Оценка кластеров
- •Применение кластеризации
- •Снижение размерности
- •Метод главных компонент (PCA)
- •Ограничения PCA
- •Поиск ассоциативных правил
- •Примеры использования
- •Анализ рыночной корзины
- •Ассоциативные правила
- •Оценка качества правила
- •Алгоритмы анализа ассоциаций
- •Практический пример — объединение похожих твитов в кластеры
- •Тематическое моделирование
- •Кластеризация
- •Алгоритмы обнаружения выбросов (аномалий)
- •Использование кластеризации
- •Обнаружение аномалий на основе плотности
- •Метод опорных векторов
- •Резюме
- •Глава 7. Традиционные алгоритмы обучения с учителем
- •Машинное обучение с учителем
- •Терминология машинного обучения с учителем
- •Благоприятные условия
- •Различие между классификаторами и регрессорами
- •Алгоритмы классификации
- •Задача классификации
- •Оценка классификаторов
- •Этапы классификации
- •Алгоритм дерева решений
- •Ансамблевые методы
- •Логистическая регрессия
- •Метод опорных векторов (SVM)
- •Наивный байесовский алгоритм
- •Алгоритмы регрессии
- •Задача регрессии
- •Линейная регрессия
- •Алгоритм дерева регрессии
- •Алгоритм градиентного бустинга для регрессии
- •Среди алгоритмов регрессии победителем становится...
- •Практический пример — как предсказать погоду
- •Резюме
- •Глава 8. Алгоритмы нейронных сетей
- •Введение в ИНС
- •Эволюция ИНС
- •Обучение нейронной сети
- •Анатомия нейронной сети
- •Градиентный спуск
- •Функции активации
- •Инструменты и фреймворки
- •Keras
- •Знакомство с TensorFlow
- •Типы нейронных сетей
- •Перенос обучения
- •Практический пример — использование глубокого обучения для выявления мошенничества
- •Методология
- •Резюме
- •Глава 9. Алгоритмы обработки естественного языка
- •Знакомство с NLP
- •Терминология NLP
- •Библиотека NLTK
- •Мешок слов (BoW)
- •Эмбеддинги слов
- •Окружение слова
- •Свойства эмбеддингов слов
- •Рекуррентные нейросети в NLP
- •Использование NLP для анализа эмоциональной окраски текста
- •Практический пример — анализ тональности в отзывах на фильмы
- •Резюме
- •Глава 10. Рекомендательные системы
- •Введение в рекомендательные системы
- •Типы рекомендательных систем
- •Рекомендательные системы на основе контента
- •Рекомендательные системы на основе коллаборативной фильтрации
- •Гибридные рекомендательные системы
- •Ограничения рекомендательных систем
- •Проблема холодного старта
- •Требования к метаданным
- •Проблема разреженности данных
- •Предвзятость из-за социального влияния
- •Ограниченные данные
- •Области практического применения
- •Практический пример — создание рекомендательной системы
- •Резюме
- •Глава 11. Алгоритмы обработки данных
- •Знакомство с алгоритмами обработки данных
- •Классификация данных
- •Алгоритмы хранения данных
- •Стратегии хранения данных
- •Алгоритмы потоковой передачи данных
- •Применение потоковой передачи
- •Алгоритмы сжатия данных
- •Алгоритмы сжатия без потерь
- •Практический пример — анализ тональности твитов в режиме реального времени
- •Резюме
- •Глава 12. Криптография
- •Введение в криптографию
- •Понимание важности самого слабого звена
- •Основная терминология
- •Требования безопасности
- •Базовое устройство шифров
- •Типы криптографических методов
- •Криптографические хеш-функции
- •Симметричное шифрование
- •Асимметричное шифрование
- •Практический пример — проблемы безопасности при развертывании модели МО
- •Атака посредника (MITM)
- •Избежание маскарадинга
- •Шифрование данных и моделей
- •Резюме
- •Глава 13. Крупномасштабные алгоритмы
- •Введение в крупномасштабные алгоритмы
- •Определение эффективного крупномасштабного алгоритма
- •Терминология
- •Разработка параллельных алгоритмов
- •Закон Амдала
- •Гранулярность задачи
- •Балансировка нагрузки
- •Проблема расположения
- •Запуск параллельной обработки на Python
- •Разработка стратегии мультипроцессорной обработки
- •Введение в CUDA
- •Кластерные вычисления
- •Гибридная стратегия
- •Резюме
- •Глава 14. Практические рекомендации
- •Введение в практические рекомендации
- •Печальная история ИИ-бота в Твиттере
- •Объяснимость алгоритма
- •Алгоритмы машинного обучения и объяснимость
- •Этика и алгоритмы
- •Проблемы обучающихся алгоритмов
- •Понимание этических аспектов
- •Снижение предвзятости в моделях
- •Решение NP-трудных задач
- •Упрощение задачи
- •Адаптация известного решения аналогичной задачи
- •Вероятностный метод
- •Когда следует использовать алгоритмы
- •Практический пример — события типа «черный лебедь»
- •Резюме
Алгоритмы сортировки |
75 |
АЛГОРИТМЫ СОРТИРОВКИ
Вэпоху больших данных необходимы современные алгоритмы, чтобы эффек тивно сортировать и быстро находить элементы в сложных структурах. Выбор стратегии сортировки и поиска зависит от размера и типа данных. Хотя конеч ный результат будет одинаковым для различных алгоритмов, для эффективно го решения реальной проблемы нужно подобрать наиболее подходящий вариант.
Вданной главе представлены следующие алгоритмы сортировки:
zz сортировка пузырьком (bubble sort); zz сортировка вставками (insertion sort); zz сортировка слиянием (merge sort); zz сортировка Шелла (Shell sort);
zz сортировка выбором (selection sort).
Обмен значений переменных в Python
При реализации алгоритмов сортировки и поиска мы сталкиваемся с необхо димостью обмена значений двух переменных между собой. В Python для этого есть простой способ:
var1 = 1 var2 = 2
var1,var2 = var2,var1
>>>print (var1,var2)
>>>2 1
Давайте посмотрим, как это работает (рис. 3.1).
Рис. 3.1
Данный способ обмена значений используется во всех алгоритмах сортировки и поиска, о которых мы поговорим в этой главе.
Начнем с рассмотрения алгоритма сортировки пузырьком.
76 |
Глава 3. Алгоритмы сортировки и поиска |
Сортировка пузырьком
Сортировка пузырьком (bubble sort) — это самый простой и медленный алгоритм сортировки. Он спроектирован так, что наибольшее значение перемещается вправо по списку на каждой итерации цикла. При наихудшем сценарии произ водительность этого алгоритма равна O(n2), поэтому его следует использовать только для небольших наборов данных.
Логика сортировки пузырьком
В основе сортировки пузырьком лежит ряд итераций, называемых проходами (passes). Для списка размера N нужно совершить N — 1 проходов. Рассмотрим подробно первую итерацию: проход 1.
Цель первого прохода — вывести наибольшее значение в конец списка. По мере выполнения алгоритма оно будет постепенно перемещаться вправо по списку.
В процессе сортировки значения соседних элементов сравниваются между собой попарно. Если в паре большее значение находится слева, происходит переста новка (обмен). Это продолжается до тех пор, пока мы не дойдем до конца списка. Работа алгоритма показана на следующей схеме (рис. 3.2).
1
Обмен
Обмен
Обмен
Обмен Нет обмена Обмен
Сортировка пузырьком
Рис. 3.2
Алгоритмы сортировки |
77 |
Теперь посмотрим, как сортировка пузырьком реализуется в Python:
#Pass 1 of Bubble Sort lastElementIndex = len(list)-1 print(0,list)
for idx in range(lastElementIndex):
if list[idx]>list[idx+1]: list[idx],list[idx+1]=list[idx+1],list[idx] print(idx+1,list)
Первый проход сортировки пузырьком на Python выглядит следующим образом (рис. 3.3).
Рис. 3.3
После первой итерации алгоритма наибольшее значение оказывается в конце списка. Затем начинается следующий проход. Его цель — переместить второе по величине значение на предпоследнюю позицию в списке. Для этого алгоритм снова сравнивает значения соседних элементов и меняет их местами, если нуж но. Последний элемент не затрагивается, поскольку уже был помещен в нужную позицию на первой итерации.
Проходы выполняются до тех пор, пока все элементы данных не будут рас положены в порядке возрастания. Чтобы полностью отсортировать список, алгоритму потребуется N – 1 проходов для списка размером N. Полная реали зация сортировки пузырьком на Python выглядит следующим образом (рис. 3.4).
Теперь рассмотрим производительность алгоритма BubbleSort.
78 |
Глава 3. Алгоритмы сортировки и поиска |
|
|
|
|
Рис. 3.4
Анализ производительности сортировки пузырьком
Легко увидеть, что сортировка пузырьком включает в себя два уровня циклов:
zz Внешний цикл. Совокупность проходов. Например, первый проход — это первая итерация внешнего цикла.
zzВнутренний цикл. Оставшиеся элементы в списке сортируются до тех пор, пока наибольшее значение не окажется справа. На первом проходе будет N – 1 сравнений, на втором — N – 2. На каждом последующем проходе ко личество сравнений будет уменьшаться на единицу.
Из-за двух уровней цикличности наихудшая сложность алгоритма равна O(n2).
Сортировка вставками
Основная идея сортировки вставками заключается в том, что на каждой итера ции мы удаляем элемент из имеющейся у нас структуры данных, а затем встав ляем его в нужную позицию. Именно поэтому алгоритм называется сортировкой вставками (insertion sort). На первой итерации мы сортируем два элемента данных. Затем мы расширяем выборку: берем третий элемент и находим для него позицию согласно его значению. Алгоритм выполняется до тех пор, пока все элементы не будут перемещены в правильное положение. Данный процесс показан на следующей диаграмме (рис. 3.5).
Алгоритм сортировки вставками на Python выглядит так:
def InsertionSort(list):
for i in range(1, len(list)):
Алгоритмы сортировки |
79 |
j = i-1
element_next = list[i]
while (list[j] > element_next) and (j >= 0): list[j+1] = list[j]
j=j-1
list[j+1] = element_next return list
Вставка 25 Вставка 26 Вставка 22 Вставка 24 Вставка 27 Вставка 23 Вставка 21
Сортировка вставками
Рис. 3.5
Обратите внимание, что в основном цикле мы проходим по всему списку. В каж дой итерации двумя соседними элементами являются list[j](текущий элемент) и list[i] (следующий элемент).
В выражениях list [j]>element_next>и j>=0 мы сравниваем текущий элемент со следующим.
Давайте используем этот код для сортировки массива (рис. 3.6).
Рис. 3.6
Рассмотрим производительность алгоритма сортировки вставками.