Python. Библиотека Pandas, часть 1

Мы начинаем знакомиться с Pandas — главной библиотекой Python для анализа данных.

Это очень удобный и не самый сложный в освоении инструмент дата-журналиста. Он позволяет работать с данными в привычном для нас табличном виде. В Pandas можно изучить набор данных, почистить его, внести изменения, проанализировать и сделать выводы, построить графики и многое другое. 

В отличие от Excel, где тоже широкие возможности для работы с данными, Pandas справится даже с очень большими файлами, в которых сотни тысяч и миллионы строк. Стандартному Excel такое не под силу, как и работа с файлами в формате json — именно в таком формате часто хранятся открытые данные. Например, на сайте ГосРасходы данные о государственных контрактах и субсидиях можно выгрузить только в json.

Мы посвятим библиотеке Pandas несколько уроков. Сегодня будет первое знакомство: мы научимся делать самые базовые вещи в Pandas, с которыми уже можно анализировать реальные данные.

1. Создаём датафреймы с нуля

Для начала загрузим библиотеку pandas, сокращенно будем обращаться к ней pd. 

Если вы работаете не через Анаконду, загружайте Pandas командой pip3 install pandas.

В Pandas данные представлены в виде датафрейма, или таблицы с данными. Её можно создать с нуля, например, из словарей, списков или кортежей. 

Создадим свой первый датафрейм для трех крупнейших городов России. Перед нами словарь, в котором ключами являются city и population, а значениями — списки с названиями этих городов и численностью населения, которая им соответствует.

В первом столбце указан индекс (порядковый номер), а остальное выглядит, как привычная таблица.

Также можно создать датафрейм из списка списков.

На этот раз значения записались построчно, и удобнее будет поменять местами строки и столбцы, то есть транспонировать.

Теперь мы знаем, как создать датафрейм с нуля. Но на практике его обычно приходится загружать из файла в форматах excel, csv или json.

2. Создаем датафрейм из файла

Сегодня мы будем работать с данными по смертности людей от разных причин. Перейдем на сайт Института оценки показателей здоровья США и выберем нужные показатели смертности по странам. 

Выберем такие показатели:

• Location: Countries and territories (Страны и территории)
• Year: 2000-2019
• Content: Cause (причина смерти)
• Age: All ages
• Metric: Rate (число смертей от определенной причины на 100 тысяч жителей)
• Measure: Deaths (смерти)
• Sex: Male, Female, Both
• Cause: level 2 causes (2 уровень детализации причин смерти)

Дальше кликнем Download csv (скачать в формате csv).

Нужно поставить галочки, соглашаясь не использовать данные в коммерческих целях, выбрать Names и ввести почту.

Данные могут прийти не сразу, поэтому тот же самый датасет можно скачать по ссылке. Это большой датасет на 260 тысяч строк, с которым было бы непросто работать в Excel. 

Скопируем путь к файлу на компьютере и загрузим его сразу в датафрейм с помощью метода pd.read_csv().

Выведем первые 5 строк датафрейма методом .head().

Чтобы вывести произвольное число строк, укажем нужное число в скобках.

Последние строки выводятся методом .tail().

Метод df.info() дает описание датафрейма: сколько в нем строк и столбцов, какие типы данных содержатся, сколько не пустых значений (non-null), сколько памяти занимает.

Если мы хотим только узнать, сколько в нем строк и столбцов, используем атрибут shape. 

Метод describe дает статистику по числовым столбцам: среднее, максимум и минимум, квартили, стандартное отклонение.

Если нам для статистики нужны не только числовые столбцы, но и все остальные, добавим аргумент all. 

Тогда к таблице добавятся поля unique (сколько в столбце уникальных значений), top (какое значение встречается чаще всего) и freq (сколько раз встречается самое частое значение).

У нас в датафрейме нет пустых значений (missing values, NA), но часто они бывают в реальных данных, «загрязняют» их и мешают с ними работать. От пустых значений можно избавиться методом dropna.

3. Фильтруем датафрейм по названию столбца и индексам

Выбрать определенный столбец можно двумя способами:

Также можно вывести на экран сразу несколько столбцов, обернув их в двойные квадратные скобки.

Ещё для выбора столбцов и строк существует методы loc и iloc. Loc — для выбора по названию, iloc — по индексу (порядковому номеру).

Если нам нужны только строки с 100 по 110, пропишем это условие слева.

Если мы хотим выбрать столбцы и строки не по названию, а по номеру, задействуем метод iloc. Это бывает полезно, например, когда названия столбцов слишком длинные.

Важно: в методе loc включаются все указанные в условии числа, поэтому мы видим строку 110, а в iloc правый конец исключается (как в стандартных срезах в Python), поэтому последняя строка, которую мы видим — 109. Чтобы вывести на экран строки 100:110, нужно было бы указать df.iloc[100:111, 0:3].

4. Фильтруем датафрейм по условиям

В Pandas очень удобно выбирать данные по условию. Например, нам нужны показатели смертности только для Both sexes, обоих полов.

Или по трем условиям: оба пола, только 2019 год, только сердечно-сосудистые заболевания.

Или по четырем: оба пола, только 2019 год, только сердечно-сосудистые заболевания, только больше 600 смертей на 100 тысяч жителей.

Мы видим страны с самой высокой смертностью от сердечно-сосудистых болезней. Cохраним результат в отдельный датафрейм и назовем его cardio.

И отсортируем его по показателю смертности от сердечно-сосудистых болезней. Оказывается, чаще всего от проблем с сердцем умирают в Болгарии.

Можно задать и так, чтобы соблюдалось или одно условие, или другое с помощью оператора «или»:

Если мы не знаем точно, как называется причина смерти, либо название слишком длинное, удобно использовать метод contains (содержит). Метод str.contains("HIV") выдаст нам строки, в которых упоминается HIV (ВИЧ).

Если нам, наоборот, нужны строки, в которых НЕ упоминается ВИЧ, то можно добавить либо условие False в конце, либо знак ~ в начале.

5. Удаляем, добавляем столбцы, меняем названия

Видно, что значения в столбцах measure, metric, age одинаковые. Также мы не будем работать с столбцами lower и upper (нижняя оценка показателя смертности и высокая), поэтому их можно удалить. Для этого используем метод drop.

Чтобы удалить несколько столбцов, обернем их в квадратные скобки.

Аргумент axis =1 показывает, что удалить нужно именно столбец (1 — столбцы, 0 — строки). 

Теперь научимся добавлять столбцы. Например, добавим столбец, в котором будут храниться значения val, но только округленные до одной десятой.

Переименовать столбцы тоже несложно. Переименуем, например, val в value.

6. Сохраняем датафрейм 

Датафрейм можно сохранить в csv или xlsx и работать с ним дальше в любой программе. Название файла должно быть уникальным, иначе если у вас на компьютере уже есть файл с таким названием, то он перезапишется.

Вот мы и освоили необходимым минимум для работы в Pandas. Тетрадь с этого урока можно скачать здесь, а задать вопросы и пообщаться — в чате «Мастерской» в Telegram.