10 трюков библиотеки Python Pandas, которые вам нужны

0
13774
Добавить в избранное

Любите панд? Мы тоже. А еще мы любим эффективный код, поэтому собрали классные трюки, которые облегчат работу с библиотекой Python Pandas.

Некоторые команды уже знакомы? А вы не пробовали использовать их таким образом? 😉

10 трюков библиотеки Python Pandas, которые вам нужны

read_csv

Все знают эту команду. Но когда данные, которые вы пытаетесь обработать, большие, попробуйте добавить аргумент nrows = 5, чтобы прочитать только крошечную часть таблицы перед фактической загрузкой всей таблицы. Зачем? Так удастся избежать ошибки с выбором неправильного разделителя, ведь это не всегда запятая.

Или используйте head в Linux, чтобы вывести первые, скажем, 5 строк из любого текстового файла: head –n 5 data.txt.

Извлеките список столбцов с df.columns.tolist(). Добавьте аргумент usecols = [‘c1’, ‘c2’,…], чтобы загрузить только необходимые столбцы. Кроме того, если знаете типы данных нескольких конкретных столбцов, добавьте аргумент dtype = {‘c1’: str, ‘c2’: int,…}. Так загрузка будет быстрее. Этот аргумент даёт ещё одно преимущество. Если один столбец содержит строки и числа, рекомендуется объявить его тип строковым. Так вы избежите ошибок при объединении таблиц, когда используете этот столбец как ключ.

select_dtypes

Если нужна предварительная обработка данных на языке Python, то эта команда сэкономит вам время. После чтения из таблицы типами данных по умолчанию для каждого столбца будут bool, int64, float64, object, category, timedelta64 или datetime64. Можете сначала проверить распределение с помощью

df.dtypes.value_counts()

чтобы узнать все типы данных объекта DataFrame. Далее выполните

df.select_dtypes(include = ['float64', 'int64'])

чтобы выбрать подмножество объекта DataFrame только с числовыми характеристиками.

copy

Это важная команда, если ещё не слышали о ней. Когда выполните следующие операции

обнаружите, что df1 изменён. Это потому, что df2 = df1 не делает копию df1 и не присваивает это значение df2, а устанавливает указатель, который ссылается на df1. Таким образом, любые изменения в df2 приведут к изменениям в df1. Чтобы это исправить, сделайте

df2 = df1.copy()

или же

map

Это классная команда для простого преобразования данных. Определяете словарь, в котором «ключами» являются старые значения, а «значениями» – новые значения:

Некоторые примеры:

  • трансформация true, false в 1, 0 для моделирования;
  • определение уровней;
  • установленные пользователем кодировки.

применять или не применять функцию apply?

10 трюков библиотеки Python Pandas, которые вам нужны

Нужен новый столбец с несколькими другими столбцами в качестве входных данных? Функция apply спешит на помощь!

Здесь определена функцию с двумя входными переменными, и с помощью функции apply применяем к столбцам ‘c1’ и ‘c2’.

Но проблема применения «apply» в том, что иногда это слишком медленно. Например, вам надо рассчитать максимум для ‘c1’ и ‘c2’. Конечно, можно сделать

но это будет намного медленнее, чем

Вывод: не используйте apply, если можете выполнить ту же работу с помощью других встроенных функций, которые часто работают быстрее. Например, если нужно округлить столбец ‘c’ до целых чисел, выполните round(df[‘c’], 0) или df[‘c’].round(0) вместо apply: df.apply(lambda x: round(x['c'], 0), axis = 1).

value counts

Команда для проверки распределения значений. Чтобы проверить возможные значения и частоту каждого отдельного значения в столбце ‘c’, выполните:

Некоторые полезные трюки и аргументы этой функции:

  1. normalize = True – проверить частоту вместо подсчёта.
  2. dropna = False – включить пропущенные значения в статистику.
  3. df['c'].value_counts().reset_index() – преобразовать таблицу статистики в объект Pandas DataFrame.
  4. df['c'].value_counts().reset_index().sort_values(by='index') – показывать статистику, отсортированную по уникальным значениям в столбце ‘c’ вместо количества.

Количество пропущенных значений

При построении моделей часто надо исключить строку с большим количеством пропущенных значений или строки со всеми пропущенными значениями. Используйте .isnull() и .sum() для подсчёта количества пропущенных значений в указанных столбцах:

Выбрать строки с конкретными идентификаторами

В SQL используем SELECT * FROM… WHERE ID в («A001», «C022»,…) и получаем записи с конкретными идентификаторами. Если хотите сделать то же с помощью Python библиотеки Pandas, используйте

Процентильные группы в Python Pandas

У нас есть числовой столбец. Хотим классифицировать значения в этом столбце по группам:

  • верхние 5% в группе 1
  • 5–20% в группе 2
  • 20–50% в группе 3
  • нижние 50% в группе 4

Конечно, можно сделать это с помощью pandas.cut, но рассмотрим другой вариант

который быстро запускается, потому что не применяется функция apply.

to_csv

Опять же, это команда, которую все будут использовать. Здесь расскажем о двух трюках. Первый:

Используйте эту команду для вывода первых пяти строк того, что будет в точности записано в файл.

Ещё один трюк касается смешения целых чисел и пропущенных значений. Если столбец содержит как пропущенные значения, так и целые числа, типом данных по-прежнему будет float, а не int. Когда экспортируете таблицу, добавьте float_format = ‘%. 0f’, чтобы округлить числа с плавающей точкой до целых чисел. Используйте этот трюк, когда нужны только целочисленные выходные данные столбцов – так избавитесь от надоедливых ‘.0’.

Это перевод статьи о трюках библиотеки Python Pandas на Towards Data Science.

Интересуетесь Data Science и Python? Читайте статьи по теме:

Какой трюк пакета Python Pandas попробуете в ближайшее время?

Интересуетесь Data Science?

Подпишитесь на нашу рассылку, чтобы получать больше интересных материалов:

И не беспокойтесь, мы тоже не любим спам. Отписаться можно в любое время.




Добавить комментарий