> 🎤 Corey Schafer — Кори Шефер — популярный технический видеоблогер и преподаватель, специализирующийся на глубоком разборе библиотек Python, включая Pandas и Django.

Мастерство управления структурами данных: как эффективно добавлять и удалять строки и столбцы в Pandas

⚡ Зачем читать
Экономия времени: Вы научитесь трансформировать огромные массивы данных за секунды, избавляясь от ручного редактирования CSV-файлов.
Чистота кода: Узнаете, почему использование квадратных скобок вместо точечной нотации спасает от критических ошибок в проектах.
Профессиональный подход: Освоите технику работы с  и условным удалением строк, что критически важно для подготовки качественных датасетов для Machine Learning.

🗺 Карта навыков
| Навык | Инструмент | Уровень сложности | Применение |
| :--- | :--- | :--- | :--- |
| Создание колонок |  | Базовый | Инженерия признаков (Feature Engineering) |
| Удаление колонок |  | Базовый | Очистка данных (Data Cleaning) |
| Разделение строк |  | Средний | Нормализация данных |
| Добавление строк |  | Средний | Слияние датасетов |
| Фильтрация строк |  | Продвинутый | Удаление выбросов и дубликатов |

1. Искусство создания и объединения колонок

В процессе анализа данных часто возникает ситуация, когда исходная информация разрознена. Например, у вас есть отдельные столбцы с именами и фамилиями сотрудников, но для отчетов требуется полный формат «Имя Фамилия». Кори Шефер демонстрирует, что в Pandas объединение данных — это элегантная и быстрая операция, не требующая сложных циклов.

Представим, что у нас есть DataFrame  с колонками  (например, «Tony») и  («Stark»). Чтобы создать новый столбец , мы просто складываем существующие ряды, добавив между ними строковый пробел: . Важно помнить критический совет спикера: используйте только квадратные скобки. Если вы напишете , Python воспримет это как попытку создать атрибут объекта, что приведет к ошибке или непредсказуемому поведению. 

После того как новые данные созданы, их можно использовать для глубокого анализа. Если вы хотите вычислить, скажем, годовой доход на основе ежемесячных выплат, вы можете применить математические операции аналогичным образом. Этот подход позволяет не просто добавлять «статичные» колонки, а внедрять логику расчетов прямо в структуру DataFrame. При добавлении колонок Pandas автоматически выравнивает данные по индексу, что исключает риск смещения значений при объединении.

> "I do want to point out that you can't use the dot notation when assigning a column like this we have to use the brackets like we did here in order to make these assignments because if you use dot notation then Python is going to think that you're trying to assign an attribute onto the data frame object and not a column."

Помимо простой конкатенации, метод  с аргументом  позволяет совершить обратную операцию. Если у вас есть столбец  с данными вроде «Steve Rogers», вы можете мгновенно превратить его в две отдельные колонки  и . Аргумент  здесь играет ключевую роль: он преобразует результат сплита из списка в полноценные столбцы DataFrame. Без него вы получили бы просто серию списков, что неудобно для дальнейшей работы.

✅ Сделайте сейчас: Создайте DataFrame с колонками  и . Используя операцию сложения строк, создайте новый столбец , объединив их через запятую. Затем попробуйте удалить исходные столбцы методом  с аргументом .

2. Управление жизненным циклом данных: удаление и добавление строк

Удаление и добавление записей — это хлеб насущный специалиста по работе с данными. Часто мы сталкиваемся с тем, что в DataFrame нужно добавить новые наблюдения (например, данные о новом клиенте) или, наоборот, избавиться от «шумных» записей. Кори Шефер детально разбирает метод , который, несмотря на свою простоту, требует внимания к деталям, особенно в части индексов.

При добавлении одной записи (например, словарь ) к существующему набору, вы столкнетесь с ошибкой индексации, если не используете . Аргумент  сообщает Pandas: «не пытайся найти существующий индекс для этой строки, просто создай новый с нуля». Это критически важно, так как при добавлении строк из разных источников или при разном порядке колонок, индексы могут конфликтовать. Если вы добавляете новый DataFrame  к , следите за аргументом . Это предотвращает появление предупреждений о сортировке колонок и делает код более предсказуемым.

Удаление строк — это процесс фильтрации. Мы используем метод , передавая в него  тех записей, которые нам не нужны. Однако «высший пилотаж» — это удаление на основе условий. Вместо того чтобы вручную искать ID строки, вы можете создать фильтр: , а затем передать . Это делает ваш код динамичным: он будет работать корректно, даже если данные в таблице изменятся. Кори подчеркивает: всегда выносите условия фильтрации в отдельные переменные. Это не только делает код чище, но и облегчает отладку.

> "I don't really like all of this being bunched up together because I think that it's hard to read and you always want your code to be easy to read by other developers so I would pull the conditional out into its own variable and instead I would say something like this I would say filt for filter is equal to and then I'll just grab our conditional here."

Помните: методы  и  возвращают копию объекта, а не меняют исходный DataFrame, если не указан параметр . Впрочем, стоит учитывать, что для  этот параметр недоступен, поэтому для сохранения изменений всегда используйте конструкцию . Это важная дисциплина, которая предотвращает потерю данных при выполнении длинных скриптов обработки данных.

✅ Сделайте сейчас: Создайте второй DataFrame с данными одного пользователя. Присоедините его к основному DataFrame с использованием . Затем найдите все строки, где значение в колонке  равно , и удалите их с помощью фильтрации по индексу.

---

3. Продвинутые техники фильтрации и удаления строк по сложным условиям

В профессиональной разработке и анализе данных мы редко удаляем строки «вручную», зная их конкретный индекс. Реальные датасеты содержат тысячи и миллионы записей, поэтому удаление должно основываться на логических критериях. Кори Шефер демонстрирует, как превратить процесс очистки данных в элегантную фильтрацию. Основная идея заключается в создании промежуточной переменной-фильтра, которая делает код самодокументируемым и легко читаемым для коллег.

Допустим, наша задача — избавиться от всех записей, где фамилия сотрудника совпадает с определенным значением, например, «Doe». Вместо того чтобы вызывать  и пытаться вставить сложную логику внутрь скобок, мы создаем переменную . Это создает серию булевых значений (True/False). Затем мы вызываем . Метод  здесь критически важен: он извлекает метки всех строк, удовлетворяющих условию, которые затем передаются в  для удаления. Такая связка позволяет динамически изменять датасет в зависимости от входящих данных.

Кори делает важный акцент на чистоте кода. Новички часто стремятся «запихнуть» всё выражение в одну строку: . Хотя это работает, такой подход быстро превращается в «спагетти-код», который крайне сложно отлаживать. Разделение логики на определение фильтра и его применение — это стандарт индустрии. Это позволяет не только легко заменить условие, но и, например, сначала просмотреть, какие именно строки попали под удаление, просто вызвав  перед выполнением операции .

> "I don't really like all of this being bunched up together because I think that it's hard to read and you always want your code to be easy to read by other developers so I would pull the conditional out into its own variable and instead I would say something like this I would say filt for filter is equal to and then I'll just grab our conditional here."

Помимо этого, метод  можно использовать для удаления строк по их меткам (labels). Если вы знаете ID строки, передача его в  работает мгновенно. Важно понимать, что Pandas в данном случае оперирует индексами (индексами строк), а не порядковыми номерами, если только они не совпадают. Всегда проверяйте текущий индекс перед удалением, чтобы избежать случайного удаления не тех данных. Если вы хотите сделать удаление постоянным, не забывайте про , иначе метод просто вернет «срез» без нужных строк, а ваш исходный  останется нетронутым.

✅ Сделайте сейчас: Создайте датафрейм с данными о десяти сотрудниках (имя, фамилия, отдел). Сформируйте фильтр для поиска сотрудников из отдела 'Sales'. Выведите их на экран, убедитесь в правильности выбора, а затем удалите эти записи из основного датафрейма с помощью переменной  и метода .

4. Архитектурный подход к слиянию DataFrame и управлению индексами

Когда мы работаем с данными, поступающими из разных источников, рано или поздно приходится объединять несколько DataFrame в один. Метод  в Pandas был долгое время классическим инструментом для этого, и хотя в современных версиях библиотеки предпочтение отдается методу , понимание логики, которую заложил в обучение Кори Шефер, критически важно для понимания того, как работают индексы.

Главная проблема при объединении — это конфликты индексов и разный порядок колонок. Если вы просто попытаетесь прибавить один DataFrame к другому, Pandas может выдать предупреждение (или даже ошибку в старых версиях), если индексы дублируются или столбцы идут в разном порядке. Аргумент  здесь — ваш лучший друг. Он отбрасывает старые индексы присоединяемого DataFrame и перестраивает их последовательно, начиная с нуля (или продолжая текущий индекс основного объекта). Это гарантирует, что у каждой строки будет уникальный идентификатор, что предотвращает ошибки при дальнейшей фильтрации.

При работе с колонками также важно учитывать параметр . При слиянии Pandas по умолчанию пытается привести столбцы к единому алфавитному порядку, чтобы они «совпали». Если вам это не нужно, отключение сортировки ускоряет процесс и избавляет от лишних предупреждений. Помните: Pandas — это объектно-ориентированная библиотека. Если вы присваиваете результат операции переменной, вы создаете новый объект в памяти. Это безопасный подход, позволяющий избежать случайной порчи данных. Если же вы хотите сэкономить память при работе с гигантскими таблицами, всегда взвешивайте, стоит ли делать копии или можно эффективно изменять структуру "на лету".

> "These have conflicting indexes and they also have columns that are not in the same order so again we're going to want to ignore the indexes when appending these so that they are assigned indexes properly."

Для профессионала важно понимать не только «как» написать код, но и «почему» он работает именно так. При добавлении строк, если в новом DataFrame отсутствуют какие-то колонки, которые есть в основном, Pandas автоматически заполнит их значениями  (Not a Number). Это «правило пустоты» позволяет объединять разнородные данные без поломки структуры. Всегда следите за типами данных в новых колонках после объединения: иногда появление  заставляет Pandas автоматически перевести целочисленный тип колонки (int) в тип с плавающей точкой (float), чтобы вместить значения . Это может быть неожиданным побочным эффектом, который важно учитывать при дальнейшем анализе и построении моделей машинного обучения.

---

5. Методы трансформации строк: от строкового разделения к автоматизации колонок

Часто в реальных задачах анализа данных мы сталкиваемся с «грязными» строковыми данными, где несколько логических единиц информации объединены в одну ячейку. Классический пример из практики Кори Шефера — колонка , содержащая имя и фамилию через пробел. Чтобы сделать эти данные пригодными для анализа или построения моделей, нам необходимо провести операцию декомпозиции. Для этих целей в Pandas используется мощный строковый аксессор  в сочетании с методом . Однако одной лишь разбивки недостаточно: по умолчанию  вернет список, что неудобно для дальнейшей обработки. Здесь на помощь приходит аргумент , который трансформирует результат разбиения в отдельные колонки датафрейма.

Рассмотрим на примере: если у нас есть колонка  со значениями вроде «Tony Stark» или «Steve Rogers», вызов  вернет новый объект DataFrame с двумя колонками, где в первой будут имена, а во второй — фамилии. Это принципиально меняет структуру данных. Далее мы можем легко присвоить эти результаты обратно в существующий DataFrame, обратившись к нему через список имен колонок: . Такой подход позволяет за одну операцию создать новые признаки, что критически важно при подготовке данных для машинного обучения или продвинутой визуализации.

Кори Шефер подчеркивает важность чистоты операций. Когда мы используем , мы не просто меняем тип данных — мы меняем размерность пространства признаков. Новички часто забывают про параметр , из-за чего получают серию списков, с которыми невозможно выполнять арифметические или логические операции. Всегда проверяйте результат через , чтобы убедиться, что структура колонок соответствует ожидаемой. Также важно помнить: если количество пробелов в строках варьируется,  может вести себя иначе, поэтому всегда стоит предварительно исследовать данные на наличие аномалий.

> "The result of that split method is that we get the first name and the last name in a list... if we want to assign these to two different columns then we need to expand this list so that they're actually in two different columns so to do this in pandas we can use the expand argument."

Помимо разделения, метод  является отличной альтернативой для более сложных трансформаций, например, математических операций над колонками (скажем, конвертация валют или расчет индексов). Однако работа со строками через  оптимизирована под векторизованные операции, поэтому она работает значительно быстрее, чем  с использованием лямбда-функций. Всегда отдавайте предпочтение встроенным строковым методам, если задача может быть ими решена.

✅ Сделайте сейчас: Создайте DataFrame с колонкой  (например, "2023-01-01 10:00"). Используйте метод  с пробелом в качестве разделителя и аргументом , чтобы разделить дату и время на две отдельные колонки. Переименуйте их в  и  и выведите обновленный DataFrame.

6. Принципы безопасности при манипуляции данными: атрибуты vs индексы

При работе с Pandas важно понимать разницу между доступом к данным через атрибуты (dot notation) и через индексы (square brackets). Хотя новичкам часто кажется, что  и  — это одно и то же, это не так. Использование точечной нотации ограничено: вы не можете создать новый столбец с помощью , так как Python интерпретирует это как добавление атрибута к объекту, что часто ведет к конфликтам или ошибкам. Кори Шефер категоричен: для операций создания, удаления и выбора данных всегда используйте квадратные скобки. Это стандарт, гарантирующий, что Pandas будет работать именно с колонками вашего датафрейма, а не с метаданными или методами самого объекта.

Особое внимание стоит уделить методу . При удалении колонок мы передаем параметр , а при удалении строк — . Это разграничение зон ответственности делает код предсказуемым. Если вы случайно передадите название колонки в аргумент , Pandas выдаст ошибку, так как не найдет соответствующую метку среди индексов строк. Ошибка — это хорошо, ведь она предотвращает silent fail, когда программа продолжает работать с неверными данными. Всегда используйте параметр  только после того, как вы убедились в правильности выбора данных, предварительно выведя результат операции на экран.

Важный нюанс: концепция «view vs copy». Когда вы выбираете подмножество данных или удаляете часть строк, Pandas часто возвращает представление (view). Если вы планируете изменять эти данные, Pandas может выдать . Это сигнал того, что вы работаете с копией, и изменения не будут применены к оригиналу. Чтобы избежать этого, используйте метод  при создании промежуточных срезов. Понимание того, когда вы работаете с оригиналом, а когда с временной копией — это то, что отличает продвинутого аналитика от начинающего.

> "I do want to point out that you can't use the dot notation when assigning a column like this we have to use the brackets like we did here in order to make these assignments because if you use dot notation then Python is going to think that you're trying to assign an attribute onto the data frame object."

В заключение: автоматизация очистки через переменные-фильтры (), использование  для экономии памяти и избегание точечной нотации при записи — это «золотой стандарт» работы с данными. Эти навыки позволяют писать код, который работает стабильно даже на огромных наборах данных, где любая ошибка индексации может привести к потере часов вычислительного времени.

✅ Сделайте сейчас: Попробуйте создать новый столбец в своем DataFrame, используя точечную нотацию (), а затем попробуйте добавить столбец через квадратные скобки (). Сравните поведение Pandas. После этого удалите столбец  методом  и проверьте, остался ли он в DataFrame.

---

7. Работа с : интеграция данных и стратегия 

Когда мы переходим от работы с единичными записями к объединению целых наборов данных, метод  становится основным инструментом «склейки». Представьте ситуацию: у вас есть основной DataFrame  с данными сотрудников, и из другого источника (например, API или CSV-файла) пришел новый DataFrame  с данными новых коллег. Кори Шефер акцентирует внимание на том, что простое присоединение — это не всегда тривиальная задача, так как структура индексов может конфликтовать. Если оба датафрейма имеют индексы, начинающиеся с 0, Pandas при объединении сохранит их дубликаты, что создаст хаос при последующей индексации по методу .

Использование аргумента  — это не просто «опция», это профессиональная гигиена данных. Установив его, вы приказываете Pandas отбросить старые индексы и перестроить их последовательно (0, 1, 2...). Это гарантирует уникальность каждой строки, что жизненно важно для предотвращения ошибок при фильтрации. При работе с методом  важно помнить: в отличие от , он не имеет аргумента . Это означает, что метод возвращает новый объект DataFrame, а не изменяет старый. Вы должны явно переприсвоить его: . Игнорирование этого правила — классическая ошибка новичков, после которой они удивляются, почему их данные «не сохранились».

> "These have conflicting indexes and they also have columns that are not in the same order so again we're going to want to ignore the indexes when appending these so that they are assigned indexes properly."

При добавлении данных с разной структурой колонок, Pandas проявляет гибкость: если в  есть столбец, которого нет в , он будет добавлен, а пустые ячейки в старых строках будут заполнены . Это «правило пустоты» полезно, но требует осторожности. Если новые данные имеют другие типы (например, целые числа в  и строки в ), Pandas может автоматически повысить тип колонки до , что негативно скажется на производительности. Всегда проверяйте типы данных после «склейки» через .

✅ Сделайте сейчас: Создайте два небольших DataFrame:  (столбцы 'A', 'B') и  (столбцы 'B', 'C'). Объедините их с помощью  с параметром . Изучите, как Pandas заполнил пропущенные значения  для отсутствующих колонок в каждом из наборов данных.

8. Искусство удаления строк: логическая фильтрация против индексации

Удаление строк — это операция, которая в руках аналитика становится инструментом очистки данных. Кори Шефер показывает два пути: удаление по конкретному индексу (например, ) и удаление на основе условий. Второй путь — это «высший пилотаж». Когда мы хотим удалить строки, где, например, «фамилия равна Doe», новички склонны пытаться сделать это через сложные циклы. Однако профессиональный подход заключается в использовании масок (фильтров) и передачи этих масок в метод .

Важный аспект: использование промежуточной переменной . Вместо того чтобы «засорять» вызов метода  громоздким условием, лучше сначала определить , а затем передать . Это делает код читаемым, отлаживаемым и безопасным. Если вы совершили ошибку в условии, легко проверить переменную  отдельно, не запуская при этом потенциально опасную операцию удаления. Кори подчеркивает: «Всегда делайте свой код понятным для других разработчиков». Читаемость кода в аналитике данных — это залог того, что вы не совершите фатальную ошибку при обработке огромных массивов информации.

> "I don't really like all of this being bunched up together because I think that it's hard to read and you always want your code to be easy to read by other developers so I would pull the conditional out into its own variable."

Понимание того, как работают индексы при удалении, также критично. Если вы удаляете строки, Pandas оставляет пропуски в нумерации индексов (например, 0, 1, 3, 4). Если вам критична непрерывная нумерация, после удаления используйте метод . Помните, что удаление строк — это трансформация, которая меняет размерность данных. Если вы планируете продолжать работу с тем же датафреймом, убедитесь, что вы осознаете, как изменилось количество наблюдений. Потеря данных должна быть всегда осознанным действием, а не следствием опечатки в индексе.

✅ Сделайте сейчас: Сгенерируйте DataFrame из 10 строк. Создайте логическую маску, выбрав строки, где значение в колонке 'A' больше 5. Используйте эту маску, чтобы удалить соответствующие строки из DataFrame, а затем выполните , чтобы обновить индексы.

🏋️ Практикум
1. Добавьте столбец  к существующему DataFrame, заполнив его случайными числами.
2. Переименуйте столбцы в DataFrame, используя метод , чтобы избавиться от пробелов в названиях.
3. Объедините два DataFrame, один из которых имеет лишнюю колонку, и убедитесь, что  появились в правильных местах.
4. Удалите строку по индексу 5, предварительно сохранив копию датафрейма.
5. Создайте сложный фильтр (используя операторы  или ) и удалите все строки, соответствующие этому условию.
6. Рассчитайте среднее значение новой колонки после того, как вы добавили в неё данные.
7. Используйте  для обработки строковых данных в колонке, чтобы преобразовать всё в верхний регистр, и сравните это с методом .

🔑 Итоги: 5 действий на сегодня
1. Используйте  для создания колонок, забудьте про точечную нотацию () для записи.
2. При  всегда используйте , если не хотите получить дубликаты индексов.
3. При удалении сложных наборов строк выносите условия в переменную  для повышения читаемости.
4. Используйте  в  для мгновенной декомпозиции данных.
5. Всегда делайте  при операциях без , чтобы изменения сохранились.

💬 Цитаты для вдохновения
"If you use dot notation then Python is going to think that you're trying to assign an attribute onto the data frame object and not a column."
"You always want your code to be easy to read by other developers, so I would pull the conditional out into its own variable."