使用Python和Pandas处理CSV文件数据

目录

环境准备

读取CSV文件

处理CSV文件中的数据

筛选数据

数据排序

数据分组与聚合

保存处理后的数据到CSV文件

完整示例

---

在数据分析和科学计算领域，CSV（逗号分隔值）文件是一种常见的数据存储格式。Python作为一种流行的编程语言，通过其强大的数据处理库Pandas，使得处理CSV文件变得既简单又高效。本文将引导你如何使用Python和Pandas库来读取、处理以及保存CSV文件中的数据。

环境准备

首先，确保你的Python环境中已经安装了Pandas库。如果未安装，可以通过pip安装：

pip install pandas

读取CSV文件

使用Pandas的read_csv函数可以轻松地读取CSV文件中的数据，并将其加载到DataFrame对象中。DataFrame是Pandas中的一种数据结构，类似于Excel中的表格或SQL中的表。

import pandas as pd  # 读取CSV文件  
df = pd.read_csv('data.csv')  # 显示前几行数据以确认加载正确  
print(df.head())

处理CSV文件中的数据

一旦数据被加载到DataFrame中，你就可以使用Pandas提供的各种函数和方法来处理和分析数据了。

筛选数据

假设我们想要筛选出某个特定条件下的数据行：

# 假设我们想要筛选出'age'列大于30的所有行  
filtered_df = df[df['age'] > 30]  print(filtered_df)

数据排序

你也可以根据一列或多列对DataFrame进行排序：

# 根据'age'列进行升序排序  
sorted_df = df.sort_values(by='age')  # 根据'age'列进行降序排序  
sorted_df_desc = df.sort_values(by='age', ascending=False)  print(sorted_df_desc.head())

数据分组与聚合

Pandas还允许你对数据进行分组，并对每个组执行聚合操作（如求和、平均值等）：

# 根据'gender'列分组，并计算每个组的平均年龄  
grouped = df.groupby('gender')['age'].mean()  print(grouped)

保存处理后的数据到CSV文件

处理完数据后，你可能想要将结果保存回CSV文件。可以使用to_csv方法：

# 将处理后的DataFrame保存到新的CSV文件  
filtered_df.to_csv('filtered_data.csv', index=False)  # 注意：index=False参数用于避免将行索引也写入到CSV文件中

完整示例

下面是一个完整的示例，展示了如何读取CSV文件，进行筛选和排序，然后将结果保存回新的CSV文件：

import pandas as pd  # 读取CSV文件  
df = pd.read_csv('data.csv')  # 筛选年龄大于30的数据  
filtered_df = df[df['age'] > 30]  # 根据年龄进行降序排序  
sorted_df = filtered_df.sort_values(by='age', ascending=False)  # 将排序后的数据保存到新CSV文件  
sorted_df.to_csv('sorted_filtered_data.csv', index=False)  print("数据处理完成，并已保存到sorted_filtered_data.csv")