数据处理与可视化：pandas 和 matplotlib 初体验（9/10）
介绍
在如今的数据驱动时代，掌握数据处理与可视化是每个开发者和数据科学家不可或缺的技能。Python 拥有强大的数据处理库 pandas 和数据可视化库 matplotlib，它们可以帮助我们轻松地处理复杂的数据，并以直观的方式展示结果。在本篇文章中，我们将深入学习如何使用 pandas 和 matplotlib 进行数据处理和可视化，从而更好地理解和分析数据。
pandas 库简介
pandas 是一个用于数据处理和分析的强大库，提供了数据结构 Series 和 DataFrame，它们可以用来处理各种表格数据和时间序列数据。
创建 Series 和 DataFrame
-
Series 是一维的、带有索引的数组。
-
DataFrame 是二维的、类似于电子表格的结构，包含行和列。
import pandas as pd# 创建一个 Series
data = [10, 20, 30, 40, 50]
series = pd.Series(data, index=["a", "b", "c", "d", "e"])
print("Series:\n", series)# 创建一个 DataFrame
data = {"姓名": ["Alice", "Bob", "Charlie"],"年龄": [25, 30, 35],"成绩": [88, 92, 79]
}
df = pd.DataFrame(data)
print("DataFrame:\n", df)输出：
Series:
a 10
b 20
c 30
d 40
e 50
dtype: int64DataFrame:姓名 年龄 成绩
0 Alice 25 88
1 Bob 30 92
2 Charlie 35 79读取和写入数据
pandas 可以读取和写入多种文件格式，例如 CSV、Excel、SQL 数据库等。
读取 CSV 文件
df = pd.read_csv("data.csv")
print("CSV 文件内容:\n", df)写入 CSV 文件
df.to_csv("output.csv", index=False)| 方法 | 描述 | 示例 |
|---|---|---|
pd.read_csv() | 读取 CSV 文件 | df = pd.read_csv("data.csv") |
df.to_csv() | 将 DataFrame 写入 CSV 文件 | df.to_csv("output.csv") |
pd.read_excel() | 读取 Excel 文件 | df = pd.read_excel("data.xlsx") |
df.to_excel() | 将 DataFrame 写入 Excel 文件 | df.to_excel("output.xlsx") |
数据处理与分析
数据处理是数据分析的关键步骤，pandas 提供了丰富的操作来处理数据，例如筛选、排序、分组等。
数据筛选与过滤
我们可以根据特定的条件筛选 DataFrame 中的行。
# 创建一个 DataFrame
data = {"姓名": ["Alice", "Bob", "Charlie", "David", "Eva"],"年龄": [25, 22, 23, 24, 21],"成绩": [85, 78, 92, 88, 76]
}
df = pd.DataFrame(data)# 筛选成绩大于 80 的行
filtered_df = df[df["成绩"] > 80]
print("成绩大于 80 的学生:\n", filtered_df)输出：
成绩大于 80 的学生:姓名 年龄 成绩
0 Alice 25 85
2 Charlie 23 92
3 David 24 88数据分组与聚合
通过 groupby() 方法，我们可以对数据进行分组并进行聚合操作，例如计算平均值、最大值等。
# 按年龄进行分组，计算每个年龄的平均成绩
grouped = df.groupby("年龄")["成绩"].mean()
print("按年龄分组后的平均成绩:\n", grouped)数据清洗
数据清洗是确保数据质量的关键步骤，例如处理缺失值、去除重复行等。
# 处理缺失值
# 创建带有缺失值的 DataFrame
data = {"姓名": ["Alice", "Bob", "Charlie", None],"年龄": [25, None, 35, 28],"成绩": [88, 92, None, 85]
}
df = pd.DataFrame(data)# 填充缺失值
filled_df = df.fillna({"姓名": "未知", "年龄": df["年龄"].mean(), "成绩": 0})
print("填充缺失值后的 DataFrame:\n", filled_df)输出：
填充缺失值后的 DataFrame:姓名 年龄 成绩
0 Alice 25.000000 88.0
1 Bob 29.333333 92.0
2 Charlie 35.000000 0.0
3 未知 28.000000 85.0| 数据操作 | 描述 | 示例 |
| 数据筛选 | 根据条件筛选行 | df[df["成绩"] > 80] |
| 数据分组与聚合 | 按某列分组并计算统计量 | df.groupby("年龄")["成绩"].mean() |
| 缺失值处理 | 填充或去除缺失值 | df.fillna(value) |
数据可视化入门：matplotlib
matplotlib 是 Python 最流行的数据可视化库之一，它允许我们绘制折线图、柱状图、散点图等，以直观地展示数据分析的结果。
绘制折线图
折线图通常用于展示数据的变化趋势。
import matplotlib.pyplot as plt# 数据
months = ["一月", "二月", "三月", "四月", "五月"]
sales = [3000, 3200, 3500, 4000, 4200]# 绘制折线图
plt.plot(months, sales, marker="o")
plt.xlabel("月份")
plt.ylabel("销售额 (元)")
plt.title("月销售额趋势")
plt.grid()
plt.show()绘制柱状图
柱状图用于比较不同类别的数据。
# 数据
names = ["Alice", "Bob", "Charlie", "David", "Eva"]
scores = [85, 78, 92, 88, 76]# 绘制柱状图
plt.bar(names, scores, color="skyblue")
plt.xlabel("姓名")
plt.ylabel("成绩")
plt.title("学生成绩对比图")
plt.show()绘制散点图
散点图用于展示两组数据之间的关系。
# 数据
age = [22, 25, 30, 35, 40, 45, 50]
salary = [2500, 2700, 3000, 3400, 3700, 4000, 4300]# 绘制散点图
plt.scatter(age, salary, color="green")
plt.xlabel("年龄")
plt.ylabel("工资 (元)")
plt.title("年龄与工资的关系")
plt.show()| 图表类型 | 描述 | 示例 |
| 折线图 | 展示数据的变化趋势 | plt.plot() |
| 柱状图 | 比较不同类别的数据 | plt.bar() |
| 散点图 | 展示两组数据之间的关系 | plt.scatter() |
综合示例：学生成绩分析与可视化
在这个综合示例中，我们将结合 pandas 和 matplotlib，对学生成绩进行分析并将结果进行可视化展示。
示例：分析并可视化学生成绩
-
创建一个包含学生姓名、年龄和成绩的数据表。
-
计算平均成绩并筛选成绩高于平均值的学生。
-
使用柱状图可视化每位学生的成绩。
import pandas as pd
import matplotlib.pyplot as plt# 创建 DataFrame
data = {"姓名": ["Alice", "Bob", "Charlie", "David", "Eva"],"年龄": [25, 22, 23, 24, 21],"成绩": [85, 78, 92, 88, 76]
}
df = pd.DataFrame(data)# 计算平均成绩
average_score = df["成绩"].mean()
print(f"平均成绩: {average_score:.2f}")# 筛选成绩高于平均值的学生
above_average_df = df[df["成绩"] > average_score]
print("成绩高于平均值的学生:\n", above_average_df)# 可视化学生成绩
plt.bar(df["姓名"], df["成绩"], color="orange")
plt.xlabel("姓名")
plt.ylabel("成绩")
plt.title("学生成绩柱状图")
plt.axhline(y=average_score, color='r', linestyle='--', label=f"平均成绩: {average_score:.2f}")
plt.legend()
plt.show()输出：
平均成绩: 83.80
成绩高于平均值的学生:姓名 年龄 成绩
0 Alice 25 85
2 Charlie 23 92
3 David 24 88此图展示了每位学生的成绩，红色虚线表示平均成绩，可以直观地看到哪些学生的成绩高于平均值。
总结
在本篇文章中，我们学习了如何使用 pandas 进行数据处理和分析，包括数据的读取、清洗、筛选和分组等操作。随后，我们学习了如何使用 matplotlib 进行数据可视化，绘制了折线图、柱状图和散点图。最后，通过一个综合示例，我们结合 pandas 和 matplotlib 对学生成绩进行了分析与可视化展示。通过掌握这些工具和技巧，你将能够更好地处理数据并从中提取有用的信息。
在下一篇文章中，我们将完成一个综合的小项目，把之前学习的所有知识整合在一起，进一步加深对 Python 编程的理解。敬请期待！
_今日的最新消息_长沙官网seo收费标准)
