6.字符串操作

主要功能

Pandas提供了强大的字符串操作功能，可以对文本数据进行清洗和预处理，例如去除空格、大小写转换、正则表达式匹配等。

Python实现

去除空格

使用str.strip()可以去除字符串中的前后空格。

data = {'Name': ['  Tom  ', 'Jerry ', ' Spike']}
df = pd.DataFrame(data)

df['Name'] = df['Name'].str.strip()
print(df)
输出:

  Name
0    Tom
1  Jerry
2  Spike
大小写转换
  可以使用str.lower()或str.upper()将字符串转换为小写或大写。

df['Name'] = df['Name'].str.lower()
print(df)
输出:

 Name
0    tom
1  jerry
2  spike
字符串替换
 使用str.replace()可以进行字符串替换，支持正则表达式。

df['Name'] = df['Name'].str.replace('tom', 'Thomas')
print(df)
输出:

 Name
0  thomas
1   jerry
2   spike

7.时间序列数据处理

主要功能

时间序列数据是机器学习和数据分析中常见的数据类型。Pandas提供了丰富的时间序列处理功能，例如日期解析、时间序列重采样等。

Python实现

日期解析

使用pd.to_datetime()可以将字符串转换为日期时间格式。

data = {'Date': ['2021-01-01', '2021-01-02', '2021-01-03'],
        'Value': [10, 20, 30]}

df = pd.DataFrame(data)
df['Date'] = pd.to_datetime(df['Date'])
print(df)
print(df.dtypes)
输出:

        Date  Value
0 2021-01-01     10
1 2021-01-02     20
2 2021-01-03     30
Date     datetime64[ns]
Value             int64
dtype: object
时间序列重采样
       使用resample()可以对时间序列数据进行重采样，例如按天、周、月等进行聚合操作。

rng = pd.date_range('2021-01-01', periods=100, freq='D')
ts = pd.Series(range(len(rng)), index=rng)

# 按周重采样并求和
ts_resampled = ts.resample('W').sum()
print(ts_resampled)
输出:

2021-01-03     3
2021-01-10    28
2021-01-17    77
2021-01-24   126
2021-01-31   175
2021-02-07   224
Freq: W-SUN, dtype: int64

8.条件筛选与过滤

主要功能

在数据清洗过程中，经常需要根据特定条件筛选和过滤数据，以便聚焦于分析目标或移除不相关的数据。

Python实现

单条件筛选

可以直接对DataFrame进行条件操作，返回符合条件的行。

data = {'Name': ['Tom', 'Jerry', 'Spike', 'Butch'],
        'Age': [20, 21, 22, 20],
        'Salary': [3000.5, 3200.0, 3150.75, 2900.0]}

df = pd.DataFrame(data)

# 筛选Age大于20的行
df_filtered = df[df['Age'] > 20]
print(df_filtered)
输出:

    Name  Age   Salary
1 Jerry   21  3200.00
2 Spike   22  3150.75
多条件筛选
    使用逻辑操作符（&, |）可以进行多条件筛选。

# 筛选Age大于20且Salary大于3100的行
df_filtered = df[(df['Age'] > 20) & (df['Salary'] > 3100)]
print(df_filtered)
输出:

    Name  Age   Salary
1 Jerry   21  3200.00
2 Spike   22  3150.75

9.数据分箱与离散化

主要功能

数据分箱（Binning）或离散化（Discretization）可以将连续变量转换为分类变量，有助于减少模型的复杂性并提高可解释性。

Python实现

使用pd.cut()进行分箱

pd.cut()可以将数据分割成离散的区间。

data = {'Age': [18, 22, 25, 30, 35, 40, 50, 60, 70, 80]}
df = pd.DataFrame(data)

# 将Age分为3个区间
df['Age_Group'] = pd.cut(df['Age'], bins=3, labels=["Young", "Middle-aged", "Old"])
print(df)
输出:

    Age     Age_Group
0   18        Young
1   22        Young
2   25        Young
3   30        Young
4   35  Middle-aged
5   40  Middle-aged
6   50        Old
7   60        Old
8   70        Old
9   80        Old
使用pd.qcut()按分位数分箱
    pd.qcut()根据数据的分布按分位数进行分箱。

# 将Age按分位数分为4组
df['Age_Quartile'] = pd.qcut(df['Age'], 4)
print(df)
输出:

    Age     Age_Group       Age_Quartile
0   18        Young  (17.999, 26.5]
1   22        Young  (17.999, 26.5]
2   25        Young  (17.999, 26.5]
3   30        Young    (26.5, 37.5]
4   35  Middle-aged    (26.5, 37.5]
5   40  Middle-aged    (37.5, 50.0]
6   50        Old    (37.5, 50.0]
7   60        Old    (50.0, 60.0]
8   70        Old    (60.0, 80.0]
9   80        Old    (60.0, 80.0]

10.数据合并与连接

主要功能

在数据清洗过程中，常常需要将来自不同来源的数据进行合并和连接，以构建完整的分析数据集。Pandas提供了强大的数据合并与连接功能。

Python实现

使用pd.merge()进行数据合并

pd.merge()函数可以根据一个或多个键将两个DataFrame合并为一个。

data1 = {'Key': ['A', 'B', 'C', 'D'],
        'Value1': [1, 2, 3, 4]}

data2 = {'Key': ['A', 'B', 'E', 'F'],
        'Value2': [5, 6, 7, 8]}

df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)

# 按照Key列进行合并（内连接）
df_merged = pd.merge(df1, df2, on='Key', how='inner')
print(df_merged)
输出:

Key  Value1  Value2
0   A       1       5
1   B       2       6
使用pd.concat()进行数据拼接
pd.concat()可以将多个DataFrame按照行或列拼接在一起。

df_concat = pd.concat([df1, df2], axis=0)
print(df_concat)
输出:

Key  Value1  Value2
0   A     1.0     NaN
1   B     2.0     NaN
2   C     3.0

    NaN
3   D     4.0     NaN
0   A     NaN     5.0
1   B     NaN     6.0
2   E     NaN     7.0
3   F     NaN     8.0

代表案例

假设我们有一个虚拟的客户数据集，包含客户的年龄、收入、购买次数、以及客户的注册时间。我们将进行以下步骤：

数据加载与展示。
处理缺失值（填充和删除）。
转换数据类型（将注册时间转换为日期格式）。
处理异常值（删除极端收入值）。
数据分箱（根据年龄进行分箱）。
数据可视化（绘制年龄分布和收入与购买次数的散点图）。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 设置随机种子
np.random.seed(42)

# 生成虚拟数据集，并将Age和Income列设为浮点类型以便引入NaN
data = {
    'CustomerID': range(1, 101),
    'Age': np.random.randint(18, 70, size=100).astype(float),  # 将Age列设为浮点类型
    'Income': np.random.normal(50000, 15000, 100),
    'Purchases': np.random.poisson(5, 100),
    'RegistrationDate': pd.to_datetime('2021-01-01') + pd.to_timedelta(np.random.randint(0, 365, 100), unit='d')
}

# 随机引入缺失值
for col in ['Age', 'Income']:
    data[col][np.random.choice(100, 10, replace=False)] = np.nan

df = pd.DataFrame(data)

# Step 1: 数据展示
print("原始数据：")
print(df.head())

# Step 2: 处理缺失值
df['Age'].fillna(df['Age'].median(), inplace=True)  # 用中位数填充
df.dropna(subset=['Income'], inplace=True)  # 删除收入为空的行

# Step 3: 数据类型转换
df['RegistrationDate'] = pd.to_datetime(df['RegistrationDate'])

# Step 4: 处理异常值（删除极端收入值）
income_threshold = df['Income'].mean() + 3 * df['Income'].std()
df = df[df['Income'] < income_threshold]

# Step 5: 数据分箱（按年龄分箱）
df['AgeGroup'] = pd.cut(df['Age'], bins=[17, 30, 40, 50, 60, 70], labels=['18-30', '31-40', '41-50', '51-60', '61-70'])

# Step 6: 数据可视化
plt.figure(figsize=(14, 7))

# 子图1: 年龄分布柱状图
plt.subplot(1, 2, 1)
sns.histplot(df['Age'], bins=15, kde=True, color='orange')
plt.title('Age Distribution')
plt.xlabel('Age')
plt.ylabel('Frequency')

# 子图2: 收入与购买次数的散点图
plt.subplot(1, 2, 2)
sns.scatterplot(data=df, x='Income', y='Purchases', hue='AgeGroup', palette='Set1', s=100)
plt.title('Income vs Purchases')
plt.xlabel('Income')
plt.ylabel('Purchases')

plt.tight_layout()
plt.show()
Step 1: 数据展示：生成并展示原始数据集，包含100个客户的年龄、收入、购买次数和注册时间。
Step 2: 处理缺失值：对年龄列的缺失值使用中位数填充，对收入列的缺失值进行行删除。
Step 3: 数据类型转换：将RegistrationDate列转换为日期格式。
Step 4: 处理异常值：删除收入列中超过均值3倍标准差的极端值。
Step 5: 数据分箱：根据年龄将客户分为五个年龄组。
Step 6: 数据可视化：创建两个子图，一个显示年龄的分布情况，另一个显示收入与购买次数的散点图，并用不同颜色标记不同的年龄组。

最全总结！Pandas 十大清洗技巧 （下）

最全总结！Pandas 十大清洗技巧（下）