提升 Pandas 使用效率的 6 个技巧

Pandas 是 Python 中常用的数据分析库，频率之高令人咋舌。即使是经验丰富的 Pandas 用户也无法保证能高效利用 Pandas 进行数据分析。本文的目的是梳理几个高效实用的 Pandas 小技巧，供大家参考。

1. 从剪切板中创建 DataFrame

Pandas 中的 read_clipboard() 方法非常神奇，可以将剪切板中的数据转换成 DataFrame 格式。这意味着，你可以直接在 Excel 中复制表格，然后在 Python 中执行 pd.read_clipboard()，就能得到一模一样的 DataFrame 数据。

<code>import pandas as pd # 复制 Excel 中的表格数据 # 在 Python 中执行以下命令 df = pd.read_clipboard()</code>

这个功能对经常在 Excel 和 Python 间切换的分析师来说简直是福音，Excel 中的数据能一键转换为 Pandas 可读格式。

2. 通过数据类型选择 Columns

在数据分析过程中，经常需要筛选数据列。比如，你可能只需要数值列。以经典的泰坦尼克数据集为例：

<code>import seaborn as sns # 导入泰坦尼克数据集 df = sns.load_dataset('titanic') # 选择数值列 numeric_columns = df.select_dtypes(include='number') # 选择除了整数列外的其他列 non_integer_columns = df.select_dtypes(exclude='int')</code>

3. 将 Strings 改为 Numbers

在 Pandas 中，有两种方法可以将字符串改为数值：astype() 方法和 to_numeric() 方法。

<code># astype() 方法将字符串改为整数 df['price'] = df['price'].astype(int) # to_numeric() 方法将字符串改为数值，并处理可能出现的错误值 df['sales'] = pd.to_numeric(df['sales'], errors='coerce')</code>

4. 检测并处理缺失值

使用 Pandas，你可以轻松地检测和处理缺失值。使用 isnull().sum() 方法可以获取每列的缺失值数量，使用 dropna() 方法可以删除缺失值。

<code># 统计每列缺失值数量 missing_values = df.isnull().sum() # 删除包含缺失值的行 df.dropna(inplace=True)</code>

5. 对连续数据进行离散化处理

在数据准备过程中，常常需要将连续数据离散化，以创建新的特征。使用 cut() 方法可以将连续数据分组成不同的类别。

<code># 将年龄分组为儿童、青少年、成人和老人 df['age_group'] = pd.cut(df['age'], bins=[0, 13, 19, 61, float('inf')], labels=['儿童', '青少年', '成人', '老人'])</code>

6. 从多个文件中构建一个 DataFrame

有时数据集可能分布在多个文件中，需要将它们读取到一个 DataFrame 中。可以使用 glob 模块获取文件路径，然后使用 pd.concat() 方法将多个 DataFrame 合并成一个。

<code>import glob # 获取所有以"data_row_"开头的 CSV 文件路径 files = sorted(glob.glob('data/data_row_*.csv')) # 逐个读取文件并合并成一个 DataFrame dfs = (pd.read_csv(file) for file in files) merged_df = pd.concat(dfs, ignore_index=True)</code>

以上就是几个提高数据分析效率的 Pandas 小技巧。Pandas 的功能之多确实令人惊叹，希望这些小技巧能让你在数据分析工作中更加得心应手。