Pandas作为Python数据处理的重要库,其命令繁多且功能强大。以下是一些Pandas中最常用的命令和操作的汇总,覆盖了数据读取、查看、筛选、清洗、转换、合并、重塑、统计分析等方面的基础使用:
数据读取与写入
- 读取CSV文件:df = pd.read_csv('filename.csv')
- 读取Excel文件:df = pd.read_excel('filename.xlsx')
- 读取JSON文件:df = pd.read_json('filename.json')
- 保存DataFrame到CSV:df.to_csv('output.csv', index=False)
- 保存DataFrame到Excel:df.to_excel('output.xlsx', index=False)
查看数据
- 显示前几行:df.head(n=5)
- 显示后几行:df.tail(n=5)
- 查看数据基本信息:df.info()
- 查看列名:df.columns
- 查看数据形状(行数、列数):df.shape
数据筛选与切片
- 根据标签选取行:df.loc[行标签]
- 根据位置选取行:df.iloc[行位置]
- 布尔索引:df[df['column_name'] > value]
- 按列筛选:df[['column1', 'column2']]
数据清洗
- 处理缺失值:
- 删除:df.dropna(axis=0, how='any')(删除含有任何NaN的行)
- 填充:df.fillna(value) 或 df['column_name'].fillna(method='ffill')(前向填充)
- 去除重复行:df.drop_duplicates()
数据转换
- 数据类型转换:df['column_name'] = df['column_name'].astype('dtype')
- 字符串操作:df['column_name'].str.upper()(转换为大写)
数据排序
- 按列排序:df.sort_values(by='column_name', ascending=True/False)
数据聚合与分组
- 分组:grouped = df.groupby('column_name')
- 聚合统计:grouped.mean(), grouped.sum(), grouped.count()
合并与重塑
- 纵向合并:pd.concat([df1, df2], axis=0)
- 横向合并:pd.merge(df1, df2, on='common_column')
- 重塑:df.pivot(index='index_col', columns='columns_col', values='values_col')
统计分析
- 描述性统计:df.describe()
- 计算相关性:df.corr()
时间序列处理
- 设置时间为索引:df.set_index('datetime_column', inplace=True)
- 时间序列重采样:df.resample('D').mean()(按天重采样并计算均值)
进阶操作
- 应用函数:df.apply(func, axis=0/1),axis=0应用于列,axis=1应用于行
- ** Lambda表达式**:在.apply()中使用匿名函数,如 df['new_column'] = df['column_name'].apply(lambda x: x*2)
这些命令是Pandas日常使用中最为频繁的一部分,熟练掌握它们能够有效提升数据处理的效率。随着实际项目经验的积累,你还会发现更多针对特定任务的高级功能和技巧。