百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

超全的100个Pandas函数汇总

liuian 2025-01-10 15:15 12 浏览

上次分享了10个使用频率非常高的Pandas函数,同学们都觉得很有用。今天,咱们继续~~

我整理了100个Pandas常用的函数,分别分为6类:统计汇总函数、数据清洗函数、数据筛选、绘图与元素级运算函数、时间序列函数和其他函数。赶紧收藏起来吧!

统计汇总函数

函数

含义

min()

计算最小值

max()

计算最大值

sum()

求和

mean()

计算平均值

count()

计数(统计非缺失元素的个数)

size()

计数(统计所有元素的个数)

median()

计算中位数

var()

计算方差

std()

计算标准差

quantile()

计算任意分位数

cov()

计算协方差

corr()

计算相关系数

skew()

计算偏度

kurt()

计算峰度

mode()

计算众数

describe()

描述性统计(一次性返回多个统计结果)

groupby()

分组

aggregate()

聚合运算(可以自定义统计函数)

argmin()

寻找最小值所在位置

argmax()

寻找最大值所在位置

any()

等价于逻辑“或”

all()

等价于逻辑“与”

value_counts()

频次统计

cumsum()

运算累计和

cumprod()

运算累计积

pct--_change()

运算比率(后一个元素与前一个元素的比率)

# describe函数总结数据集分布的集中趋势,分散和形状
import numpy as np
import pandas as pd
data = {'a':[12,13,14,15,11],'b':['a','b','c','d','c']}
df = pd.DataFrame(data)
df.describe() #默认返回数字字段
df.describe(include='all')

数据清洗函数

函数

含义

duplicated()

判断序列元素是否重复。

drop_duplicates()

删除重复值

hasnans()

判断序列是否存在缺失(返回TRUE或FALSE)

isnull()

判断序列元素是否为缺失(返回与序列长度一样的bool值)

notnull()

判断序列元素是否不为缺失(返回与序列长度一样的bool值)

dropna()

删除缺失值

fillna()

缺失值填充

ffill()

前向后填充缺失值(使用缺失值的前一个元素填充)

bfill()

后向填充缺失值(使用缺失值的后一个元素填充)

dtypes()

检查数据类型

astype()

类型强制转换

pd.to_datetime

转日期时间型

factorize()

因子化转换

sample()

抽样

where()

基于条件判断的值替换

replace()

按值替换(不可使用正则)

str.replace()

按值替换(可使用正则)

str.split.str()

字符分隔

import numpy as np
import pandas as pd
data = {'a':[12,13,14,15,12],'b':['a','b','c','d','c']}
df = pd.DataFrame(data)
df.duplicated('a')
df.drop_duplicates('a','first',inplace = True) #删除重复项并保留第一次出现的项
df

数据筛选函数

函数

含义

isin()

成员关系判断

between()

区间判断

loc()

条件判断(可使用在数据框中)

iloc()

索引判断(可使用在数据框中)

compress()

条件判断

nlargest()

搜寻最大的n个元素

nsmallest()

搜寻最小的n个元素

str.findall()

子串查询(可使用正则)

df = pd.DataFrame({'population': [59000000,65000000,434000,434000,434000,337000,11300,11300,11300],
'GDP': [1937894,2583560,12011,4520,12128,17036,182,38,311],
'alpha-2': ["IT","FR","MT","MV","BN","IS","NR","TV","AI"]},
index=["Italy", "France","Malta","Maldives","Brunei","Iceland","Nauru","Tuvalu","Anguilla"])
df
df.nlargest(3, 'population') #搜寻“population”列中具有最大值的三行

绘图与元素级运算函数

函数

含义

hist()

绘制直方图

plot()

可基于kind参数绘制更多图形(饼图,折线图,箱线图等)

map()

元素映射

apply()

基于自定义函数的元素级操作

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt #使用 matplotlib 仅仅是用来 show 图片
df = pd.read_csv('forestfires.csv')
df.plot('temp','FFMC',kind = 'scatter',color='LightGreen') # scatter散点图
plt.show()

时间序列函数

函数

含义

dt.date()

抽取出日期值

dt.time()

抽取出时间(时分秒)

dt.year()

抽取出年

dt.mouth()

抽取出月

dt.day()

抽取出日

dt.hour()

抽取出时

dt.minute()

抽取出分钟

dt.second()

抽取出秒

dt.quarter()

抽取出季度

dt.weekday()

抽取出星期几(返回数值型)

dt.weekday_name()

抽取出星期几(返回字符型)

dt.week()

抽取出年中的第几周

dt.dayofyear()

抽取出年中的第几天

dt.daysinmonth()

抽取出月对应的最大天数

dt.is_month_start()

判断日期是否为当月的第一天

dt.is_month_end()

判断日期是否为当月的最后一天

dt.is_quarter_start()

判断日期是否为当季度的第一天

dt.is_quarter_end()

判断日期是否为当季度的最后一天

dt.is_year_start()

判断日期是否为当年的第一天

dt.is_year_end()

判断日期是否为当年的最后一天

dt.is_leap_year()

判断日期是否为闰年

其他函数

函数

含义

append()

序列元素的追加(需指定其他序列)

diff()

一阶差分

round()

元素的四舍五入

sort_values()

按值排序

sort_index()

按索引排序

to_dict()

转为字典

tolist()

转为列表

unique()

元素排重

相关推荐

GANs为何引爆机器学习?这篇基于TensorFlow的实例教程为你解惑!

「机器人圈导览」:生成对抗网络无疑是机器学习领域近三年来最火爆的研究领域,相关论文层出不求,各种领域的应用层出不穷。那么,GAN到底如何实践?本文编译自Medium,该文作者以一朵玫瑰花为例,详细阐...

高丽大学等机构联合发布StarGAN:可自定义表情和面部特征

原文来源:arXiv、GitHub作者:YunjeyChoi、MinjeChoi、MunyoungKim、Jung-WooHa、SungKim、JaegulChoo「雷克世界」编译:嗯~...

TensorFlow和PyTorch相继发布最新版,有何变化

原文来源:GitHub「机器人圈」编译:嗯~阿童木呀、多啦A亮Tensorflow主要特征和改进在Tensorflow库中添加封装评估量。所添加的评估量列表如下:1.深度神经网络分类器(DNNCl...

「2022 年」崔庆才 Python3 爬虫教程 - 深度学习识别滑动验证码缺口

上一节我们使用OpenCV识别了图形验证码躯壳欧。这时候就有朋友可能会说了,现在深度学习不是对图像识别很准吗?那深度学习可以用在识别滑动验证码缺口位置吗?当然也是可以的,本节我们就来了解下使用深度...

20K star!搞定 LLM 微调的开源利器

LLM(大语言模型)微调一直都是老大难问题,不仅因为微调需要大量的计算资源,而且微调的方法也很多,要去尝试每种方法的效果,需要安装大量的第三方库和依赖,甚至要接入一些框架,可能在还没开始微调就已经因为...

大模型DeepSeek本地部署后如何进行自定义调整?

1.理解模型架构a)查看深度求索官方文档或提供的源代码文件,了解模型的结构、输入输出格式以及支持的功能。模型是否为预训练权重?如果是,可以在预训练的基础上进行微调(Fine-tuning)。是否需要...

因配置不当,约5000个AI模型与数据集在公网暴露

除了可访问机器学习模型外,暴露的数据还可能包括训练数据集、超参数,甚至是用于构建模型的原始数据。前情回顾·人工智能安全动态向ChatGPT植入恶意“长期记忆”,持续窃取用户输入数据多模态大语言模型的致...

基于pytorch的深度学习人员重识别

基于pytorch的深度学习人员重识别Torchreid是一个库。基于pytorch的深度学习人员重识别。特点:支持多GPU训练支持图像的人员重识别与视频的人员重识别端到端的训练与评估简单的re...

DeepSeek本地部署:轻松训练你的AI模型

引言:为什么选择本地部署?在AI技术飞速发展的今天,越来越多的企业和个人希望将AI技术应用于实际场景中。然而,对于一些对数据隐私和计算资源有特殊需求的用户来说,云端部署可能并不是最佳选择。此时,本地部...

谷歌今天又开源了,这次是Sketch-RNN

前不久,谷歌公布了一项最新技术,可以教机器画画。今天,谷歌开源了代码。在我们研究其代码之前,首先先按要求设置Magenta环境。(https://github.com/tensorflow/magen...

Tensorflow 使用预训练模型训练的完整流程

前面已经介绍了深度学习框架Tensorflow的图像的标注和训练数据的准备工作,本文介绍一下使用预训练模型完成训练并导出训练的模型。1.选择预训练模型1.1下载预训练模型首先需要在Tensorf...

30天大模型调优学习计划(30分钟训练大模型)

30天大模型调优学习计划,结合Unsloth和Lora进行大模型微调,掌握大模型基础知识和调优方法,熟练应用。第1周:基础入门目标:了解大模型基础并熟悉Unsloth等工具的基本使用。Day1:大模...

python爬取喜马拉雅音频,json参数解析

一.抓包分析json,获取加密方式1.抓包获取音频界面f12打开抓包工具,播放一个(非vip)视频,点击“媒体”单击打开可以复制URL,发现就是我们要的音频。复制“CKwRIJEEXn-cABa0Tg...

五、JSONPath使用(Python)(json数据python)

1.安装方法pipinstalljsonpath2.jsonpath与Xpath下面表格是jsonpath语法与Xpath的完整概述和比较。Xpathjsonpath概述/$根节点.@当前节点...

Python网络爬虫的时候json=就是让你少写个json.dumps()

大家好,我是皮皮。一、前言前几天在Python白银交流群【空翼】问了一个Python网络爬虫的问题,提问截图如下:登录请求地址是这个:二、实现过程这里【甯同学】给了一个提示,如下所示:估计很多小伙伴和...