百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

Python之Pandas使用系列(八):读写Excel文件的各种技巧

liuian 2025-03-11 18:03 8 浏览

介绍:

我们将学习如何使用Python操作Excel文件。我们将概述如何使用Pandas加载xlsx文件以及将电子表格写入Excel。

如何将Excel文件读取到Pandas DataFrame:

和前面的章节一样,在使用Pandas时,我们必须从导入模块开始:

import pandas as pd

使用read_excel的最简单方法是将文件名作为字符串传递。如果我们不传递任何其他参数(例如工作表名称),它将读取索引中的第一张sheet。在第一个示例中,我们将不使用任何参数:

在这里,Pandas的read_excel方法将数据从Excel文件读取到Pandas DataFrame对象中。然后,我们将此 DataFrame存储到名为df的变量中。

默认情况下,当使用read_excel时,Pandas将为 DataFrame分配一个数字索引或行标签,并且当int出现在Python中时,Pandas通常会从零开始。

例如,如果您的数据没有包含唯一值的列,则可以用作更好的索引。如果有一列可以用作更好的索引,我们可以覆盖默认行为。

可以通过将index_col参数来创建一个索引。

使用read_excel读取特定列

使用Pandas read_excel时,我们将自动从Excel文件中获取所有列。如果由于某种原因我们不想解析Excel文件中的所有列,则可以使用参数 usecols。假设我们只想创建一个具有ID, Address, Name列的 DataFrame 。我们可以如下文成:

根据read_excel文档,我们应该可以放入一个字符串。例如,cols =‘Address:Name‘应该给我们与上面相同的结果。

读取Excel文件时如何跳过行

现在,我们将学习在使用Pandas加载Excel文件时如何跳过行。读取的excel示例如下:

在下面的Pandas read_excel示例中,我们加载工作表" examples",其中包含我们需要跳过的行。

我们将使用参数sheet_name =' examples'读取名为' examples''的工作表。请注意,如果我们不使用sheet_name参数,则会读取第一张sheet。在此示例中,重要的部分是参数 skiprow = 2。我们使用它跳过前两行:

我们可以使用header 参数获得与上述相同的结果 。将使用参数 header = 1告诉Pandas read_excel我们的标题在第二行。


将多个Excel工作表读取到Pandas DataFrame

在Pandas read_excel中,我们将学习如何阅读多个sheets。我们的Excel文件example_sheets1.xlsx'具有两张表:" Sheet1"和" Sheet2"。我们将读入" Sheet1"和" Sheet2"这两个sheet:

或者可以将参数sheet_name设置为 None。

合并Dataframe

使用Pandas read_excel时,可能希望合并所有工作表中的数据。合并DataFrame非常容易。我们只使用concat函数并遍历工作表:

读取许多Excel文件

在某些情况下,我们可能有很多Excel文件包含来自不同实验的数据。在Python中,我们可以使用模块os和fnmatch来读取目录中的所有文件。最后,我们使用列表推导对找到的所有文件使用read_excel:

import os, fnmatch
xlsx_files = fnmatch.filter(os.listdir('.'), '*concat*.xlsx')
dfs = [pd.read_excel(xlsx_file) for xlsx_file in xlsx_files]

如果没有问题,我们可以再次使用concat函数合并 DataFrame:

df = pd.concat(dfs, sort=False)

还有其他方法可以读取许多Excel文件并将其合并。例如,我们可以将模块glob与Pandas concat一起使用以读取多个xlss文件:

import glob
list_of_xlsx = glob.glob('./*concat*.xlsx') 
df = pd.concat(list_of_xlsx)

设置数据或列的数据类型

如果愿意,我们还可以设置列的数据类型。让我们使用Pandas再次读取examples.xlsx。在read_excel例子下面我们使用ID型参数来设置的某些列的数据类型。

将DataFrame写入Excel

当然,可以使用Pandas模块在Python中创建Excel文件。我们将首先创建一个带有一些变量的 DataFrame,但首先,我们将导入Pandas模块:

import pandas as pd

下一步是创建 DataFrame。我们将使用字典创建 DataFrame。键将是列名,值将是包含我们的数据的列表:

df = pd. DataFrame({'Names':['Andreas', 'George', 'Steve',
 'Sarah', 'Joanna', 'Hanna'],
 'Age':[21, 22, 20, 19, 18, 23]})

然后,我们使用" to_excel "方法将 DataFrame写入Excel文件。在下面的Pandas to_excel示例中,我们不使用任何参数。

df.to_excel(output.xlsx')

如果不使用参数 sheet_name,则将 获得默认的工作表名称" Sheet1"。我们还可以看到我们在Excel文件中获得了一个包含数字的新列。这些是 DataFrame的索引。

如果我们希望将工作表命名为其他名称,并且不希望索引列,则可以执行以下操作:

df.to_excel(output.xlsx', sheet_name='examples, index=False)

将多个熊猫 DataFrame写入Excel文件:

如果碰巧有很多 DataFrame要存储在一个Excel文件中,但要存储在不同的工作表中,则可以轻松地做到这一点。但是,我们现在需要使用ExcelWriter:

df1 = pd. DataFrame({'Names': ['Andreas', 'George', 'Steve',
 'Sarah', 'Joanna', 'Hanna'],
 'Age':[21, 22, 20, 19, 18, 23]})
df2 = pd. DataFrame({'Names': ['Pete', 'Jordan', 'Gustaf',
 'Sophie', 'Sally', 'Simone'],
 'Age':[22, 21, 19, 19, 29, 21]})
df3 = pd. DataFrame({'Names': ['Ulrich', 'Donald', 'Jon',
 'Jessica', 'Elisabeth', 'Diana'],
 'Age':[21, 21, 20, 19, 19, 22]})
dfs = {'Group1':df1, 'Group2':df2, 'Group3':df3}
writer = pd.ExcelWriter('NamesAndAges.xlsx', engine='xlsxwriter')for sheet_name in dfs.keys():
 dfs[sheet_name].to_excel(writer, sheet_name=sheet_name, index=False)
 
writer.save()

在上面的代码中,我们创建了3个 DataFrame,然后将它们放入Dict中。注意,key是sheet名称,单元格名称是 DataFrame。完成此操作后,我们使用xlsxwriter创建writer对象。然后,我们继续遍历键(即工作表名称)并添加每个工作表。最后,文件被保存。

总结:

当然,还有其他存储数据的方法。其中之一是使用JSON文件。后面我们会继续介绍如何使用Pandas读取和写入JSON文件。

点击关注,如果发现任何不正确的地方,或者想分享有关上述主题的更多信息,欢迎反馈。

相关推荐

GANs为何引爆机器学习?这篇基于TensorFlow的实例教程为你解惑!

「机器人圈导览」:生成对抗网络无疑是机器学习领域近三年来最火爆的研究领域,相关论文层出不求,各种领域的应用层出不穷。那么,GAN到底如何实践?本文编译自Medium,该文作者以一朵玫瑰花为例,详细阐...

高丽大学等机构联合发布StarGAN:可自定义表情和面部特征

原文来源:arXiv、GitHub作者:YunjeyChoi、MinjeChoi、MunyoungKim、Jung-WooHa、SungKim、JaegulChoo「雷克世界」编译:嗯~...

TensorFlow和PyTorch相继发布最新版,有何变化

原文来源:GitHub「机器人圈」编译:嗯~阿童木呀、多啦A亮Tensorflow主要特征和改进在Tensorflow库中添加封装评估量。所添加的评估量列表如下:1.深度神经网络分类器(DNNCl...

「2022 年」崔庆才 Python3 爬虫教程 - 深度学习识别滑动验证码缺口

上一节我们使用OpenCV识别了图形验证码躯壳欧。这时候就有朋友可能会说了,现在深度学习不是对图像识别很准吗?那深度学习可以用在识别滑动验证码缺口位置吗?当然也是可以的,本节我们就来了解下使用深度...

20K star!搞定 LLM 微调的开源利器

LLM(大语言模型)微调一直都是老大难问题,不仅因为微调需要大量的计算资源,而且微调的方法也很多,要去尝试每种方法的效果,需要安装大量的第三方库和依赖,甚至要接入一些框架,可能在还没开始微调就已经因为...

大模型DeepSeek本地部署后如何进行自定义调整?

1.理解模型架构a)查看深度求索官方文档或提供的源代码文件,了解模型的结构、输入输出格式以及支持的功能。模型是否为预训练权重?如果是,可以在预训练的基础上进行微调(Fine-tuning)。是否需要...

因配置不当,约5000个AI模型与数据集在公网暴露

除了可访问机器学习模型外,暴露的数据还可能包括训练数据集、超参数,甚至是用于构建模型的原始数据。前情回顾·人工智能安全动态向ChatGPT植入恶意“长期记忆”,持续窃取用户输入数据多模态大语言模型的致...

基于pytorch的深度学习人员重识别

基于pytorch的深度学习人员重识别Torchreid是一个库。基于pytorch的深度学习人员重识别。特点:支持多GPU训练支持图像的人员重识别与视频的人员重识别端到端的训练与评估简单的re...

DeepSeek本地部署:轻松训练你的AI模型

引言:为什么选择本地部署?在AI技术飞速发展的今天,越来越多的企业和个人希望将AI技术应用于实际场景中。然而,对于一些对数据隐私和计算资源有特殊需求的用户来说,云端部署可能并不是最佳选择。此时,本地部...

谷歌今天又开源了,这次是Sketch-RNN

前不久,谷歌公布了一项最新技术,可以教机器画画。今天,谷歌开源了代码。在我们研究其代码之前,首先先按要求设置Magenta环境。(https://github.com/tensorflow/magen...

Tensorflow 使用预训练模型训练的完整流程

前面已经介绍了深度学习框架Tensorflow的图像的标注和训练数据的准备工作,本文介绍一下使用预训练模型完成训练并导出训练的模型。1.选择预训练模型1.1下载预训练模型首先需要在Tensorf...

30天大模型调优学习计划(30分钟训练大模型)

30天大模型调优学习计划,结合Unsloth和Lora进行大模型微调,掌握大模型基础知识和调优方法,熟练应用。第1周:基础入门目标:了解大模型基础并熟悉Unsloth等工具的基本使用。Day1:大模...

python爬取喜马拉雅音频,json参数解析

一.抓包分析json,获取加密方式1.抓包获取音频界面f12打开抓包工具,播放一个(非vip)视频,点击“媒体”单击打开可以复制URL,发现就是我们要的音频。复制“CKwRIJEEXn-cABa0Tg...

五、JSONPath使用(Python)(json数据python)

1.安装方法pipinstalljsonpath2.jsonpath与Xpath下面表格是jsonpath语法与Xpath的完整概述和比较。Xpathjsonpath概述/$根节点.@当前节点...

Python网络爬虫的时候json=就是让你少写个json.dumps()

大家好,我是皮皮。一、前言前几天在Python白银交流群【空翼】问了一个Python网络爬虫的问题,提问截图如下:登录请求地址是这个:二、实现过程这里【甯同学】给了一个提示,如下所示:估计很多小伙伴和...