1. 项目缘起为什么我们需要用Python拆分Excel如果你经常和数据打交道尤其是处理那些来自业务部门、动辄几十上百兆的Excel文件那你一定对下面这些场景不陌生财务给你一个包含全年12个月数据的“总表”让你按月拆分市场部门发来一份客户名单要求按地区拆成独立的文件或者你手头有一个超大的数据明细表需要按特定内容比如产品类别分割成多个小文件以便分发给不同团队。手动操作光是想想就让人头皮发麻——重复的复制粘贴、容易出错、耗时耗力而且一旦源数据更新所有工作都得推倒重来。这就是Python大显身手的地方。用Python自动化处理Excel拆分不仅仅是“偷懒”更是提升数据工作流可靠性、可重复性和效率的核心技能。我见过太多同事包括一些资深的数据分析师还在手工拆分上百个工作表每次都要花上大半天而且战战兢兢生怕出错。掌握Python拆分Excel意味着你能把这种机械、繁琐且容易出错的任务交给程序去精准、高速地完成解放出来的时间可以去思考更核心的业务问题。网络上相关的搜索热词也印证了这种广泛的需求“python读取excel数据全部读取耗时5分钟”、“excel怎么把奇数行和偶数行分开”、“批量重命工作表格式化”……这些问题背后都指向了对自动化、批量化处理Excel数据的强烈渴望。今天我就结合自己多年的实战经验为你详细拆解用Python处理Excel的四种核心拆分场景按工作表、按行、按列、按内容。我会带你绕过那些新手常踩的坑比如库的选择、大文件处理、内存优化等让你不仅能写出代码更能理解背后的“为什么”打造出健壮、高效的自动化脚本。2. 兵器库选择pandas, openpyxl, xlwings 该如何选工欲善其事必先利其器。Python处理Excel的库众多选错了工具可能会让你在性能、功能或易用性上栽跟头。我们主要对比三个最常用的库pandas, openpyxl 和 xlwings。网络上“xlwings批量提取工作表数据”、“python读取excel数据全部读取耗时5分钟”这类问题根源往往就在于库没选对。2.1 核心三剑客的定位与抉择pandas数据分析的绝对王者。它并非专为Excel设计但其强大的DataFrame数据结构和对read_excel/to_excel函数的完美支持使其成为数据清洗、转换、分析后再导出场景下的首选。它的优势在于处理数据本身的能力无与伦比语法简洁。但要注意pandas底层依赖于openpyxl针对.xlsx或xlrd旧版.xls它更像一个高级封装器。如果你的拆分逻辑涉及复杂的数据筛选、分组聚合groupby那么pandas是你不二的选择。openpyxl纯Python编写的.xlsx/.xlsm文件读写库。它提供了对Excel文件最精细的控制能力可以读写单元格值、公式、样式、图表、甚至VBA宏。当你需要保持原文件的格式如单元格颜色、字体、列宽或者进行一些pandas不擅长的底层操作比如操作特定的单元格、处理合并单元格时openpyxl是更好的选择。它的缺点是对于纯数据操作语法比pandas繁琐。xlwings这是一个“开挂”的库它通过COM接口与本地安装的Excel应用程序直接交互。这意味着你可以用Python代码控制一个“真正的”Excel进程所有Excel本身能做的操作包括使用Excel函数、生成图表、调用VBAxlwings几乎都能做到。它的优势在于功能强大且与Excel完美兼容。但缺点也很明显必须安装Microsoft Excel运行时会实际打开Excel程序可能看到界面闪烁不适合无GUI的服务器环境。搜索词中的“xlwings批量提取工作表数据”就是其典型应用。如何选择场景一纯数据拆分不关心格式且数据量可能很大。选pandas。它的read_excel可以只读取特定列usecols参数来优化大文件读取性能这正是解决“python读取excel数据全部读取耗时5分钟”的关键。场景二拆分时需要保留原表格的所有格式如报表模板。选openpyxl。你可以读取模板填充数据再另存为新文件完美保留格式。场景三拆分过程需要依赖复杂的Excel公式或宏或者你希望操作像在Excel里手动操作一样自然。选xlwings。一个常见策略用pandas做核心的数据处理和拆分逻辑如果最终输出需要复杂格式再用openpyxl对pandas输出的文件进行“美化”。这往往是最佳实践。2.2 环境准备与避坑指南假设我们已经决定本次以pandas作为核心数据引擎openpyxl作为格式处理如果需要的辅助。首先确保环境正确。# 安装核心库 pip install pandas openpyxl注意如果你还需要处理旧版的.xls文件需要额外安装xlrd库但注意新版本xlrd已不再支持.xlsx。通常建议将.xls文件另存为.xlsx后再处理或使用pandas它会对格式做自适应。第一个大坑就是文件路径。很多新手写的脚本在自己电脑上运行良好一换目录就报错。务必使用**原始字符串raw string**或双反斜杠来定义Windows路径或者使用os.path模块来构建路径这是跨平台兼容性的基础。import os import pandas as pd # 推荐做法使用 os.path 构建路径最安全 base_dir r‘C:\Users\YourName\Projects\Data‘ # 原始字符串也是一种选择 file_path os.path.join(base_dir, ‘年度数据汇总.xlsx‘) # 或者直接使用相对路径脚本同目录 file_path ‘./data/年度数据汇总.xlsx‘第二个坑是编码问题。虽然Excel文件本身不常遇到但如果你在读取文件路径或后续处理其他文本数据时可能会遇到‘utf-8‘ codec can‘t decode‘的错误。确保你的脚本文件保存为UTF-8编码并且在读取时明确指定编码如果源数据是CSV等文本格式。3. 实战一按工作表拆分——将工作簿拆成多个独立文件这是最常见、最直观的拆分需求。源文件是一个包含多个工作表Sheet的工作簿每个工作表需要被保存为一个独立的Excel文件。3.1 基础拆分一个Sheet存为一个文件使用pandas实现起来非常直观。核心思路是用pd.ExcelFile或pd.read_excel的sheet_nameNone参数一次性将所有工作表读入一个字典然后遍历这个字典将每个DataFrame写入一个新文件。import pandas as pd def split_by_sheet(file_path, output_dir): 将Excel文件的每个工作表拆分为独立的文件。 参数: file_path: 源Excel文件路径 output_dir: 输出目录路径 # 确保输出目录存在 os.makedirs(output_dir, exist_okTrue) # 方法1使用ExcelFile对于大文件或需要多次读取时更高效 xls pd.ExcelFile(file_path) for sheet_name in xls.sheet_names: # 读取单个工作表 df pd.read_excel(xls, sheet_namesheet_name) # 构建输出文件名移除可能不合法的字符 safe_sheet_name .join(c for c in sheet_name if c.isalnum() or c in (‘ _-‘)).rstrip() output_file os.path.join(output_dir, f‘{safe_sheet_name}.xlsx‘) # 保存为独立文件indexFalse避免将DataFrame索引写入列 df.to_excel(output_file, indexFalse, sheet_name‘Sheet1‘) print(f‘工作表 [{sheet_name}] 已保存至: {output_file}‘) print(‘按工作表拆分完成‘) # 调用函数 split_by_sheet(‘年度数据汇总.xlsx‘, ‘./拆分结果/按工作表‘)为什么这里用ExcelFile对象对于包含多个工作表的大文件使用pd.ExcelFile先创建一个文件对象然后分次读取sheet比直接用pd.read_excel(..., sheet_nameNone)一次性读入所有DataFrame更节省内存。后者会立刻将所有数据加载到内存的字典里如果工作表又多又大可能导致内存不足。ExcelFile对象相当于一个“指针”按需读取。3.2 进阶保留原格式的拆分上面的方法简单但生成的独立文件会丢失所有原有格式字体、颜色、列宽等。如果你拆分的是给领导看的报表格式至关重要。这时就需要请出openpyxl。思路是用openpyxl加载整个工作簿然后为每个工作表创建一个新的工作簿并将原工作表的所有内容包括值、公式、样式复制过去。from openpyxl import load_workbook import copy def split_by_sheet_with_format(file_path, output_dir): 按工作表拆分并尽可能保留单元格格式、列宽等。 os.makedirs(output_dir, exist_okTrue) # 加载源工作簿 source_wb load_workbook(file_path) for sheet_name in source_wb.sheetnames: source_ws source_wb[sheet_name] # 创建新的工作簿并获取其默认的活动工作表 new_wb Workbook() new_ws new_wb.active new_ws.title sheet_name # 复制单元格的值和样式这是一个简化示例深拷贝样式较复杂 for row in source_ws.iter_rows(): for cell in row: new_cell new_ws.cell(rowcell.row, columncell.column, valuecell.value) if cell.has_style: new_cell.font copy.copy(cell.font) new_cell.border copy.copy(cell.border) new_cell.fill copy.copy(cell.fill) new_cell.number_format cell.number_format new_cell.alignment copy.copy(cell.alignment) # 尝试复制列宽openpyxl的列宽单位特殊这里直接赋值 for col in source_ws.column_dimensions: new_ws.column_dimensions[col].width source_ws.column_dimensions[col].width # 保存新文件 safe_name .join(c for c in sheet_name if c.isalnum() or c in (‘ _-‘)).rstrip() output_file os.path.join(output_dir, f‘{safe_name}.xlsx‘) new_wb.save(output_file) print(f‘已保存带格式: {output_file}‘) print(‘带格式的按工作表拆分完成‘)重要提示完全复制样式是一个复杂任务上述代码仅复制了基础样式。对于复杂的合并单元格、条件格式、图表等openpyxl的复制需要更精细的处理。对于极度复杂的格式保留需求xlwings可能是更省力的选择因为它直接操作Excel对象模型。4. 实战二按行拆分——将一个大表切成多个小文件按行拆分通常用于处理数据量巨大的单表文件比如百万行的日志数据需要按固定行数如每1万行或按某个分类拆分成多个文件便于分发或避免单个文件过大。4.1 按固定行数拆分这是最机械的拆分方式。核心是计算需要拆分成多少份然后循环切片DataFrame。def split_by_fixed_rows(file_path, output_dir, rows_per_file10000, sheet_name0): 按固定行数拆分Excel文件。 参数: file_path: 源文件路径 output_dir: 输出目录 rows_per_file: 每个文件包含的最大行数不含标题行 sheet_name: 要拆分的工作表名或索引 os.makedirs(output_dir, exist_okTrue) # 读取整个工作表 df pd.read_excel(file_path, sheet_namesheet_name) total_rows len(df) # 计算需要拆分成几个文件 num_files (total_rows // rows_per_file) (1 if total_rows % rows_per_file 0 else 0) for i in range(num_files): # 计算切片的起止位置 start_row i * rows_per_file end_row min((i 1) * rows_per_file, total_rows) # 切片DataFrame df_chunk df.iloc[start_row:end_row] # 构建输出文件名 output_file os.path.join(output_dir, f‘split_part_{i1:03d}.xlsx‘) # 保存。注意每个文件都包含标题行 df_chunk.to_excel(output_file, indexFalse) print(f‘已生成: {output_file}行数: {len(df_chunk)}‘) print(f‘按固定行数拆分完成共生成 {num_files} 个文件。‘) # 示例将‘销售明细.xlsx‘的‘Sheet1‘按每5000行拆分 split_by_fixed_rows(‘销售明细.xlsx‘, ‘./拆分结果/按行_固定‘, rows_per_file5000)性能考量如果源文件极大比如超过内存容量上述一次性读取df的方法会崩溃。这时需要使用分块读取技术。pandas的read_excel函数本身不支持像read_csv那样的chunksize参数这是一个痛点。变通方案有两种使用openpyxl的只读模式load_workbook(read_onlyTrue)然后逐行读取数据自己控制写入。先将Excel转为CSV用工具或openpyxl将大Excel转为CSV然后用pandas的read_csv(chunksize50000)来分块处理。这通常是处理超大Excel文件最实用的方法。4.2 按某列内容分组拆分如按地区、按月份这是更符合业务逻辑的拆分方式。例如销售数据中有“省份”列需要按每个省份拆分成独立文件。这用pandas的groupby操作会异常简单。def split_by_column_group(file_path, output_dir, group_by_column, sheet_name0): 按指定列的唯一值进行分组拆分。 参数: file_path: 源文件路径 output_dir: 输出目录 group_by_column: 用于分组的列名 sheet_name: 要拆分的工作表名或索引 os.makedirs(output_dir, exist_okTrue) df pd.read_excel(file_path, sheet_namesheet_name) # 检查分组列是否存在 if group_by_column not in df.columns: raise ValueError(f‘数据中不存在列名: {group_by_column}‘) # 使用groupby进行分组 grouped df.groupby(group_by_column) for group_name, group_df in grouped: # 处理组名使其成为合法的文件名 safe_group_name str(group_name) safe_group_name .join(c for c in safe_group_name if c.isalnum() or c in (‘ _-‘)).rstrip() if not safe_group_name: # 防止组名为空 safe_group_name ‘Unknown‘ output_file os.path.join(output_dir, f‘{safe_group_name}.xlsx‘) group_df.to_excel(output_file, indexFalse) print(f‘分组 [{group_name}] 已保存至: {output_file}行数: {len(group_df)}‘) print(f‘按列 [{group_by_column}] 分组拆分完成共生成 {len(grouped)} 个文件。‘) # 示例按‘省份‘列拆分客户数据 split_by_column_group(‘客户列表.xlsx‘, ‘./拆分结果/按行_分组‘, group_by_column‘省份‘)一个关键细节groupby操作在内存中进行这意味着整个DataFrame需要被加载。如果分组列的唯一值非常多比如按“订单ID”分组可能会生成成千上万个小文件虽然每个文件不大但IO操作会非常密集需要考虑脚本的运行时长和系统限制。5. 实战三按列拆分——从宽表中提取特定字段集按列拆分通常用于数据脱敏、字段分发或创建特定视图。例如一个包含员工所有信息姓名、工号、部门、薪资、电话、住址的表HR需要一份只有姓名和部门的通讯录而财务需要一份包含工号、姓名和薪资的工资表。5.1 按预定义的列组合拆分我们可以预先定义好需要的列组合然后从源表中提取这些列保存为新文件。def split_by_column_sets(file_path, output_dir, column_sets, sheet_name0): 按预定义的列组合拆分文件。 参数: file_path: 源文件路径 output_dir: 输出目录 column_sets: 字典格式为 {‘输出文件名前缀‘: [‘列名1‘, ‘列名2‘, ...]} sheet_name: 要拆分的工作表名或索引 os.makedirs(output_dir, exist_okTrue) df pd.read_excel(file_path, sheet_namesheet_name) for file_prefix, columns_needed in column_sets.items(): # 检查所需的列是否都在源数据中 missing_cols [col for col in columns_needed if col not in df.columns] if missing_cols: print(f‘警告: 文件 {file_prefix} 所需列 {missing_cols} 不存在已跳过。‘) continue # 选取指定的列 df_subset df[columns_needed] output_file os.path.join(output_dir, f‘{file_prefix}.xlsx‘) df_subset.to_excel(output_file, indexFalse) print(f‘列组合 [{file_prefix}] 已保存至: {output_file}‘) print(‘按列组合拆分完成‘) # 示例从员工总表中拆分出不同部门所需的数据视图 column_requirements { ‘HR_通讯录‘: [‘姓名‘, ‘工号‘, ‘部门‘, ‘办公电话‘, ‘邮箱‘], ‘财务_工资单‘: [‘工号‘, ‘姓名‘, ‘基本工资‘, ‘绩效奖金‘, ‘扣款‘], ‘IT_账户信息‘: [‘姓名‘, ‘工号‘, ‘系统账号‘, ‘权限组‘] } split_by_column_sets(‘员工信息总表.xlsx‘, ‘./拆分结果/按列‘, column_requirements)5.2 动态排除敏感列数据脱敏另一种常见场景是排除某些敏感列比如身份证号、银行卡号、家庭住址等然后将剩余数据分发。def split_by_excluding_columns(file_path, output_dir, columns_to_exclude, sheet_name0, output_name‘脱敏后数据‘): 通过排除指定列来拆分文件常用于数据脱敏。 参数: file_path: 源文件路径 output_dir: 输出目录 columns_to_exclude: 需要排除的列名列表 sheet_name: 要拆分的工作表名或索引 output_name: 输出文件名不含后缀 os.makedirs(output_dir, exist_okTrue) df pd.read_excel(file_path, sheet_namesheet_name) # 找出需要保留的列 columns_to_keep [col for col in df.columns if col not in columns_to_exclude] if len(columns_to_keep) 0: print(‘警告: 所有列均被排除未生成文件。‘) return df_sanitized df[columns_to_keep] output_file os.path.join(output_dir, f‘{output_name}.xlsx‘) df_sanitized.to_excel(output_file, indexFalse) print(f‘已排除列 {columns_to_exclude}文件保存至: {output_file}‘) # 示例移除员工信息中的敏感字段 sensitive_columns [‘身份证号‘, ‘银行卡号‘, ‘家庭住址‘, ‘紧急联系人电话‘] split_by_excluding_columns(‘员工详细信息.xlsx‘, ‘./拆分结果/按列_脱敏‘, sensitive_columns, output_name‘可公开员工信息‘)按列拆分的核心优势在于可以精确控制数据字段的输出满足不同部门或场景的数据权限和需求是数据治理中非常重要的一环。6. 实战四按内容拆分——基于复杂条件的智能分割这是最灵活也是最能体现自动化价值的拆分方式。它不依赖于固定的行数或列名而是基于数据内容本身的逻辑条件进行分割。例如将订单数据按“金额大于1万”和“金额小于等于1万”拆分成两个文件或者将客户按“最近购买时间在30天内”和“30天外”进行分割。6.1 基于单列条件的拆分我们可以定义一系列条件每个条件对应一个输出文件。def split_by_conditions(file_path, output_dir, conditions, default_name‘其他‘, sheet_name0): 基于条件字典进行拆分满足条件的数据存为单独文件。 参数: file_path: 源文件路径 output_dir: 输出目录 conditions: 字典格式为 {‘输出文件名‘: ‘条件表达式字符串‘} 例如: {‘高价值客户‘: ‘消费金额 10000‘, ‘活跃用户‘: ‘最后登录时间 \2023-10-01\‘} 条件表达式中的列名和运算符需能被pandas的query方法解析。 default_name: 不满足任何条件的数据保存的文件名前缀 sheet_name: 要拆分的工作表名或索引 os.makedirs(output_dir, exist_okTrue) df pd.read_excel(file_path, sheet_namesheet_name) # 初始化一个布尔序列标记所有行都未被匹配 matched_mask pd.Series(False, indexdf.index) for output_name, condition_str in conditions.items(): try: # 使用query方法筛选数据 condition_df df.query(condition_str) # 排除已被之前条件匹配过的行确保一行数据只属于一个文件 condition_df condition_df.loc[~matched_mask.loc[condition_df.index]] if not condition_df.empty: output_file os.path.join(output_dir, f‘{output_name}.xlsx‘) condition_df.to_excel(output_file, indexFalse) print(f‘条件 [{condition_str}] - 文件 [{output_name}]行数: {len(condition_df)}‘) # 更新已匹配的标记 matched_mask.loc[condition_df.index] True else: print(f‘条件 [{condition_str}] 未匹配到新数据。‘) except Exception as e: print(f‘处理条件 [{condition_str}] 时出错: {e}‘) # 处理未匹配任何条件的数据 unmatched_df df.loc[~matched_mask] if not unmatched_df.empty: default_file os.path.join(output_dir, f‘{default_name}.xlsx‘) unmatched_df.to_excel(default_file, indexFalse) print(f‘未匹配任何条件的数据已保存至: {default_file}行数: {len(unmatched_df)}‘) print(‘按条件拆分完成‘) # 示例拆分销售订单 split_conditions { ‘大额订单‘: ‘订单金额 10000‘, ‘加急订单‘: ‘是否加急 \是\‘, ‘本月新客户订单‘: ‘客户类型 \新客户\ and 下单日期 \2023-10-01\‘ } split_by_conditions(‘销售订单.xlsx‘, ‘./拆分结果/按内容‘, split_conditions, default_name‘普通订单‘)使用query方法的优势它允许我们使用字符串形式的表达式非常灵活直观。但要注意列名中不能有空格或特殊字符否则需要用反引号包裹。对于更复杂的条件如涉及函数计算可能需要先计算出一个新列再基于新列进行筛选。6.2 基于多列复合逻辑的拆分自定义函数当拆分逻辑异常复杂无法用简单的query字符串表达时我们可以定义一个自定义的判断函数应用于每一行数据返回该行所属的类别标签。def split_by_custom_logic(file_path, output_dir, logic_function, sheet_name0): 使用自定义函数决定每行数据的归属。 参数: file_path: 源文件路径 output_dir: 输出目录 logic_function: 一个函数输入为一行的Series输出为一个字符串类别标签 sheet_name: 要拆分的工作表名或索引 os.makedirs(output_dir, exist_okTrue) df pd.read_excel(file_path, sheet_namesheet_name) # 应用自定义逻辑函数为每一行生成一个标签 # 使用apply函数axis1表示按行应用 df[‘_category‘] df.apply(logic_function, axis1) # 按生成的标签分组 grouped df.groupby(‘_category‘) for category, group_df in grouped: safe_category str(category) safe_category .join(c for c in safe_category if c.isalnum() or c in (‘ _-‘)).rstrip() if not safe_category: safe_category ‘Uncategorized‘ # 写入文件前删除辅助列‘_category‘ output_df group_df.drop(columns[‘_category‘]) output_file os.path.join(output_dir, f‘{safe_category}.xlsx‘) output_df.to_excel(output_file, indexFalse) print(f‘类别 [{category}] 已保存至: {output_file}行数: {len(output_df)}‘) print(‘按自定义逻辑拆分完成‘) # 示例定义一个复杂的客户分群逻辑 def customer_segmentation(row): 根据消费金额和最近购买时间进行客户分群 if row[‘累计消费‘] 50000: if pd.notna(row[‘最近购买时间‘]) and (pd.Timestamp.now() - pd.to_datetime(row[‘最近购买时间‘])).days 90: return ‘高价值活跃客户‘ else: return ‘高价值沉睡客户‘ elif row[‘累计消费‘] 10000: return ‘中价值客户‘ elif pd.notna(row[‘最近购买时间‘]) and (pd.Timestamp.now() - pd.to_datetime(row[‘最近购买时间‘])).days 30: return ‘新活跃客户‘ else: return ‘普通客户‘ # 调用函数进行拆分 split_by_custom_logic(‘客户消费记录.xlsx‘, ‘./拆分结果/按内容_自定义‘, customer_segmentation)这种方法提供了最大的灵活性你可以将任何业务规则编码到logic_function中实现高度定制化的智能拆分。7. 性能优化与实战避坑指南写完了功能代码并不意味着万事大吉。在实际生产环境中运行这些脚本你可能会遇到性能瓶颈、内存溢出、格式错乱等问题。下面分享几个我踩过坑后总结的关键经验。7.1 大文件处理内存与速度的平衡“python读取excel数据全部读取耗时5分钟”这个问题非常典型。当Excel文件有几十万行、上百列时直接pd.read_excel可能会非常慢甚至内存不足。策略一只读所需使用usecols参数指定需要读取的列可以极大减少内存占用和读取时间。这在按列拆分时尤其有效。# 只读取‘姓名‘和‘部门‘两列 df pd.read_excel(‘大型数据.xlsx‘, usecols[‘姓名‘, ‘部门‘]) # 或者通过列索引0-based df pd.read_excel(‘大型数据.xlsx‘, usecols[0, 3, 5])策略二分块读取变通方案如前所述pandas的read_excel没有原生的分块支持。一个实用的变通方案是使用openpyxl的只读模式迭代行。from openpyxl import load_workbook import pandas as pd def process_large_excel_by_chunk(file_path, output_template, chunk_size10000): 使用openpyxl只读模式分块处理超大Excel文件。 注意此方法仅能读取单元格值格式、公式等信息会丢失。 wb load_workbook(filenamefile_path, read_onlyTrue, data_onlyTrue) ws wb.active data [] chunk_counter 1 for i, row in enumerate(ws.iter_rows(values_onlyTrue), start1): # 第一行是标题 if i 1: headers row continue data.append(row) # 达到块大小时处理并清空缓存 if i % chunk_size 0: df_chunk pd.DataFrame(data, columnsheaders) # 在这里执行你的拆分或处理逻辑例如写入文件 output_file output_template.format(chunk_counter) df_chunk.to_excel(output_file, indexFalse) print(f‘已处理并保存块: {output_file}‘) data [] # 清空缓存 chunk_counter 1 # 处理最后剩余的数据 if data: df_chunk pd.DataFrame(data, columnsheaders) output_file output_template.format(chunk_counter) df_chunk.to_excel(output_file, indexFalse) print(f‘已处理并保存最后一块: {output_file}‘) wb.close()策略三换用CSV中间格式对于极其庞大的文件最稳妥的办法是先用专业工具或一个简单的openpyxl脚本将其转换为CSV然后用pandas的read_csv(chunksize50000)进行流式处理。CSV的读写速度远快于Excel。7.2 数据类型与格式丢失的坑用pandas读取再写入Excel默认会丢失所有格式。更隐蔽的坑是数据类型的改变。日期时间Excel中的日期可能被pandas读成Timestamp但写入时如果格式不对可能变成一串数字Excel的序列日期值。建议在to_excel时用ExcelWriter配合datetime_format参数。长数字如身份证号、银行卡号pandas可能将其识别为数字导致末尾的0丢失或以科学计数法显示。在读取时务必将其指定为字符串类型。# 读取时指定列的数据类型 dtype_dict {‘身份证号‘: str, ‘电话号码‘: str, ‘工号‘: str} df pd.read_excel(‘data.xlsx‘, dtypedtype_dict) # 写入时指定日期格式 with pd.ExcelWriter(‘output.xlsx‘, engine‘openpyxl‘) as writer: df.to_excel(writer, indexFalse, sheet_name‘Sheet1‘) # 获取workbook和worksheet对象以设置列宽等可选 worksheet writer.sheets[‘Sheet1‘] # 设置日期格式 for col in df.columns: if pd.api.types.is_datetime64_any_dtype(df[col]): col_idx df.columns.get_loc(col) # openpyxl列索引从1开始且需要调整writer的列映射 # 更简单的做法是在to_excel前格式化列 df[col] df[col].dt.strftime(‘%Y-%m-%d‘)7.3 文件名与路径的合法性自动生成文件名时如果直接使用工作表名或数据内容可能会包含操作系统不允许的字符如\/:*?|。前面的代码中已经使用了简单的过滤.join(c for c in name if c.isalnum() or c in (‘ _-‘)).rstrip()但这可能还不够健壮。一个更安全的方法是使用slugify库或者定义一个更严格的替换函数。import re def make_filename_safe(name): 将字符串转换为安全的文件名。 # 替换非法字符为下划线 name str(name) name re.sub(r‘[\\/*?:|]‘, ‘_‘, name) # 去除首尾空格和点 name name.strip(‘ .‘) # 限制长度 if len(name) 200: name name[:200] # 如果名字变空返回一个默认值 if not name: name ‘Unnamed‘ return name7.4 异常处理与日志记录生产环境的脚本必须有良好的健壮性。要处理文件不存在、权限不足、数据格式错误等异常并记录详细的日志方便排查问题。import logging import traceback # 配置日志 logging.basicConfig(levellogging.INFO, format‘%(asctime)s - %(levelname)s - %(message)s‘, handlers[logging.FileHandler(‘excel_splitter.log‘), logging.StreamHandler()]) def safe_split_function(file_path, **kwargs): try: # 你的拆分逻辑 logging.info(f‘开始处理文件: {file_path}‘) # ... split logic ... logging.info(‘处理完成。‘) except FileNotFoundError: logging.error(f‘文件未找到: {file_path}‘) except PermissionError: logging.error(f‘没有权限读取或写入文件: {file_path}‘) except pd.errors.EmptyDataError: logging.error(f‘文件为空或格式不正确: {file_path}‘) except Exception as e: logging.error(f‘处理文件时发生未知错误: {file_path}‘) logging.error(traceback.format_exc()) # 打印完整的错误堆栈将这些经验融入你的脚本能极大提升其可靠性和可维护性让它从“实验室玩具”变成真正的“生产力工具”。