Python处理CSV编码乱码：utf-8和gbk切换方法

解决Python读取CSV中文乱码问题，对比utf-8、utf-8-sig、gbk、gb18030几种编码，给出自动探测和转码方法，附完整代码。

场景痛点

用pandas或csv打开别人发的CSV，表头变成 æµ‹è¯• 或者 锟斤拷；自己写的CSV发给同事，对方Excel打开一片乱码。中文CSV编码坑太多：Excel默认存GBK，Linux服务器默认UTF-8，跨系统传输必乱。这篇把常用编码和自动探测方法讲清楚。

用到的库

pip install pandas chardet

完整代码

# Python处理CSV编码乱码
import pandas as pd

def try_read_with_encodings(file_path):
"""
按顺序尝试几种常见编码，哪个能读出来就用哪个。
常见顺序：utf-8-sig -> gbk -> gb18030 -> utf-8
"""
encodings = ["utf-8-sig", "gbk", "gb18030", "utf-8", "latin1"]
for enc in encodings:
try:
df = pd.read_csv(file_path, encoding=enc, nrows=5)
print(f"成功用编码 {enc} 读取，前5行：")
print(df.head())
return enc, df
except (UnicodeDecodeError, UnicodeError):
print(f"  编码 {enc} 失败，换下一个")
raise RuntimeError("所有编码都读不了，请用chardet探测")

def detect_encoding(file_path):
"""
用chardet自动探测文件真实编码，适合不确定来源的CSV。
只读前1万字节判断，速度快。
"""
import chardet
with open(file_path, "rb") as f:
raw = f.read(100000)  # 读前10万字节
result = chardet.detect(raw)
print(f"chardet探测结果：{result}")
return result["encoding"]

def convert_to_utf8(input_path, output_path):
"""
把任意编码的CSV转成统一的utf-8-sig，后续程序读起来就不会乱码。
"""
enc = detect_encoding(input_path)
df = pd.read_csv(input_path, encoding=enc)
# 写出用utf-8-sig，Excel双击也能正常打开
df.to_csv(output_path, index=False, encoding="utf-8-sig")
print(f"已转码：{input_path}({enc}) -> {output_path}(utf-8-sig)")

def main():
file_path = "messy.csv"

print("=== 1. 逐个编码尝试读取 ===")
enc, df = try_read_with_encodings(file_path)

print("\n=== 2. chardet自动探测 ===")
detect_encoding(file_path)

print("\n=== 3. 统一转成utf-8-sig ===")
convert_to_utf8(file_path, "clean_utf8.csv")

if __name__ == "__main__":
main()