Day3 学习记录第一次用 Pandas 读 CSV环境Windows Python 3.12.10 pandas。数据小说章节 CSV。1. 读取 CSV 与编码坑最开始用pythondf pd.read_csv(file)报说明文件不是默认 utf-8。试过pythondf pd.read_csv(file, encoding“gbk”)又报textUnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x8d后来确认文件是 UTF-8 BOM使用pythondf pd.read_csv(file, encoding“utf-8-sig”)成功读取。也试过更底层容错方式pythonimport iowith open(file, “rb”) as f:text f.read().decode(“gb18030”, errors“replace”)df pd.read_csv(io.StringIO(text))结果中文乱码列名也变成乱码后续按中文列名处理会KeyError。说明容错解码只能保证不报错不代表内容正确。编码要匹配原文件。2. 基础查看pythonprint(df.head())print(df.info())print(df.isnull().sum())print(df.shape)print(df.describe())结果12 行 12 列。空值情况书名/章节号/章节名/分类各 2更新日期1字数文本1分类统计9数量912008字数数字1转数字23. 空值处理不能无脑全部空值删除pythondf_drop_all df.dropna().drop_duplicates()结果从 12 行变成 3 行丢太多。按业务关键列删除pythonkey_cols [“书名”, “章节号”, “章节名”, “分类”, “字数”, “更新日期”]df_key_clean df.dropna(subsetkey_cols).drop_duplicates()结果保留 10 行更合理。4. 保存清洗结果pythondf_drop_all.to_csv(rD:\mycode\ai-data-learning\day03-csv\novel_chapters_clean_dropall.csv,indexFalse,encoding“utf-8-sig”)df_key_clean.to_csv(rD:\mycode\ai-data-learning\day03-csv\novel_chapters_clean_core.csv,indexFalse,encoding“utf-8-sig”)5. 今天学到的点pandas.read_csv默认 utf-8中文 CSV 要注意编码Windows/Excel 中文 CSV 常见 gbk/gb18030但这个文件是 utf-8-sigerrorsreplace能避免解码报错但可能造成乱码不是正确修复info()、isnull().sum()、shape、describe()是数据质量检查第一步dropna()会大幅丢数据应按关键列或业务含义处理保存 CSV 用indexFalse和encodingutf-8-sig下一步Day4 继续 Pandasgroupby / merge / 字符串处理。
