案例 · 制造 · 研发
工艺记录整理:让异常回到原始行
复盘
01 · 遇到什么问题
导出的工艺记录里工序字段有缺失,几份文件没法直接合并。
02 · 为何发生
不同班组和不同时间的导出口径不一样,空值、重复值和工序名称的写法混在一起。
03 · 如何判断
保留原始行号,把缺失值和口径差异分开检查,异常交给工艺负责人确认。
04 · 采用什么方法
读取记录时附上文件名和原始行号,分别检查空值、重复值和工序名称;把异常导出成清单,按人工选定的样本逐行复核。
05 · 花多少成本
主要是整理和人工复核的时间,随材料多少而定;用到的模型调用按实际用量从 Credits 扣。
06 · 结果怎样
照这套做法,产出是带原始行号的异常清单、校验样本和复核说明,方便接着讨论字段口径。
07 · 哪里失败及如何改进
导出格式或工序名称变了,要先改校验规则;不能替工艺负责人判断参数是否合格。
详细步骤
工艺资料员从导出文件提取缺值、重复和名称差异,整理出能回到原文件行段的异常清单。
练习材料
在新建的临时练习目录保存 process.csv,按 UTF-8 原样保存;文件内容只作为文字读取。
记录编号,工序,批次,时长秒
R01,清洗,B01,60
R02,,B01,45
R03,清洁,B01,60
R03,装配,B02,50
R04,烘干,B02,
R05,烘干,B03,70
R06,装配,B03,65练习字典接受“清洗、烘干、装配”;“清洁”是否同义尚未确认。时长只保留原值,不据此判断参数合格。
只读检查程序
将程序保存为 inspect_process.py,在该练习目录执行 python3 inspect_process.py。程序拒绝链接与非普通文件,不修改输入、不执行字段内容、不访问网络。
import os, stat
def read_local(name):
if os.name != "posix" or not hasattr(os, "O_NOFOLLOW"):
raise ValueError("请在支持拒绝链接的 macOS 或 Linux 运行")
root = os.open(".", os.O_RDONLY | os.O_DIRECTORY | os.O_NOFOLLOW)
try:
fd = os.open(name, os.O_RDONLY | os.O_NOFOLLOW | os.O_NONBLOCK,
dir_fd=root)
finally:
os.close(root)
try:
info = os.fstat(fd)
if not stat.S_ISREG(info.st_mode) or info.st_size > 131072:
raise ValueError("只读取练习目录内的小型普通文件")
with os.fdopen(fd, "r", encoding="utf-8-sig", newline="") as f:
fd = None
text = f.read(131073)
if len(text) > 131072:
raise ValueError("文件读取超过练习上限")
return text
finally:
if fd is not None:
os.close(fd)
import csv, io, json, sys
try:
reader = csv.DictReader(io.StringIO(read_local("process.csv"), newline=""),
strict=True)
columns = ["记录编号", "工序", "批次", "时长秒"]
if reader.fieldnames != columns:
raise ValueError("表头必须为记录编号、工序、批次、时长秒")
seen, issues = {}, []
end = reader.line_num
for row in reader:
start, end = end + 1, reader.line_num
if None in row or any(v is None for v in row.values()):
raise ValueError(f"列数异常,物理行{start}-{end}")
loc = {"文件": "process.csv", "起始行": start, "结束行": end}
missing = [k for k, v in row.items() if not v.strip()]
if missing:
issues.append({**loc, "问题": "缺值", "字段": missing})
key = row["记录编号"].strip()
if key and key in seen:
issues.append({**loc, "问题": "重复编号", "首次行": seen[key]})
elif key:
seen[key] = start
if row["工序"].strip() and row["工序"].strip() not in {"清洗", "烘干", "装配"}:
issues.append({**loc, "问题": "工序名称待确认", "原值": row["工序"]})
print(json.dumps(issues, ensure_ascii=False, indent=2))
except (OSError, UnicodeError, csv.Error, ValueError) as error:
print("停止读取:" + str(error), file=sys.stderr)
sys.exit(2)操作与交付
- 在临时练习目录原样保存 process.csv 和 inspect_process.py,再只读运行程序;表头、编码或列数异常时先修练习副本的格式。
- 在 Excel 用“数据→筛选”查看问题清单,对照文件名和起止行逐条复查。
- 将名称差异交工艺负责人确认;记录确认依据后再决定如何整理副本。
| 问题 | 原行 | 处理 |
|---|---|---|
| 工序缺值 | 3 | 回查R02原记录 |
| 工序名称差异 | 4 | 确认“清洁”的含义,不自动改名 |
| R03重复 | 5,首次4 | 两条均保留给人工核 |
| 时长缺值 | 6 | 回查R04原记录,不补0 |
检查:CSV 的一条记录可能占多行,所以同时留起止物理行;重复编号不能直接删行。代码输出只反映这些练习字段问题,不判断工艺参数。
参考:TokenX 公开案例;Python CSV 与文件读取文档;Microsoft Excel 筛选。
适用条件与边界
在这些条件下有效
- 能拿到原始导出文件
- 有工艺负责人确认字段口径
在这些情况下会失效
- 只有汇总表、没有原始行
- 希望脚本直接改写生产系统里的数据
来源与版本
- 当前版本
- v1 · TokenX 官方方法说明,不是客户项目记录
