AI 数据与 Benchmark
把需求整理成制作规范，明确材料、输出和验收要求；组织领域专家参与制作，跟进审核、返修和交付。
工作重点任务设计 · 专家协作 · 交付管理
Benchmark 数据项目估值
≈ $5M USD
约 500 万美元曾搭建的专家资源池
400+
专家招募、分层与任务协作专家资源池覆盖
6 个领域
匹配专业背景与任务需求01 / FOCUS
我主要做的三类工作
生产、评测和工具实践，
各自有不同的工作重点。
专业评测与数据质量
参与评测维度和评分规则设计，核对答案依据，分析错误样本。遇到争议时，回到材料和规则中查找原因。
工作重点评分规则 · 错误分析 · 结果复核
Agent 工具与工作流
借助 AI 做工具原型，整理任务记录与上下文，观察执行过程，测试工作流是否成立，并记录使用方法。
实践重点原型验证 · 上下文组织 · 使用文档
02 / WORK MATERIALS
工作中留下的材料
任务怎么做、结果怎么判、修改怎么追溯。
这些材料也是协作与交付的依据。
01 / TASK SPECIFICATION
任务说明
把需求写成制作人员能执行、审核人员能检查的任务。
- 01任务目标
- 要完成的工作，以及需要回答的问题。
- 02输入材料
- 材料来源、使用范围和必要附件。
- 03输出要求
- 内容、格式、必要依据与限制条件。
- 04完成条件
- 哪些要求必须满足，依据什么验收。
检查重点制作和审核，能否沿着同一套说明执行。
02 / SCORING CRITERIA
评分规则
把专业判断拆成可以逐项复核的要求，让每个评分点有据可查。
- 01检查对象
- 这一项具体判断答案的哪个部分。
- 02判分依据
- 对应的事实、来源和必需证据。
- 03得分条件
- 满分、部分得分与不得分的区别。
- 04关键约束
- 单独检查事实错误与关键要求缺失。
检查重点参考答案与评分规则一致，关键错误不能被总分掩盖。
03 / QUALITY REVIEW
质检与返修记录
记录问题落在哪里、为什么需要修改，以及复核后是否解决。
- 01问题位置
- 定位到材料、答案或评分项。
- 02错误类型
- 区分事实、专业语义、材料匹配与表达问题。
- 03修改要求
- 说明需要补充的依据或需要调整的内容。
- 04复核记录
- 核对修改是否解决问题，是否影响同类样本。
检查重点修正一个样本之后，也检查生产规则是否需要调整。
04 / VERSION & ACCEPTANCE
版本与验收记录
把任务、答案、评分规则和审核结论对应起来，避免混用版本。
- 01对应版本
- 记录本次任务、材料和规则的版本关系。
- 02变更内容
- 写明调整了什么，以及调整的原因。
- 03复核范围
- 哪些内容已检查，哪些需要重新确认。
- 04交付清单
- 整理交付项、验收记录与待处理事项。
检查重点输入或规则改变后，不直接沿用旧的审核结论。
05 / TOOL PROTOTYPE
工具与流程原型
借助 AI 把工作想法做成可试用的原型，再检查流程是否成立。
- 01输入
- 明确用户要提供什么，工具要读取什么。
- 02处理过程
- 拆分操作步骤，保留必要的任务记录。
- 03输出
- 检查结果能否打开、修改和继续使用。
- 04验证边界
- 区分已试过的流程、已知问题与待验证部分。
检查重点原型能运行之后，还要检查修改、恢复和交接。
06 / CONTEXT & DOCUMENTATION
上下文与使用文档
留下背景、来源和已经做过的决定，让下一次工作能够接着做。
- 01当前任务
- 正在处理的目标、范围和约束。
- 02来源材料
- 资料入口与需要回查的依据。
- 03已定事项
- 记录已经确认的选择及理由。
- 04后续工作
- 区分待办、已知问题与仍未确认的内容。
检查重点保留能支持下一步工作的上下文，避免重复从头整理。
按工作材料类型概括历史实践，未展示具体项目名称、客户资料或原始数据。
03 / DELIVERY METHOD
一次交付，怎样往前推进
明确每个阶段该留下什么，
再检查能不能进入下一步。
先明确完成条件
- 我的工作
- 明确任务目标、输入材料、输出形式与验收依据。
- 留下的材料
- 任务说明、制作规范与需要澄清的问题。
- 检查重点
- 制作人员能否按说明执行，审核人员能否据此判断。
专业背景与任务相匹配
- 我的工作
- 组织专家协作，明确制作、初审和复审的分工。
- 留下的材料
- 任务安排、协作说明与制作中的问题记录。
- 检查重点
- 专业问题是否由合适的人处理，争议是否回到材料核对。
找到错误，也核对规则
- 我的工作
- 核对答案依据、评分尺度和一致性，跟进问题样本返修。
- 留下的材料
- 质量审查、修改要求与重新复核的记录。
- 检查重点
- 问题来自材料、答案还是规则；修改是否影响其他内容。
核对交付范围与版本
- 我的工作
- 确认交付清单、材料版本，以及验收覆盖的范围。
- 留下的材料
- 对应版本的产物、验收记录和待处理事项。
- 检查重点
- 已经验证的结果与仍待确认的部分是否区分清楚。
工作流程示意，阶段可切换查看。
04 / BACKGROUND
关于我
Aiden Liu
我在美国东北大学完成化学本科学习。现在是 Commorai Pte. Ltd. 的联合创始人兼交付负责人，自 2025 年 9 月起参与 AI 数据交付与专家社区运营，曾搭建覆盖 6 个领域、400 余人的专家资源池。
除数据与评测工作外，我也在整理面向初学者的 Agent 使用经验，内容围绕工作区、任务拆解和工具选择展开。
- CURRENT
- Commorai Pte. Ltd.Co-founder & Head of Delivery
- EDUCATION
- 美国东北大学 · 化学本科Northeastern University
05 / CONTACT
联系我
关于 AI 数据、评测，或 Agent 的实际使用。