职责描述
【模型评测员】
职位要求
1.在所在行业拥有一定的从业经验,行业包括但不仅限于:金融/理财/商业/企业经营/医疗/移民/职业规划/教育学/房地产等,具备对自身行业的基础认知。
2.严谨细致,事实核查能力强,可精准规避常识错误、行业事实偏差;具备极强的时效性敏感度,能结合最新政策、行业热点、业务新规出题。
3.了解大模型技术、AI 评测、数据标注基本逻辑,有出题、题库搭建、专家任务设计、行业数据集构建经验者优先
工作内容
1.基于垂直行业真实业务背景,设计复杂专业任务,输出符合时效性、高专业深度、多附件处理、强复杂推理的高质量题目,支撑大模型深度评测与训练。
2.制定题目配套评分细则、参考依据、边界条件,梳理任务前置行业背景、业务约束、合规要求,保证题目事实严谨、逻辑闭环、可落地、可复现。