职责描述
工作职责
一、大数据处理框架开发与优化
1)设计、开发和维护基于Spark Core/Spark SQL的大规模自动化ETL Pipeline,处理PB级多模态图文数据
2)优化Spark作业性能和稳定性,解决调度延迟/OOM等问题,提高任务执行效率,减少人工介入成本
二、多模态大模型训练数据挖掘
1)基于互联网发现和挖掘高质量 文本/多媒体 数据,并对原始语料进行 分析/过滤/重写,为多模态大模型训练及业务场景提供坚实的数据基础;
2)与算法研究员协作,设计数据实验,探索分析不同数据策略对于VLM模型能力/训练效率的影响,支持更高效的VLM模型训练;
3)跟进业界最新的VLM数据相关工作成果,并探索将其应用/改进 的落地可能
岗位要求
- 计算机、大数据相关专业,本科及以上学历;
- 具备扎实的代码能力,熟悉 Python,熟悉多线程编程、分布式计算、网络通信、内存管理;
- 熟悉Linux环境,能编写Shell/Python脚本自动化日常任务;
- 熟练掌握如Spark、Hive、Hadoop等大数据处理工具/框架,有VLM数据管理/处理基建开发与设计经验
- 了解深度学习基础原理,以及多模态大模型基础原理
加分项
- 有丰富的多模态数据处理/挖掘经验者 优先
- 有大规模数据处理基建Pipeline 的 设计开发经验者 优先
- 有深度学习CV/NLP、多模态大模型训练经验者 优