职责描述
工作职责:
1、推动AI能力与传统大数据技术栈融合,打通OpenClaw与Dataverse(数据开发平台)、数据血缘、任务调度等系统的深度集成,实现AI驱动的全链路数据治理;
2、负责生产平台Dataverse 日常需求迭代,稳定性保障和问题排查等工作,具体模块包括数据同步、任务开发、数据测试、数据发布、任务运维及调度系统。
任职资格:
1、本科及以上学历,计算机、软件工程等相关专业优先;
2、熟练掌握Java编程语言,熟悉SQL及Hive优化;
3、有高可用系统的设计经验和能力,具备高并发、海量数据的处理能力;
4、深入理解Hadoop生态组件(HDFS/YARN/Hive/Spark/Flink等),有实际项目落地经验;
5、对大模型有强烈的兴趣和好奇心,积极拥抱AI,有大模型的使用和调优经验优先;
6、熟悉Linux环境及Shell脚本,具备任务调度系统开发经验