大数据开发工程师
岗位职责
1. 负责公司大数据平台相关需求的开发与维护，包括实时数据处理、离线数据处理、数据同步、数据清洗及数据加工等工作。
2. 负责基于Flink / Flink SQL的实时数据任务开发，根据业务需求完成数据采集、转换、聚合、关联及实时指标计算。
3. 参与Flink集群及实时任务的日常维护，包括任务发布、监控、异常排查、性能优化Checkpoint/Savepoint管理、资源使用分析等。
4. 负责Doris相关数据模型设计、表结构设计、数据导入及查询开发，并参与Doris集群的日常维护、性能分析和问题排查。
5. 参与Kafka、RocketMQ等消息中间件的数据链路建设，处理实时数据消费、数据积压、延迟及异常数据等问题。
6. 参与大数据平台的数据链路建设和优化，包括数据接入、数据同步、实时计算、数据存储及数据查询等环节。
7. 根据业务需求编写SQL、Flink SQL及相关数据处理程序，支持业务报表、数据分析及实时数据服务。
8. 负责线上大数据任务的运行监控和故障处理，对任务失败、数据延迟、数据异常、资源不足等问题进行定位和解决。
9. 参与大数据平台性能及稳定性优化，包括任务资源配置、SQL 优化、数据倾斜、数据热点、查询性能及存储优化等。
10. 了解并能够参与其他大数据组件或平台的使用和维护，如Kafka、Hadoop、Hive、Spark、Flink、Doris、ClickHouse、StarRocks、Hudi、Iceberg、Airflow/DolphinScheduler等。
11. 配合业务及研发团队完成数据问题排查、历史数据重算、数据修复及临时数据需求。
任职要求
1. 计算机、软件工程或相关专业，具备 2年以上大数据开发相关经验。
2. 熟练掌握SQL，具备较好的数据处理和数据分析能力，能够独立完成复杂 SQL 开发及性能优化。
3. 熟悉Apache Flink，具有Flink SQL实际项目经验，了解 Flink 的基本运行原理，包括：
o JobManager / TaskManager
o Checkpoint / Savepoint
o Watermark
o State
o Window
o Exactly Once
o Flink 任务并行度及资源配置
4. 具备一定的Flink任务运维及故障排查能力，能够处理任务失败、Checkpoint异常、Backpressure、数据积压、数据倾斜及资源不足等常见问题。
5. 熟悉Apache Doris，具有Doris实际使用经验，了解：
o 数据模型及表设计
o 分区与分桶
o 数据导入
o SQL 查询及性能优化
o 集群基本架构及日常维护
6. 熟悉Kafka等消息中间件，了解Topic、Partition、Consumer Group、Offset 等基本机制，能够排查消息积压及消费异常问题。
7. 熟悉Linux环境，能够使用常用Linu 命令进行日志分析、服务检查及问题排查。
8. 对大数据平台整体架构有一定了解，理解数据采集 → 消息队列 → 实时计算 → 数据存储 → 数据服务的完整数据链路。
9. 具备较强的问题定位能力和责任心，能够独立分析并处理线上数据任务及大数据平台相关问题。
加分项
1. 有较大规模Flink实时计算平台实际开发或运维经验。
2. 有Doris集群部署、扩容、升级、性能调优或线上故障处理经验。
3. 熟悉ClickHouse、StarRocks、Hive、Spark、Hudi、Iceberg等一种或多种大数据技术。
4. 熟悉DolphinScheduler、Airflow等任务调度平台。
5. 有实时数仓、数据仓库或数据中台建设经验。
6. 有Kubernetes环境下Flink或大数据组件部署、运维经验。
7. 有高并发、大数据量、实时数据处理相关项目经验。
