Apache Doris运维与集成开发工程师

Job Description:

工作职责

1. Doris 集群全生命周期管理

- 负责 Apache Doris 集群的部署架构设计、高可用配置（3FE/3BE+）、日常运维与监控体系建设

- 主导大版本升级（如 2.1→3.0 存算分离）、灰度发布、回滚预案设计与演练

- 7×24 小时稳定性保障，快速响应并解决 FE/BE 故障、Tablet 异常、Compaction 积压、OOM 等问题 - 建立完善的巡检、告警（Prometheus/Grafana）、故障复盘与 SOP 沉淀机制

2. 性能调优与治理

- 基于业务场景进行 Doris 表模型选型（Duplicate/Unique Key/Aggregate）、分区策略、分桶设计与 Sort Key 优化

- 深入 CBO 优化器、执行计划分析，主导慢查询治理与物化视图建设

- 针对导入（Stream Load/Routine Load/Broker Load）和查询两个方向进行参数调优，解决导入延迟、查询毛刺、大查询 OOM 等问题 - 通过资源组（Resource Group）实现 ETL 与 Ad-hoc 查询的资源隔离

3. 实时&离线数据链路集成

- 基于 Flink CDC​ 实现 MySQL/PostgreSQL/Oracle 等数据源的全量+增量实时入仓，解决乱序、回撤、Exactly-Once 语义保障

- 搭建 Kafka → Doris Routine Load 实时摄入管道，支撑日志、事件流等场景

- 对接离线数仓（Hive/HDFS/OSS），通过 Airflow/DolphinScheduler 编排离线回流任务

- 完成 BI 工具（Superset/FineBI/PowerBI/Tableau）的 Doris 数据源对接与查询性能优化

- AI 应用平台集成：支撑 Dify / ChatBI 等 LLM 应用的数据层，设计统一的指标语义层、处理自然语言转 SQL 的权限控制与行级过滤

任职要求

必备条件：

- 本科及以上学历，计算机相关专业，5 年以上大数据平台/OLAP 领域工作经验

- 有 Apache Doris 生产集群运维经验（1.2/2.1/3.0 任一版本均可），熟悉 FE/BE 架构、高可用机制、常用运维命令

- 深入理解 Doris 表模型（Duplicate/Unique Key/Aggregate）、分区/分桶原理、Rollup/物化视图、索引机制（Prefix/Bloom Filter/倒排）

- 熟练使用 Flink（DataStream/SQL）、Kafka、CDC（Debezium/Canal），有实时入仓落地经验

- 掌握 SQL 性能分析与调优方法，能读懂 Doris EXPLAIN VERBOSE 执行计划并进行针对性优化

- 熟悉 Linux 操作系统、Shell/Python 脚本编写，有自动化运维工具（Ansible/Helm）使用经验

- 具备良好的问题拆解能力与跨团队沟通能力，能独立承担生产故障排查与应急响应

加分项：

- 有 Doris 跨大版本升级、存算分离（Compute Node + 对象存储）落地经验 - 熟悉 Flink-Doris-Connector 源码或做过二次开发

- 有 Dify / ChatBI / 大模型应用数据层对接经验，理解 RAG、Text-to-SQL 的技术链路

- 了解 StarRocks / ClickHouse / Trino / Impala 等其他 OLAP 引擎，能根据场景做技术选型

- 持有云厂商大数据相关认证（阿里云 ACP/ACE、AWS 大数据专项等）

At DXC Technology, we believe strong connections and community are key to our success. Our work model prioritizes in-person collaboration while offering flexibility to support wellbeing, productivity, individual work styles, and life circumstances. We’re committed to fostering an inclusive environment where everyone can thrive.

Recruitment fraud is a scheme in which fictitious job opportunities are offered to job seekers typically through online services, such as false websites, or through unsolicited emails claiming to be from the company. These emails may request recipients to provide personal information or to make payments as part of their illegitimate recruiting process. DXC does not make offers of employment via social media networks and DXC never asks for any money or payments from applicants at any point in the recruitment process, nor ask a job seeker to purchase IT or other equipment on our behalf. More information on employment scams is available here.