在当今数字化时代，数据规模呈现出爆炸式增长态势，与此同时，算力成本的压力也与日俱增。在此背景下，大数据计算引擎的性能优化面临着前所未有的挑战，执行引擎级的重构成为必然趋势，而向量化执行与原生执行则成为突破性能瓶颈的关键方向。

10月14日，国际权威开源软件基金会Apache在其官方博客上正式发布了Apache Auron™ 毕业的喜讯，宣布Apache Auron成功从孵化器毕业，正式跻身Apache顶级项目（Top-Level Project，TLP）之列。此前，Apache Auron的毕业提案在2026年9月的Apache孵化器项目管理委员会（IPMC）投票中顺利获得通过，随后又得到了Apache软件基金会董事会的批准。至此，Auron正式告别孵化阶段，迈向独立自治的新征程，进入Apache顶级项目治理体系。

Apache Auron的诞生源于快手在大规模数据计算领域的生产实践。它由快手公司立项并研发，在2025年8月，快手将其捐赠给了Apache软件基金会孵化器。值得一提的是，从进入孵化器到顺利毕业，Auron仅仅用了13个月的时间，这一速度在开源项目中堪称惊人。

Apache Auron是一款专注于大数据引擎的原生向量化执行加速器，目前主要聚焦于加速Apache Spark的查询处理。它巧妙地融合了Apache Arrow-Data Fusion的原生计算能力与Spark的分布式计算框架，能够将Spark优化后的物理计划精准转换为等价的原生执行计划，并交由基于Rust实现的Native Engine来执行。这种创新的方式不仅显著提升了性能，还大大降低了资源开销。目前，Auron已经在数十家企业的生产环境中成功部署，覆盖了金融、电商、物流等多个行业的业务场景，并且在实际线上运行中取得了极为显著的降本增效收益。

快手高级副总裁、研发线负责人郭亮表示，Auron项目在快手公司立项研发后，在大规模落地实践中取得了非常可观的成果，为大数据成本优化带来了显著效益。快手一直秉持开放、共创的技术开源精神，将Auron捐赠给ASF，就是希望与社区携手共进，共同推动Data + AI生态基建技术的发展。

突破向量化执行技术，助力大数据计算引擎实现「原生」速度飞跃

Auron的起源可以追溯到快手日常生产中面临的大规模数据处理挑战。随着数据规模的不断扩大，基于JVM的行式处理逐渐成为Spark的CPU性能瓶颈。为了解决这一问题，快手决定在不改动上层业务SQL的前提下，为Spark替换一层更高效的执行引擎，于是Auron应运而生。

在项目孵化期间，Auron社区展现出了强大的活力和创新能力，保持了高速迭代与稳定发布的节奏，累计发布了三个版本。在过去的6个月里，master分支共合入了179个commit，这些贡献者来自20多家不同的公司。毕业之际，社区已有18位Committer依据毕业决议全部转为项目管理委员会（PMC）成员，他们与4位孵化导师共同组成了22人的PMC，形成了多元化、跨组织的治理格局。

正是由于汇聚了来自不同开源项目、拥有丰富Apache社区经验的PPMC成员与Committer，Auron得以顺利突破技术瓶颈，为大数据计算领域贡献了重要的发展成果。在传统的大数据计算引擎中，采用逐条处理的方式，每处理一条数据都要完整走一遍固定流程，随着数据量的增大，CPU延迟问题愈发明显。而Auron则采用了向量化执行技术，按批（Batch）处理数据，从而最大限度地发挥了SIMD指令的优势，充分利用了CPU的并行计算能力。

从技术路径的细节来看，Auron的核心架构主要分为四大关键部分。首先是Spark Extension，它能够实现将加速器完整挂载进Spark执行流程，用户只需将Auron作为客户端扩展安装，绝大多数SQL无需任何改造即可获得加速效果。其次是Flink Extension，它支持加速器完整挂载进Flink执行流程，为Flink用户提供了同样的加速便利。再者是Auron Core，它使用JNI对Native Engine进行封装，为上层引擎提供Java接口，方便接入使用。最后是Native Engine（Rust），这是基于Apache Arrow-Data Fusion实现的原生执行引擎，提供了包含执行计划规范、JNI网关、自定义算子/表达式/函数，以及内存管理、Fallback框架等基础能力。

基于这样独特的核心架构，Auron在多个维度上展现出了卓越的加速性能。在原生执行方面，其核心引擎由Rust实现，有效规避了JVM开销，具备稳定、确定性的执行性能。在向量化计算方面，基于Apache Arrow列式格式，利用SIMD指令批量处理数据，最大化计算吞吐。同时，完善的Fallback机制使得未实现的算子和表达式可自动回退到Spark原生执行，UDF/UDTF、UDAF等自定义函数同样支持，保证了“只要Spark能跑，Auron就能跑”的兼容性。此外，可插拔架构面向多引擎扩展，当前深度集成Apache Spark，并基于Data Fusion良好的可扩展性，未来有望扩展支持Apache Flink等其他大数据计算引擎。

在周边生态与生产夯实方面，Auron也进行了全面的适配。它适配了开源湖仓格式Apache Paimon™、Apache Iceberg™和Apache Hudi，开源Shuffle Service框架Apache Celeborn™和Apache Uniffle，以及HDFS、S3等存储系统。同时，Auron还具备多级内存管理、紧凑化Shuffle格式、自适应执行策略等先进特性，为大数据计算提供了更加稳定、高效的解决方案。

ASF Member、Apache Auron孵化导师，LinkedIn Principal Staff Software Engineer秦江杰表示，良好的版本兼容性和易用性一直是Auron的突出特点，这使得Native Execution的性能收益能够更加轻松地落地到实际生产环境中，为企业带来实实在在的价值。

实现规模化落地验证，计算运行提速超2倍、资源节省约50%

技术能力的价值最终需要通过可量化的实际应用运行结果来检验。目前，Apache Auron已经全部通过了TPC-DS/TPC-H基准用例。与Apache Spark3.5相比，在TPC-DS基准下，Auron的运行速度提升了2倍以上，同时节省了约50%的计算资源。在大规模生产环境中，Auron已经在超过EB级（Exabytes）数据规模下进行了验证运行，覆盖了JSON解析、UDF/UDTF等复杂生产场景，并成功解决了多项稳定性与数据一致性问题。

除了标准基准测试外，真实生产环境中的规模化部署情况也是衡量项目成熟度的重要依据。目前，Auron已经在快手、滴滴、58同城、携程、OPPO、LinkedIn、汽车之家等数十家公司的生产环境中成功部署落地，并在线上场景中取得了显著的降本增效收益。这些企业的实际应用充分证明了Auron的稳定性和可靠性。

58同城数据架构部负责人余意介绍，58同城在大数据计算场景中持续关注并实践Auron，已经落地任务2.5W +，提效占比65%，平均提效45%以上。Auron通过原生向量化执行，在保持较低接入门槛的前提下，为现有大数据平台带来了更高的计算效率和更好的资源利用率，为58同城的大数据业务发展提供了有力支持。

滴滴大数据计算引擎负责人张润林表示，在大规模数据处理场景中，计算效率、运行稳定性与资源成本始终是企业关注的核心问题。Auron以原生向量化执行技术为大数据计算加速，为企业提升计算效率、释放存量资源价值提供了新的选择，有助于滴滴在激烈的市场竞争中保持优势。

从孵化走向毕业，Apache Auron也将迎来更广阔的生态场景。Apache Auron PMC Chair王磊表示，Auron将不断拓展生态版图。一方面，持续适配并完善Apache Spark、Apache Flink等主流大数据计算引擎，让更多引擎的查询负载都能获得原生执行的加速能力，提升整个大数据计算生态的效率。另一方面，基于cuDF打造Auron on GPU能力，把向量化执行从CPU延伸到GPU，让Auron适应AI与GPU算力时代对高性能数据计算的全新需求，为未来的大数据计算发展奠定基础。

具体来看，Auron将继续围绕四大方向深耕细作。一是拓展应用生态，完善Auron在Apache Flink流和批场景的支持，以及对Lance/Vortex等新型存储格式的适配，满足不同用户的多样化需求。二是增加对异构硬件的支持，从CPU向量化计算扩展到对GPU和FPGA等异构硬件的支持，进一步提升大数据引擎算子性能，挖掘硬件潜力。三是贴近生产场景，持续提升各类算子与函数的覆盖率，以及解决性能、稳定性、数据一致性问题，确保Auron在实际生产中能够稳定、高效地运行。四是大做社区、做强生态，携手更多企业与开发者以Committer/Contributor身份加入，共建开放、多元、可持续的社区，共同推动Auron的发展。

从快手内部的工程实践，到Apache软件基金会的顶级项目，Auron在一年多的孵化周期内完成了华丽的身份转换。对快手而言，Auron的毕业不仅仅是一次开源成果的交付。作为项目的发起方，快手在大规模数据处理场景中积累了丰富的工程经验，这些经验正通过Apache社区这一开放平台向更广泛的开发者与企业开放。未来，快手将持续参与Data + AI生态共建，把在大规模数据处理等领域的实践经验与社区共享，与各界伙伴一道，推动数据智能行业技术的创新突破，共同开创大数据计算的美好未来。