网站简介
Apache Spark 是 Apache 基金会旗下的开源分布式计算引擎，主打把批处理、流计算、机器学习和图计算放进同一套运行时里完成，不必为不同任务分别维护一套集群，运维成本因此降低不少。
它的核心抽象是弹性分布式数据集与 DataFrame，作业被拆成有向无环图后分阶段调度，中间结果尽量留在内存，迭代型算法的表现明显好于反复读写磁盘的做法。上层提供结构化查询、流式处理、机器学习库和图计算组件，接口支持多种主流语言。
适合数据工程师、分析师和算法团队处理从 GB 到 PB 级的数据，常见用途包括离线报表、实时指标、特征工程和日志清洗。部署方式比较灵活，可以跑在独立集群、资源调度平台或容器编排系统上，按业务规模弹性调整。
与后起的流批一体引擎相比，Spark 生态成熟、资料丰富，版本迭代稳定，遇到问题容易找到现成答案；但小数据量场景的启动开销偏大，资源规划不当还容易出现内存溢出。建议先用本地模式跑通示例，再迁移到集群并调校分区与并行度。
