Фонд Apache утвердил придание движку для обработки больших объёмов данных Spark статуса первичного проекта Apache. Перевод в разряд первичных проектов произведён после проверки в инкубаторе Apache способности следования принципам разработки и управления, принятым в сообществе Apache и основанным на идеях меритократии. Отныне Apache Spark признан готовым для самостоятельного существования, не требующего дополнительного надзора.

Apache Spark является высокопроизводительным движком для обработки данных, хранящихся в кластере Hadoop. По сравнению с предоставляемым в Hadoop механизмом MapReduce, Spark обеспечивает в 100 раз более высокую производительность при обработке данных в памяти и 10 раз при размещении данных на дисках. Движок может выполняться на узлах кластера Hadoop как при помощи Hadoop YARN, так и в обособленном режиме. Поддерживается обработка данных в хранилищах HDFS, HBase, Cassandra, Hive и любом формате ввода Hadoop (InputFormat).

Spark может использоваться как в типичных сценариях обработки данных, похожих на MapReduce, так и для реализации новых методов, таких как потоковая обработка, SQL, интерактивные и аналитические запросы, решение задач машинного обучения и работа с графами. Приложения для обработки данных могут создаваться на языках Scala, Java и Python. Из компаний использующих Spark отмечаются Alibaba, Cloudera, Databricks, IBM, Intel и Yahoo.