Apache Spark는 대규모 데이터를 분산 처리할 수 있는 오픈소스 데이터 엔진으로, 배치 처리와 스트리밍 분석을 모두 지원합니다. SQL, 머신러닝(MLlib), 그래프 처리(GraphX) 등 다양한 모듈을 통합 제공하여 복잡한 데이터 분석을 빠르게 수행할 수 있습니다. 메모리 기반 처리 구조로 Hadoop보다 훨씬 높은 성능을 제공하며, Python·Scala·Java·R 등 다양한 언어를 지원합니다. 데이터 엔지니어링, 실시간 로그 분석, AI 모델링 등 다양한 분야에서 표준 데이터 엔진으로 활용됩니다.
