<aside> 💡 1. Spark 등장 배경 2. Spark 프레임워크 3. Spark Application 구현방법 4. 활용 사례

</aside>

1. 스파크 등장 배경

하둡

• 디스크 기반의 대용량 데이터 처리를 위한 오픈 소스 프레임워크
• 물리적 저장 장치에 데이터 입력 > 파일 시스템에 파일 존재 > 디스크들이 분산 되어 저장
• 배치 처리 할 때 좋음(기간 단위 모아서 처리)
• 실시간 데이터 처리에 비효율적
• 동기적 작업(스탭 바이 스탭/싱크 맞춰서 처리)은 좋음
• 비동기적 데이터 처리(대상 중 하나가 없어도 데이터 보냄>추후 처리)에 비효율적
• 반복 작업이 많은 경우 비효율적

스파크

• 빅데이터 처리를 위한 오픈소스 분석엔진
• 2009년 UC 버클리대의 AMP랩에서 기존 Hadoop보다 빠르게를 목표로 시작

스파크 vs 하둡

[출처] https://youtu.be/O35dLfyklm0