bigdata

spark

범용적 목적의 분산 고성능 클러스터링 플랫폼 (General purpose high performance distributed platform) MongoDB를 데이터 소스로 사용할 경우 https://github.com/mongodb/mongo-spark?jmp=hero https://docs.mongodb.com/spark-connector/current/python-api/

hive

Hadoop의 Map/Reduce를 직접만들지 않고 SQL 형태로 조회를 하면 Map/Reduce를 자동으로 만들어서 결과를 확인할 수 있다. https://hive.apache.org/