IT/빅데이터

HDInsight + Trino vs EMR + Iceberg, 현실적인 선택은?

guns84 2025. 2. 25. 10:19

 

1. 개요

최근 기업들이 데이터 분석 환경을 최적화하는 과정에서 HDInsight + Trino 조합과 EMR + Iceberg 조합이 주요한 선택지로 떠오르고 있다. 기존 Hive 기반 데이터 레이크를 유지하면서도 성능을 향상하고, 데이터 처리 및 메타데이터 관리를 효율적으로 운영하는 것이 핵심 과제다.

 

빅데이터 기술의 발전 흐름을 살펴보면, 기존 Hadoop 기반 데이터 레이크에서 Iceberg, Snowflake, Spark, Databricks로 점진적으로 발전해왔다. 이러한 변화는 데이터 저장과 처리 방식의 근본적인 개선을 필요로 했기 때문이다.

 

  • Hadoop → Iceberg: 기존 Hadoop 기반의 HDFS와 Hive 테이블 방식은 대량의 작은 파일 관리 및 성능 문제로 인해 Iceberg 같은 새로운 테이블 포맷이 등장하게 됨.
  • Iceberg → Snowflake: Iceberg는 데이터 레이크에서 테이블 관리를 최적화하지만, Snowflake는 클라우드 네이티브 데이터 웨어하우스로 운영 편의성과 성능 면에서 차별화됨.
  • Snowflake → Spark: Snowflake는 정형 데이터 분석(OLAP)에 강점이 있지만, Spark는 비정형 데이터 변환, ETL 및 머신러닝 워크로드에 특화됨.
  • Spark → Databricks: Databricks는 Spark의 관리형 서비스로, 최적화된 성능 및 자동화 기능을 통해 엔터프라이즈 환경에서 보다 유용하게 활용됨.

 

이러한 흐름 속에서 HDInsight + Trino와 EMR + Iceberg가 현실적인 대안으로 떠오르는 이유는 기업들이 완전한 클라우드 데이터 웨어하우스로 전환하기 전, 기존 데이터 레이크 환경을 최적화할 수 있는 방법을 찾고 있기 때문이다. 본 글에서는 HDInsight + Trino 조합이 현실적인 대안인지, 아니면 EMR + Iceberg가 더 나은 선택인지 비교해본다.

2. HDInsight + Trino vs. EMR + Iceberg 비교

비교 항목HDInsight + TrinoEMR + Iceberg

운영 환경 Azure 기반 (HDInsight) AWS 기반 (EMR)
메타데이터 관리 Hive Metastore 활용 Iceberg REST Catalog or AWS Glue
파일 포맷 지원 Parquet, ORC, Avro Parquet, ORC, Avro
쿼리 성능 Trino의 빠른 쿼리 엔진 Iceberg의 Partition Pruning
ACID 트랜잭션 Hive 3.0 ACID 지원 (Compaction 필요) Iceberg 자체 ACID 지원 (즉시 반영 가능)
스냅샷 & 롤백 없음 Iceberg의 스냅샷(Time Travel) 기능 지원
데이터 업데이트 & 삭제 Hive의 ACID Compaction 필요 (성능 저하 가능성) Iceberg의 MERGE INTO 연산 최적화 지원
스트리밍 지원 배치 중심 Flink, Spark 스트리밍 지원

3. HDInsight + Trino 조합의 현실적인 장점

3.1 기존 Hive 환경을 유지하면서 성능 개선

HDInsight를 운영하는 기업이라면 Hive 기반 데이터 레이크를 유지하면서도 Trino를 추가하여 성능을 향상할 수 있다. Trino는 기존 Hive SQL을 거의 그대로 사용할 수 있으면서도 쿼리 속도가 빠른 것이 장점이다.

3.2 Azure 환경과의 통합

Azure 기반에서 운영 중이라면 AWS EMR로의 전환보다 HDInsight + Trino가 현실적인 대안이 될 수 있다. HDInsight는 ADLS, Synapse 등 Azure 네이티브 서비스와의 연동이 용이하므로, 기존 Azure 인프라를 유지하면서 분석 성능을 높일 수 있다.

3.3 메타데이터 관리 부담 감소

Iceberg를 도입하면 새로운 메타데이터 관리 방식이 필요하지만, Trino는 기존 Hive Metastore를 그대로 활용하면서도 더 빠른 쿼리 성능을 제공한다. 기존 Hive 환경을 유지해야 하는 경우 Iceberg보다 Trino가 더 적절한 선택이 될 수 있다.

3.4 OLAP(쿼리 중심) 환경에서 Trino의 강점

Trino는 쿼리 최적화가 뛰어나며, 여러 데이터 소스를 빠르게 조인하는 데 강점이 있다. 만약 데이터 변환보다는 분석(OLAP) 위주라면 Trino가 Iceberg보다 더 적절할 수 있다.

4. HDInsight + Trino의 한계

4.1 ACID 트랜잭션 성능 문제

Hive 3.0부터 ACID 트랜잭션을 지원하지만, Compaction 과정이 필요하여 성능이 낮아질 가능성이 있다. 반면, Iceberg는 즉시 커밋이 반영되며 성능 저하 없이 ACID 트랜잭션을 지원한다.

4.2 스냅샷 & 롤백 기능 부족

Trino는 Iceberg처럼 이전 버전 데이터 복구(Time Travel)를 지원하지 않는다. Iceberg는 SELECT * FROM table TIMESTAMP AS OF '2024-01-01' 같은 기능을 제공하여 특정 시점의 데이터를 조회할 수 있지만, Trino는 이를 지원하지 않는다.

4.3 데이터 업데이트 성능 문제

Trino는 MERGE INTO 같은 연산을 지원하지만, Hive 기반이므로 성능이 제한적이다. 반면, Iceberg는 MERGE INTO 연산을 최적화하여 데이터 업데이트 및 삭제 성능이 더 우수하다.

5. 결론: HDInsight + Trino가 현실적인가?

5.1 단기적인 선택: HDInsight + Trino

기존 Hive 기반 환경을 유지하면서 빠르게 성능을 개선하고자 한다면, Trino를 추가하는 것이 현실적인 대안이다. 특히 Azure 기반 기업이라면 EMR로 전환하는 것보다 HDInsight + Trino 조합이 더 적합할 가능성이 높다.

5.2 장기적인 선택: Iceberg 기반 데이터 레이크

만약 장기적으로 ACID 트랜잭션이 필요하거나, Time Travel 기능이 중요하다면 Iceberg로의 전환을 고려하는 것이 좋다. 특히 AWS 기반이라면 EMR + Iceberg 조합이 더 적합할 수 있다.

5.3 최적의 선택 기준

  • Azure 기반 기업 → HDInsight + Trino 유지 가능
  • AWS 기반 기업 → EMR + Iceberg가 유리
  • 빠른 쿼리 분석이 중요 → Trino 활용
  • 데이터 레이크 확장, ACID 트랜잭션 필요 → Iceberg 활용