IT/빅데이터

Data Platform & Engineering 프로젝트의 현실과 개발자의 경험

guns84 2025. 3. 4. 11:07
"데이터 플랫폼 운영하다 보면, 어느 날 갑자기 대규모 마이그레이션이 터지는 순간이 오지 않아?"

Data Platform & Engineering 프로젝트를 시작하기 전에 꼭 알아야 할 현실들!

개발자라면 누구나 한 번쯤 겪게 될 Data Platform의 세계를 프로젝트 경험과 함께 풀어봅니다.

Data Platform & Engineering는 프로젝트라기 보단 일반적인 사내 운영을 포함해서 포괄적인 내용으로 볼 수 있습니다.

 

1. Data Platform & Engineering 개요

Data Platform & Engineering은 데이터 플랫폼을 운영하면서도, 지속적인 기술 개선과 확장을 수행하는 역할을 의미한다. 일반적인 SM(System Maintenance)과는 다르게 단순한 운영이 아니라, 마이그레이션, 성능 최적화, 신기술 도입 등의 엔지니어링 요소가 포함된다.

기업 내에서 데이터 플랫폼이 처음 구축된 이후, 초기에는 운영 및 장애 대응 업무가 많아 SM과 유사한 형태로 진행되지만, 시간이 지나면서 시스템의 노후화, 클라우드 업그레이드(EOS), 기술 변화 대응 등이 필요한 시점에서 본격적으로 역할이 커진다.

이 과정에서 기존 플랫폼의 유지보수뿐만 아니라, 마이그레이션, 아키텍처 개선, 신기술 도입 및 PoC(Proof of Concept) 수행이 핵심 업무로 포함된다.

2. Data Platform & Engineering의 주요 특징

2.1 구축 초기: 운영 중심의 SM 업무와 유사한 형태

  • 데이터 플랫폼이 처음 도입되면 Ad-hoc성 데이터 요청, 장애 대응, 쿼리 최적화 등의 업무가 많다.
  • 데이터 추출, 분석 지원, 성능 튜닝 등 SM과 동일한 역할을 수행하는 시기다.
  • 이 시점에서는 엔지니어링보다는 유지보수에 초점이 맞춰져 있음.

2.2 시스템 노후화 및 업그레이드 시기 (4~5년차 이후)

  • 클라우드 인프라의 EOS(End of Support) 도래 시, 대규모 마이그레이션 및 업그레이드 프로젝트가 발생한다.
  • 기존 시스템이 낡아지면서, 아키텍처를 개편하거나 성능을 최적화하는 과정이 필수적으로 진행된다.
  • 데이터 스토리지(HDFS → Iceberg, Snowflake), 데이터 처리 엔진(Spark → Databricks) 등의 기술 변화가 진행될 수 있음.

2.3 시장 변화 대응 및 신기술 도입

  • 기업이 시장에서 경쟁력을 유지하기 위해 신기술을 도입해야 하는 경우가 많다.
  • 하지만 신기술이 기존 시스템과의 호환성을 고려하지 않고 무리하게 도입되는 경우도 종종 발생한다.
  • 개발팀은 PoC를 수행하며 신기술의 실효성을 검토하고, 기술 도입을 최적화하는 과정에서 많은 논의가 필요하다.

3. Data Platform & Engineering 프로젝트에서의 팀별 역할

3.1 운영 및 유지보수 팀

  • 데이터 플랫폼의 안정성을 유지하고, 장애 대응 및 성능 최적화를 수행한다.
  • 기존 워크플로우 및 데이터 파이프라인이 정상적으로 동작하는지 지속적인 모니터링을 수행한다.

3.2 마이그레이션 및 업그레이드 팀

  • 클라우드 환경에서의 EOS 대응을 위해, 플랫폼 업그레이드 및 마이그레이션을 계획하고 실행한다.
  • 기존 데이터 파이프라인을 새로운 환경으로 이전하는 과정에서 성능 저하, 비용 증가 등의 문제를 해결해야 한다.

3.3 데이터 최적화 및 아키텍처 개선 팀

  • 데이터 처리 속도 개선, 리소스 최적화, 자동화된 데이터 파이프라인 개선을 수행한다.
  • 쿼리 최적화, 인덱싱 전략, 데이터 구조 변경 등을 통해 데이터 활용도를 극대화하는 역할을 맡는다.

3.4 PoC 및 신기술 도입 팀

  • 새로운 기술 도입이 필요할 경우, PoC를 통해 기존 시스템과의 연계 가능성을 검토한다.
  • 신기술이 기존 워크플로우에 적합한지 테스트하고, 실제 도입이 가능한지 평가하는 업무를 수행한다.

3.5 데이터 분석 및 비즈니스 연계 팀

  • BI 및 데이터 분석팀과 협력하여 데이터 품질 관리, 실시간 분석, AI/ML 적용 등의 고급 데이터 활용 방안을 기획한다.
  • 데이터 엔지니어링 팀과 협업하여 비즈니스 인사이트를 얻을 수 있는 데이터 환경을 구축하는 역할을 한다.

4. Data Platform & Engineering 프로젝트의 진행 과정과 현실

4.1 초반 운영 단계 (SM과 유사한 역할)

  • 구축 초기에는 장애 대응, 데이터 요청 처리, 성능 튜닝 등 일반적인 운영 업무가 중심이 된다.
  • 데이터 관련 Ad-hoc 요청이 많아 개발보다는 대응 업무가 많아지는 시기다.
  • 시스템이 안정화되지 않은 경우, SI/SM과 거의 유사한 형태로 운영이 진행된다.

4.2 대규모 마이그레이션 & 업그레이드 진행 (4~5년차 시점)

  • 클라우드 플랫폼이 EOS를 맞이하면, 마이그레이션 또는 시스템 업그레이드 프로젝트가 필수적으로 진행된다.
  • 데이터 마이그레이션 과정에서 비용 절감, 다운타임 최소화, 기존 워크플로우 유지 등이 중요한 이슈로 떠오른다.
  • 이전 과정에서 성능 저하 및 예상치 못한 이슈가 발생할 가능성이 높아, 사전 테스트와 철저한 계획이 필요하다.

4.3 기술 변화 및 신기술 도입 압박

  • 경영진이 새로운 기술 도입을 강하게 요구하는 경우, 개발팀은 기존 시스템과의 연계성을 검토하고 실효성을 평가해야 한다.
  • 신기술이 반드시 필요한지, 기존 시스템을 업그레이드하는 것이 더 나은지에 대한 논의가 필수적이다.
  • PoC를 통해 기술 도입이 실제로 효과적인지 검증하는 과정이 필요하다.

5. Data Platform & Engineering의 장점과 단점

장점

  • 운영뿐만 아니라, 새로운 기술을 도입하고 최적화하는 경험을 쌓을 수 있다.
  • 대규모 마이그레이션과 시스템 고도화 프로젝트를 경험할 기회가 많다.
  • 기술적 의사결정 과정에 참여할 수 있어, 단순 유지보수가 아닌 엔지니어링적인 성장을 경험할 수 있다.

단점

  • 초기에는 SM과 비슷한 운영 업무가 많아, 개발보다 대응 업무가 우선될 가능성이 높다.
  • 클라우드 환경의 변화(EOS, 벤더 정책 변경 등)에 따라 예상치 못한 기술 변경이 필요할 수 있다.
  • 새로운 기술 도입이 무리하게 진행될 경우, 팀에 과도한 부담과 리스크가 발생할 수 있다.

6. 결론

Data Platform & Engineering은 단순한 운영(SM)이 아니라, 운영을 기반으로 시스템을 지속적으로 발전시키고, 대규모 마이그레이션과 신기술 도입을 수행하는 역할을 한다.

기존 SM과 SI의 중간 역할을 하면서도, PoC와 데이터 최적화까지 포함되는 확장된 개념이라고 볼 수 있다.

 

즉, 단순 운영이 아니라 “데이터 플랫폼을 성장시키는 운영”을 목표로 한다.

 

하지만, 과도한 신기술 도입 요구, 마이그레이션의 어려움, 운영 부담 등의 현실적인 과제도 존재한다.

기업 내에서 데이터 운영을 넘어 새로운 기술을 적용하는 경험을 쌓고 싶다면, Data Platform & Engineering 프로젝트는 매우 좋은 기회가 될 수 있다.