데이터엔지니어링 (4) 썸네일형 리스트형 Data Platform & Engineering 프로젝트의 현실과 개발자의 경험 "데이터 플랫폼 운영하다 보면, 어느 날 갑자기 대규모 마이그레이션이 터지는 순간이 오지 않아?"Data Platform & Engineering 프로젝트를 시작하기 전에 꼭 알아야 할 현실들! 개발자라면 누구나 한 번쯤 겪게 될 Data Platform의 세계를 프로젝트 경험과 함께 풀어봅니다.Data Platform & Engineering는 프로젝트라기 보단 일반적인 사내 운영을 포함해서 포괄적인 내용으로 볼 수 있습니다. 1. Data Platform & Engineering 개요Data Platform & Engineering은 데이터 플랫폼을 운영하면서도, 지속적인 기술 개선과 확장을 수행하는 역할을 의미한다. 일반적인 SM(System Maintenance)과는 다르게 단순한 운영이 아니라,.. SM 프로젝트의 현실과 개발자의 경험 "SM 운영팀으로 갔을 때 제일 먼저 한 일이 뭔지 알아? 기존 코드 욕하기였어." SM 프로젝트를 시작하기 전에 꼭 알아야 할 현실들! 개발자라면 누구나 한 번쯤 겪게 될 SM의 세계를 프로젝트 경험과 함께 풀어봅니다. 1. SM(System Maintenance) 프로젝트 개요SM 프로젝트는 기존에 구축된 시스템을 운영하고 유지보수하는 업무를 의미한다. SI(System Integration) 프로젝트에서 개발된 시스템을 안정적으로 유지하고, 장애 대응, 성능 최적화, 신규 요구사항 반영 등을 수행하는 것이 주요 역할이다.일반적으로 SI 프로젝트를 진행했던 개발자들은 다음 SI 프로젝트로 이동하는 경우가 많고, SM 전담 팀이 운영을 맡게 되는 경우가 많다. 따라서 초기 개발자의 의도와는 다소 다르게.. 빅데이터를 처음 배우려면? (사회 초년생을 위한 가이드) 빅데이터란? 빅데이터 엔지니어의 관점에서 쉽게 풀어보는 이야기요즘 "빅데이터(Big Data)"라는 말을 안 들어본 사람이 없을 겁니다. 뉴스에서도, 기업에서도, 심지어 정치권에서도 빅데이터를 활용한다고 하죠. 심지어 저희 딸도 가끔 빅데이터란 말을 언급하곤 합니다. 하지만 막상 빅데이터가 뭔지 제대로 설명하려면 어렵게 느껴질 수도 있습니다. 이 개념을 조금 쉽게 풀어보고자 합니다.1. 빅데이터란? 교과서적으로 보면 빅데이터는 "기존 데이터베이스 관리 도구로 처리하기 어려울 정도로 크고 다양한 데이터"를 의미합니다. 흔히 3V(Volume, Variety, Velocity)라는 특징으로 설명되죠.Volume(규모): 데이터의 크기가 엄청나다! (예: 하루에 수억 건의 검색이 발생하는 구글)Variety(.. 빅데이터 엔지니어로 14년, 삽질과 깨달음의 기록 데이터는 세상을 움직이는 연료다. 하지만 이 연료를 다루는 과정은 생각보다 복잡하고, 시행착오도 많았다. 나는 14년간 빅데이터 엔지니어로 일하면서 수많은 삽질을 겪었고, 그 속에서 중요한 교훈을 얻었다. 이 블로그를 시작한 이유도 바로 그것이다. 내가 겪은 시행착오와 깨달음을 기록으로 남기며, 비슷한 길을 걷는 사람들이 더 나은 선택을 할 수 있도록 돕고 싶다.정보는 나눌수록 더 큰 가치가 생긴다고 믿는다. 1. "빅데이터"는 만능이 아니다처음 빅데이터를 접했을 때, 나는 단순히 데이터가 많으면 좋은 줄 알았다. 하지만 현실은 달랐다. 아무리 많은 데이터를 가져와도, 쓰레기 데이터(Garbage In, Garbage Out) 면 아무 의미가 없었다. 중요한 것은 어떤 데이터를 어떻게 가공하고 활용할 것.. 이전 1 다음