spark (1) 썸네일형 리스트형 빅데이터 엔지니어로 14년, 삽질과 깨달음의 기록 데이터는 세상을 움직이는 연료다. 하지만 이 연료를 다루는 과정은 생각보다 복잡하고, 시행착오도 많았다. 나는 14년간 빅데이터 엔지니어로 일하면서 수많은 삽질을 겪었고, 그 속에서 중요한 교훈을 얻었다. 이 블로그를 시작한 이유도 바로 그것이다. 내가 겪은 시행착오와 깨달음을 기록으로 남기며, 비슷한 길을 걷는 사람들이 더 나은 선택을 할 수 있도록 돕고 싶다.정보는 나눌수록 더 큰 가치가 생긴다고 믿는다. 1. "빅데이터"는 만능이 아니다처음 빅데이터를 접했을 때, 나는 단순히 데이터가 많으면 좋은 줄 알았다. 하지만 현실은 달랐다. 아무리 많은 데이터를 가져와도, 쓰레기 데이터(Garbage In, Garbage Out) 면 아무 의미가 없었다. 중요한 것은 어떤 데이터를 어떻게 가공하고 활용할 것.. 이전 1 다음