IT (8) 썸네일형 리스트형 [현장 후기] Microsoft AI Tour 2025 – 하루 종일 AI에 푹 잠기다 오늘 하루는 말 그대로 AI의 축제였다.양재 AT 센터에서 열린 Microsoft AI Tour아침 9시부터 저녁 6시까지, 총 7개의 세션을 들으며 진짜 물리적으로도 정신적으로도 AI에 몰입한 하루였고,예상보다 많은 관심으로 모인 참여자, 오랜만에 뵙는 지인 및 협력업체 분들... 그리고 직접 AI 에이전트 만들기까지...중간중간 스피커의 한 마디 한 마디가 “곧 다가올 변화”를 예고하는 것처럼 다가왔다. 사티아 나델라이번 행사의 하이라이트는 단연 Microsoft CEO 사티아 나델라의 키노트였다.포멀한 키노트라기보단, 미래를 담담하게 그리는 짧은 TED 스타일 토크에 가까웠다.그는 다음과 같은 메시지를 전했다:“생성형 AI는 새로운 플랫폼 전환의 시작이다. 우리가 데이터를 어떻게 다루느냐가 기업의 .. H3를 활용한 주행 데이터 분석 – 운전 습관을 데이터로 읽다 주행데이터를 효율적으로 분석하기 위한 방법으로 Uber에서 개발한 공간 인덱스 시스템인 H3를 소개하고,이를 통해 운전자의 라이프스타일과 운전 습관을 데이터 기반으로 파악하는 접근법을 제안한다. 특히, H3로 변환된 데이터는 R, Tableau나 Kepler.gl ( H3 | kepler.gl )같은 시각화 툴과 쉽게 연계되어 공간적 시각화 분석에 매우 효과적이다. H3란 무엇인가?H3는 Uber에서 만든 위치정보 처리 시스템으로, 지구 전체를 여러 개의 육각형 셀(Hexagon)로 나누어 효율적으로 위치 데이터를 관리하는 기술이다.기존 위경도(Latitude/Longitude) 방식과 달리, 위치 데이터를 육각형 형태의 고정된 단위로 관리하기 때문에 데이터 처리와 분석이 쉽고 빠르다. 왜 육각형인가?.. Data Platform & Engineering 프로젝트의 현실과 개발자의 경험 "데이터 플랫폼 운영하다 보면, 어느 날 갑자기 대규모 마이그레이션이 터지는 순간이 오지 않아?"Data Platform & Engineering 프로젝트를 시작하기 전에 꼭 알아야 할 현실들! 개발자라면 누구나 한 번쯤 겪게 될 Data Platform의 세계를 프로젝트 경험과 함께 풀어봅니다.Data Platform & Engineering는 프로젝트라기 보단 일반적인 사내 운영을 포함해서 포괄적인 내용으로 볼 수 있습니다. 1. Data Platform & Engineering 개요Data Platform & Engineering은 데이터 플랫폼을 운영하면서도, 지속적인 기술 개선과 확장을 수행하는 역할을 의미한다. 일반적인 SM(System Maintenance)과는 다르게 단순한 운영이 아니라,.. SM 프로젝트의 현실과 개발자의 경험 "SM 운영팀으로 갔을 때 제일 먼저 한 일이 뭔지 알아? 기존 코드 욕하기였어." SM 프로젝트를 시작하기 전에 꼭 알아야 할 현실들! 개발자라면 누구나 한 번쯤 겪게 될 SM의 세계를 프로젝트 경험과 함께 풀어봅니다. 1. SM(System Maintenance) 프로젝트 개요SM 프로젝트는 기존에 구축된 시스템을 운영하고 유지보수하는 업무를 의미한다. SI(System Integration) 프로젝트에서 개발된 시스템을 안정적으로 유지하고, 장애 대응, 성능 최적화, 신규 요구사항 반영 등을 수행하는 것이 주요 역할이다.일반적으로 SI 프로젝트를 진행했던 개발자들은 다음 SI 프로젝트로 이동하는 경우가 많고, SM 전담 팀이 운영을 맡게 되는 경우가 많다. 따라서 초기 개발자의 의도와는 다소 다르게.. SI 프로젝트의 현실과 개발자의 경험 처음 블로그를 시작할 때는, ‘업무 관련 글을 많이 써야지~’라고 다짐했습니다.하지만 현실은... 점심식단 포스팅보다 낮은 빅데이터 글의 조회수...결국 주식 관련 글에 더 많은 관심이 쏠리는 걸 보고, 투자 관련 콘텐츠에 집중하게 되었는데요.이번에는 초심으로 돌아가, SI/SM/Data Engineering 프로젝트 경험을 시리즈로 정리해보려고 합니다. SI 프로젝트를 시작하기 전에 꼭 알아야 할 현실들!개발자라면 누구나 한 번쯤 겪게 될 SI의 세계를 프로젝트 경험과 함께 풀어봅니다.아래 프로세스만 봐도 머리 아프지 않나요?최대한 경험을 살려서 현실적이고 재미있게 풀어봤습니다. "SI 프로젝트는 전쟁이다. 하지만 끝나면 다시 또 한다. 왜냐면… 개발자는 망각의 동물이라서." 1. SI(시스템 통합.. HDInsight + Trino vs EMR + Iceberg, 현실적인 선택은? 1. 개요최근 기업들이 데이터 분석 환경을 최적화하는 과정에서 HDInsight + Trino 조합과 EMR + Iceberg 조합이 주요한 선택지로 떠오르고 있다. 기존 Hive 기반 데이터 레이크를 유지하면서도 성능을 향상하고, 데이터 처리 및 메타데이터 관리를 효율적으로 운영하는 것이 핵심 과제다. 빅데이터 기술의 발전 흐름을 살펴보면, 기존 Hadoop 기반 데이터 레이크에서 Iceberg, Snowflake, Spark, Databricks로 점진적으로 발전해왔다. 이러한 변화는 데이터 저장과 처리 방식의 근본적인 개선을 필요로 했기 때문이다. Hadoop → Iceberg: 기존 Hadoop 기반의 HDFS와 Hive 테이블 방식은 대량의 작은 파일 관리 및 성능 문제로 인해 Iceberg 같.. 빅데이터를 처음 배우려면? (사회 초년생을 위한 가이드) 빅데이터란? 빅데이터 엔지니어의 관점에서 쉽게 풀어보는 이야기요즘 "빅데이터(Big Data)"라는 말을 안 들어본 사람이 없을 겁니다. 뉴스에서도, 기업에서도, 심지어 정치권에서도 빅데이터를 활용한다고 하죠. 심지어 저희 딸도 가끔 빅데이터란 말을 언급하곤 합니다. 하지만 막상 빅데이터가 뭔지 제대로 설명하려면 어렵게 느껴질 수도 있습니다. 이 개념을 조금 쉽게 풀어보고자 합니다.1. 빅데이터란? 교과서적으로 보면 빅데이터는 "기존 데이터베이스 관리 도구로 처리하기 어려울 정도로 크고 다양한 데이터"를 의미합니다. 흔히 3V(Volume, Variety, Velocity)라는 특징으로 설명되죠.Volume(규모): 데이터의 크기가 엄청나다! (예: 하루에 수억 건의 검색이 발생하는 구글)Variety(.. 빅데이터 엔지니어로 14년, 삽질과 깨달음의 기록 데이터는 세상을 움직이는 연료다. 하지만 이 연료를 다루는 과정은 생각보다 복잡하고, 시행착오도 많았다. 나는 14년간 빅데이터 엔지니어로 일하면서 수많은 삽질을 겪었고, 그 속에서 중요한 교훈을 얻었다. 이 블로그를 시작한 이유도 바로 그것이다. 내가 겪은 시행착오와 깨달음을 기록으로 남기며, 비슷한 길을 걷는 사람들이 더 나은 선택을 할 수 있도록 돕고 싶다.정보는 나눌수록 더 큰 가치가 생긴다고 믿는다. 1. "빅데이터"는 만능이 아니다처음 빅데이터를 접했을 때, 나는 단순히 데이터가 많으면 좋은 줄 알았다. 하지만 현실은 달랐다. 아무리 많은 데이터를 가져와도, 쓰레기 데이터(Garbage In, Garbage Out) 면 아무 의미가 없었다. 중요한 것은 어떤 데이터를 어떻게 가공하고 활용할 것.. 이전 1 다음
