AI가 코드를 짜주는 시대, 데이터 엔지니어의 일은 어떻게 바뀌었나

데이터 엔지니어로 일을 시작했을 때와 지금을 비교하면 업무환경이 정말 많이 달라졌다.

Hadoop이 한창이던 시기도 있었고, Spark와 클라우드가 빠르게 자리 잡았고, 이제는 AI가 일하는 방식 자체를 바꾸고 있다.

특히 생성형 AI가 등장하고 나서 가장 먼저 체감한 변화는 단순했다.

예전에는 직접 찾아보고 만들던 것을 이제는 AI에게 먼저 물어본다.

SQL도 그렇고 Python 코드도 그렇다.

예전 같으면 문법이 기억나지 않아서 검색하고, Stack Overflow를 뒤지고, 공식문서를 찾아보면서 하나씩 만들었을 코드도 요즘은 대략적인 요구사항만 설명하면 AI가 초안을 만들어준다.

처음에는 꽤 신기했다.

그런데 계속 사용하다 보니 오히려 다른 생각이 들기 시작했다.

코드를 만드는 일은 쉬워지고 있는데, 데이터를 다루는 일 자체가 쉬워진 것은 아니었다.

---

1. 확실히 코드를 만드는 시간은 줄었다

데이터 엔지니어 업무에는 반복적인 코드가 꽤 많다.

테이블을 만들고, 데이터를 변환하고, 특정 조건으로 집계하고, 비슷한 형태의 SQL을 계속 작성한다.

예전에는 이런 코드도 하나씩 직접 작성했다.

지금은 “이 테이블 두 개를 이런 조건으로 조인해서 최근 30일 기준으로 집계해줘.” 정도로 설명하면 AI가 상당히 그럴듯한 SQL을 만들어준다.

Python도 마찬가지다.

파일을 읽고, 데이터를 변환하고, API를 호출하거나 간단한 검증 코드를 만드는 정도는 굉장히 빨라졌다.

물론 그대로 복사해서 운영환경에 넣을 수 있다는 뜻은 아니다.

그래도 빈 화면에서 처음부터 만드는 시간이 크게 줄어든 것은 분명하다.

개인적으로는 AI가 개발자를 완전히 대신한다기보다 굉장히 빠른 초안 작성자가 한 명 생긴 느낌에 더 가깝다.

---

2. 예전에는 ‘어떻게 만들지’를 고민했다면 지금은 ‘무엇을 만들지’가 더 중요해졌다

AI가 코드 작성을 도와주면서 재미있는 변화가 생겼다.

예전에는 “이걸 SQL로 어떻게 구현하지?”를 고민하는 시간이 길었다면,

요즘은 그보다 먼저 “내가 원하는 결과가 정확히 무엇이지?” 를 잘 설명해야 한다.

요구사항 자체가 애매하면 AI가 아무리 코드를 잘 만들어도 결과는 애매하다.

예를 들어 “매출을 집계해줘.” 라고 하면 간단해 보이지만 실제 업무에서는 그렇지 않다.

취소된 주문을 포함할 것인지, 결제일 기준인지 주문일 기준인지, 부가세를 포함할 것인지, 환불은 어떻게 처리할 것인지.

이런 기준은 AI가 알아서 결정해줄 수 있는 문제가 아니다.

결국 데이터를 오래 다루면서 중요하다고 생각했던 비즈니스 이해가 AI 시대에는 오히려 더 중요해진 것 같다.

---

3. AI가 만든 SQL도 결국 누군가는 검증해야 한다

AI를 사용하다 보면 그럴듯하게 틀리는 경우를 꽤 자주 만난다.

문법은 맞는데 조인 조건이 잘못되기도 하고,
중복 데이터 때문에 결과가 부풀려지기도 하고,
존재하지 않는 컬럼이나 함수를 자연스럽게 사용하기도 한다.

특히 데이터 업무에서 이런 오류는 무섭다.

프로그램이 아예 에러를 내면 오히려 찾기 쉽다.

문제는 정상적으로 실행됐는데 숫자가 틀린 경우다.

쿼리는 성공했고 결과도 그럴듯하다.

그런데 실제 매출은 100억원인데 결과가 130억원으로 나왔다면?

AI는 자신 있게 답을 만들어줬지만 결국 책임은 AI가 지지 않는다.

그래서 앞으로는 코드를 직접 타이핑하는 능력보다

결과가 이상하다는 것을 알아차리는 능력

이 더 중요해질 수도 있겠다는 생각이 든다.

---

4. 데이터 품질 문제는 AI가 와도 그대로 남아 있다

AI가 등장하면 데이터 업무도 엄청나게 편해질 것 같았다.

그런데 실제로 데이터 현장에서 계속 문제가 되는 것들은 별로 달라지지 않았다.

원천 데이터가 늦게 들어오고,
같은 값인데 시스템마다 기준이 다르고,
누락된 데이터가 생기고,
어느 날 갑자기 데이터 포맷이 바뀐다.

AI가 아무리 좋은 코드를 만들어줘도 원본 데이터 자체가 잘못돼 있다면 좋은 결과가 나올 수 없다.

오래전부터 데이터 업계에서 쓰던 말이 있다.

Garbage In, Garbage Out.

쓰레기를 넣으면 쓰레기가 나온다.

AI가 발전할수록 오히려 이 말이 더 중요하게 느껴진다.

좋은 모델과 좋은 코드를 가지고 있어도 데이터가 엉망이면 결국 결과도 엉망이다.

---

5. 오히려 경험이 있는 사람이 AI를 더 잘 쓸 수도 있다

처음에는 AI가 생기면 경력이 많은 개발자보다 젊은 개발자가 더 유리하지 않을까 생각하기도 했다.

새로운 도구를 빠르게 익히는 것은 아무래도 젊은 사람들이 더 빠를 수 있기 때문이다.

그런데 사용하다 보니 꼭 그렇지만도 않은 것 같다.

AI가 코드를 만들어줘도 이 구조가 운영환경에서 문제가 없을지, 데이터가 커졌을 때 버틸지,
장애가 나면 어디부터 확인해야 할지, 이 방식이 몇 년 뒤에도 유지될 수 있을지 판단하는 것은 또 다른 문제다.

이런 것은 책에서만 배우기 어렵다.

시스템이 실제로 깨져보고, 장애를 겪어보고, 이상한 요구사항을 받아보고, 운영팀에서 욕도 먹어봐야 조금씩 생기는 감각이다.

 

결국 AI가 경험을 없애준다기보다는

경험 있는 사람이 반복작업에 쓰던 시간을 줄여주는 도구

가 될 가능성이 더 커 보인다.

---

6. 대신 단순한 개발 업무의 가치는 분명히 줄어들 것 같다

그렇다고 아무것도 바뀌지 않을 것 같다는 뜻은 아니다.

예전에는 간단한 SQL 하나를 작성하는 것 자체도 어느 정도 기술이었다.

지금은 웬만한 SQL은 AI에게 물어보면 몇 초 안에 나온다.

단순 데이터 변환이나 반복적인 코드 작성 역시 점점 자동화될 가능성이 높다.

그래서 “나는 SQL을 잘 짠다.”, “나는 Python 코드를 잘 만든다.”

만으로 경쟁력을 유지하기는 점점 어려워질 수도 있다.

대신 그 위의 능력이 중요해질 것 같다.

문제를 정의하고, 필요한 데이터를 찾고, 데이터가 믿을 만한지 판단하고, 시스템 전체 구조를 이해하고, AI가 만든 결과를 검증하는 능력.

결국 코드를 만드는 사람에서 문제를 해결하는 사람으로 역할이 조금씩 이동하고 있는 것 같다.

---

7. 데이터 엔지니어는 없어질까?

이 질문은 요즘 개발자라면 한 번쯤 생각해봤을 것 같다.

나도 정확한 미래는 모르겠다.

분명 지금 데이터 엔지니어가 하고 있는 일 중 일부는 AI가 대신하게 될 것이다.

어쩌면 생각보다 빠를 수도 있다.

그런데 데이터를 사용하는 회사가 존재하는 이상

데이터가 어디에서 왔는지,
왜 숫자가 다른지,
왜 어제 배치가 실패했는지,
어떤 데이터가 믿을 만한지,
새로운 시스템과 기존 시스템을 어떻게 연결할지

같은 문제는 계속 생길 것 같다.

그리고 이런 문제는 코드 한 줄 만들어주는 것보다 훨씬 복잡하다.

그래서 지금으로서는 데이터 엔지니어라는 직업이 사라진다기보다 일하는 방법과 요구되는 능력이 바뀌는 과정에 더 가깝다고 생각한다.

---

8. 15년 동안 일을 하면서 또 하나 배운 셈이다

처음 일을 시작했을 때 사용하던 기술 중에는 지금 거의 쓰지 않는 것도 많다.

당시에는 꼭 알아야 할 것처럼 보였던 기술이 몇 년 뒤 사라진 경우도 있었고, 전혀 예상하지 못했던 기술이 업계의 중심이 되기도 했다.

AI도 그 변화 중 하나일 것이다.

예전에는 새로운 기술이 나오면 “이걸 또 언제 공부하지?” 라는 생각부터 들었다.

요즘은 조금 다르게 생각한다.

기술은 어차피 계속 바뀐다.

중요한 것은 모든 기술을 외우는 게 아니라 새로운 도구가 나왔을 때 내 일을 어떻게 바꿀 수 있는지 이해하는 것 아닐까 싶다.

AI에게 코드를 물어보는 것은 이제 별로 신기하지 않다.

오히려 요즘 내가 더 많이 고민하는 것은 이것이다.

“코드를 만드는 일이 이렇게 쉬워진다면, 나는 앞으로 무엇을 더 잘해야 할까?”

아직 명확한 답은 모르겠다.

다만 데이터 엔지니어로 오래 일하면서 계속 느꼈던 것처럼, 결국 중요한 것은 기술 그 자체보다 데이터를 가지고 실제 문제를 해결하는 능력이 아닐까 생각한다.

그리고 AI가 발전할수록 그 차이가 더 크게 드러날지도 모르겠다.