OpenAI 그렉 브록만이 말하는 AI 엔지니어

오늘은 OpenAI의 공동 설립자이자 전 CTO인 그렉 브록만(Greg Brockman)이 직접 들려주는 'AI 엔지니어'에 대한 이야기를 소개해 드리려고 합니다. 지난 6월 샌프란시스코에서 열린 AI Engineer World Fair 2025에서 테크 뉴스레터 Latent.space와 AI Engineer Summit을 운영하는 Shawn Wang, 일명 swyx(스윅스swicks로 발음)와 진행한 대담인데요.

8월에 지난번에도 소개드린 적 있는 유튜브 채널 AI Engineer에 ‘define AI Engineer’라는 제목으로 올라왔습니다.

AI 엔지니어 그 자체인 그렉 브록만이 AI 엔지니어가 된 과정과 핵심 역량, 앞으로의 역할 등을 총망라한 대담인데요. 후반부에는 엔비디아의 젠슨 황(Jensen Huang)도 미리 녹화된 영상으로 등장해 그렉 브록만에게 두 가지 질문을 던지기도 했습니다. 단순히 기술적인 지식을 넘어, AI 엔지니어가 갖춰야 할 자세와 철학, 그리고 앞으로의 역할 변화에 대한 통찰이 있어서 정리해봤습니다. 지난번에 AI 엔지니어에 대한 글이 많은 분의 관심을 받았는데요. 이번 글도 도움이 되리라 생각합니다.

1. 코딩과의 첫 만남: 수학자 지망생에서 '빌더'로

그렉 브록만은 어릴 적 스스로를 수학자로 생각했다고 합니다. 갈루아(Galois)나 가우스(Gauss) 같은 위대한 수학자들처럼 100년, 200년, 300년의 시간 지평을 바라보는 추상적인 학문에 매료되어 있었죠. 하지만 고등학교 졸업 후 직접 쓴 화학 교과서를 친구에게 보여줬을 때, "아무도 출판해주지 않을 테니 직접 웹사이트를 만들어 보라"는 조언을 듣게 됩니다.

이것이 그의 삶을 바꾼 전환점이었습니다. 그는 무료 온라인 교육 웹사이트 W3 Schools의 PHP 튜토리얼을 따라 웹사이트를 만들며 코딩의 세계에 발을 들였다는데요. 첫 작품으로 '테이블 정렬 위젯'을 만들었을 때 "마법 같았다"고 회상합니다. 수학이 문제를 깊이 고민하고 난해한 증명으로 기록하여 소수의 사람만이 이해하는 것과 달리, 프로그래밍은 아이디어를 현실로 구현해 모두가 그 혜택을 누릴 수 있게 한다는 점에 매료된 것이죠. 그는 이 순간 "100년의 시간 지평은 잊고, 나는 그저 무언가를 만들고 싶다"고 결심했다고 합니다. 바로 '빌더(Builder)'로서의 그의 여정이 시작된 순간입니다.

2. 스트라이프(Stripe)에서의 경험

그렉의 '빌더' 정신은 학업 중 스트라이프(Stripe)에 합류하게 된 계기에서도 잘 드러납니다. 그는 하버드와 MIT를 거쳤지만, 결국 스트라이프에 조인하기 위해 중퇴를 결정했습니다. 당시 3명에 불과했던 스트라이프에서 첫 CTO가 되어 250명 규모의 회사로 성장하는 과정을 함께했습니다. 그는 스트라이프의 공동창업자 중 하나인 패트릭 콜리슨Patrick Collison을 만났을 때를 이렇게 회상합니다.

"늦은 밤이었고 폭풍우가 치고 있었는데, 도착해서 그냥 코드에 대해 이야기하기 시작했습니다. 바로 '이런 사람과 함께 일하고 싶었다'는 순간이었어요."

그는 스트라이프 초창기의 가장 큰 특징 중 하나로 '상식적인 제약을 뛰어넘는 방식'을 꼽습니다. 대표적인 예시가 웰스파고(Wells Fargo)와의 결제 백엔드 통합 프로젝트였습니다. 통상 9개월이 걸린다는 이 작업을 스트라이프 팀은 24시간 만에 해결해냈습니다. 그는 이를 "대학 숙제처럼 다루었다"고 표현했는데요. 더 이상 적용되지 않거나 특정 상황에 맞지 않는 제약 조건 때문에 발생하는 비효율성, 즉 ‘불필요한 오버헤드’를 찾아내는 것이 중요하다고 강조합니다.

그는 이를 첫 번째 원칙 사고(First Principles)이라고 하며, 스트라이프에서 CTO로 일하며 배운 사고방식이라고 합니다. 첫 번째 사고 원칙은 “원래 그렇게 해왔으니까” 라는 이유로 받아들여지는 관행이나 제약에 대해 근본적으로 질문하고, 유효하지 않은 제약 때문에 생기는 ‘오버헤드’를 찾아내 없애는 것입니다. 이는 문제의 본질에 접근하는 태도이기도 합니다. 그는 이같은 사고방식이 AI 시대에 생산성을 급격히 끌어올리는 데 더욱 중요해졌다고 덧붙였습니다.

그렉은 또한 '독립적인 학습'이 자신의 성장에 핵심적인 부분이었다고 말합니다. 6학년 때 아버지에게 대수를 배우고, 중학교에서 고등학교 수학 과정을 온라인으로 3년치를 1년 만에 마치는 등 스스로 열정을 가지고 깊이 파고드는 경험을 통해 프로그래밍을 배우고 머신러닝을 독학했다고 합니다. 그는 "만약 탐험할 기회가 있고 열정이 있다면, 그저 깊이 파고들라"고 조언하며, 때로는 지루할 수 있지만 그 허들을 넘어서면 가치 있는 보상을 얻을 수 있다고 강조했습니다.

3. AI의 세계로 간 그렉 브록먼

Stripe에서의 성공적인 경험 후, 그렉은 새로운 도전을 찾고 있었습니다. 2013-2014년경 해커뉴스에서 딥러닝 관련 포스트가 매일 올라오는 것을 보며 호기심을 갖기 시작했습니다. "딥러닝이 뭐지?"라는 궁금증으로 시작된 여정이었죠.

이 분야에서 아는 사람 한 명을 통해 더 많은 사람들을 소개받으면서 놀라운 발견을 했습니다. 계속 소개받는 사람들이 대학 시절 가장 똑똑했던 친구들이었던 것입니다. "흥미롭네, 이 모든 사람들이 이 분야로 왔다는 건 뭔가 진짜 일이 벌어지고 있다는 뜻이구나"라고 깨달았다고요. 사람들이 컴퓨터가 이전에는 할 수 없었던 새로운 일들을 실제로 시스템이 수행하도록 만들고 있다는 것을 알게 되었다고 하니다.

하지만 AI 회사를 시작하고 싶어도 어떻게 기여할지, 자신의 스킬이 어떻게 유용할지 알지 못했죠. 그래서 뉴욕에서 직접 GPU 리그를 조립해서 Kaggle 대회에 참가해보기로 했습니다. 뉴에그(Newegg)에서 Titan X 카드들을 구매해서 물리적으로 기계를 조립했는데, 전원을 켰을 때 모든 초록색 불빛과 팬이 돌아가는 것을 보며 "이것이야말로 컴퓨터가 되어야 할 모습이다"라고 생각했다고도 해요.

그러다 샘 알트먼 등과 함께 오픈AI를 설립하게 되죠. 그는 AGI의 가능성에 회의적이던 시기도 있었만 앨런 튜링(Alan Turing)의 1950년 논문 "Computing Machinery and Intelligence"를 읽고 큰 영감을 받게 됩니다. ‘튜링 테스트’가 등장하는 논문이고 많은 사람들이 그 튜링 테스트에만 주목했는데요. 그렉이 주목한 것은 튜링이 “모든 규칙을 적어내릴 수는 없지만, 인간 아이처럼 학습하는 아이 기계를 만들어서 보상과 처벌을 적용하면 테스트를 통과할 수 있다”고 한 부분이었습니다.

이 아이디어는 그렉에게 프로그래머가 모든 규칙을 이해해야 하는 기존의 방식과 달리, 기계가 프로그래머 자신도 이해할 수 없는 문제를 이해하고 해결할 수 있다는 점에서 "근본적"이라고 느껴졌습니다. 2012년 AlexNet이 ImageNet에서 40년간의 컴퓨터 비전 연구를 뛰어넘는 성과를 보였을 때, 그렉은 이것이 바로 튜링이 말한 그 기술이라고 확신했습니다. 딥러닝이 점차 기계번역, NLP, 다른 모든 영역에서 최고 성능을 보이기 시작하면서 다양한 분야 간 경계가 무너지는 것을 보았죠.

그렉은 신경망 자체가 새로운 아이디어가 아니라 1943년부터 존재했던 개념임을 지적합니다. 그의 관점에서 지난 70년간의 컴퓨팅 산업 전체가 결국 인간을 도울 수 있는 기계, 인간이 풀 수 없는 새로운 문제를 해결하는 기계, 어셈블리 언어를 배우는 대신 사람처럼 상호작용할 수 있는 기계를 만드는 것을 목표로 해왔다는 거죠. 이제 모든 요소들이 정렬되었으니 "이제 우리는 그저 만들어야 한다(we just need to build)"는 것이 그의 철학입니다.

4. AI 엔지니어에게 중요한 것

2022년, 그렉이 쓴 "지금은 ML 엔지니어가 될 때(It’s time to become an ML engineer"라는 글은 많은 반향을 불러일으켰습니다. 그는 이 글에서 "뛰어난 엔지니어는 뛰어난 연구자들과 같은 수준으로 미래 발전에 기여할 수 있다"고 강조했는데요. 지금도 여전히 이 말이 유효하다고 합니다.

<출처: 그렉 브록만 블로그 "지금은 ML 엔지니어가 될 때(It’s time to become an ML engineer">

그렉은 연구와 엔지니어링의 협력이 왜 중요한지 AlexNet 사례로 설명합니다. AlexNet은 결국 Alexi(엔지니어)가 GPU에서 빠른 컨볼루션 커널을 구현하고, Ilia(연구자)가 이를 ImageNet에 적용하자고 제안했을 때 탄생했거든요. 아이디어와 엔지니어링이 만날 때 마법이 일어난다는 거죠.

OpenAI도 설립 초기부터 엔지니어링과 연구가 동등하게 가치 있으며, 파트너로서 협력해야 한다는 신념을 가지고 있었습니다. 지금은 규모가 훨씬 커져서 10만 개의 GPU로 시스템을 확장하고 복잡한 RL(강화학습) 시스템을 오케스트레이션하는 등, 아이디어만으로는 부족하고 엔지니어링이 뒷받침되어야 아이디어가 현실이 될 수 있어요.

하지만 처음부터 순탄했던 건 아닙니다. 초기 OpenAI에서는 엔지니어링 배경과 연구 배경을 가진 사람들이 시스템 제약에 대해 매우 다르게 생각해서 마찰이 발생하기도 했어요. 엔지니어는 "인터페이스에 합의했으면 뒤에 뭐가 있든 신경 쓰지 마"라고 하지만, 연구자는 "시스템 어디서든 버그가 있으면 성능 저하로만 나타나고 예외나 오류 표시가 없어서 모든 인터페이스 뒤를 다 이해해야 한다"고 생각했거든요.

그렉은 OpenAI에 합류하는 엔지니어들에게 가장 중요하게 강조하는 것이 바로 '기술적 겸손(Technical Humility)'이라고 말합니다. 전통적인 웹 스타트업과는 완전히 다른 환경이므로, 기존의 직관이 언제 적용되고 언제 버려야 할지 파악하기 매우 어렵다는 거죠.

따라서 새로운 환경에 깊이 경청하고, '내가 무언가를 놓치고 있다'고 가정하며 본질적인 '이유(why)'를 깊이 이해하려 노력해야 한다고 조언합니다. 일단 이해하고 나면 아키텍처나 추상화를 얼마든지 변경해도 좋지만, 그 전까지는 겸손한 태도로 배우는 것이 핵심이라는 거예요.

5. AI 시대의 코딩 방식 변화: 코덱스(Codex)와 '바이브 코딩'

그렉은 바이브코딩과 코덱스에 대해서도 이야기했습니다.

GPT-4 출시 데모에서 손으로 그린 스케치로 농담 웹사이트를 만드는 장면, 아시나요? 그렉의 글씨가 너무 알아볼 수 없어서 부인이 다시 그려야 했다는 재미있는 뒷이야기도 있었는데요. 이때 세상이 처음 본 "바이브 코딩Vibe Coding"에 대해 그렉은 "권한 부여 메커니즘이자 미래 코딩의 초기 형태"라고 설명합니다.

현재의 대화형 루프 방식은 앞으로 에이전트 중심으로 발전할 거라고 전망하는데요. 1개, 10개를 넘어 수만 개의 에이전트가 클라우드에서 동료처럼 작동하면서, 우리가 잠든 사이에도 계속 일하게 될 거라는 거죠. "당신의 노트북이 닫혀 있어도 계속 작업해야 합니다"라는 그의 말이 인상적이었어요.

또 그렉은 코덱스(Codex)를 통해 정말 흥미로운 점을 발견했다고 합니다. 바로 코드베이스를 구조화하는 방식이 Codex에서 얼마나 많은 것을 얻을 수 있는지를 결정한다는 것이죠. 지금까지는 인간 개발자의 강점에 맞춰 코드를 짰다면, 이제는 모델의 강점에 맞춰야 한다는 거예요.

모델의 특성을 보면

엄청나게 다양한 일들을 처리할 수 있지만
인간처럼 깊은 개념적 연결은 잘 못해요

그래서 권장하는 방식은

작고 모듈화된 코드 작성 - 작고 독립적인 모듈이 유리해요
철저한 테스트와 빠른 실행 - 모델이 테스트를 수백, 수천 번 돌리니까 테스트가 정말 중요해져요
아키텍처는 인간이, 세부구현은 모델이 - 큰 그림은 우리가 그리고, 디테일은 모델에게 맡기는 거죠

그렉은 "이건 사실 좋은 소프트웨어 엔지니어링 관행과 비슷”하다고 합니다. 다만 사람은 머릿속에 더 많은 개념을 담을 수 있어서 종종 테스트 작성 같은 걸 대충 넘어가지만, 모델은 그 테스트를 수백, 수천 번은 더 실행한다는 차이가 있습니다.

결론적으로 "더 주니어한 개발자를 위한 코드베이스를 구축해야 모델들로부터 최대한 얻을 수 있다"는 것입니다.

성과도 인상적입니다. OpenAI 내부에서는 낮은 두 자릿수 퍼센트의 PR이 코덱스로 완전히 작성되고 있고, 외부적으로는 하루에 24,000개의 PR이 공개 GitHub 저장소에 병합되고 있다고 하네요.

더불어 GPT-6를 스케일링하는 데 어려움에 대해서도 언급했는데요. 한때 Transformer를 스케일링하기만 하면 되던 시기가 있었지만, 이제는 컴퓨팅과 데이터를 충분히 밀어붙였기 때문에 "기초 연구가 다시 돌아왔다"고 말했습니다. 쉽게 말해 양보다 질이 중요하다는 건데요. 이제 새로운 알고리즘, 즉 새로운 학습 방법이나 모델 구조를 개발하는 것이 더 중요해진 시점이라는 것입니다.

6. 엔비디아 젠슨 황의 질문 : 미래 AI 인프라와 미래 워크플로우

영상 후반부에는 엔비디아 CEO 젠슨 황이 미리 녹화된 영상으로 등장해 그렉에게 두 가지 질문을 던졌습니다.

미래 AI 인프라는 어떤 모습일까?

첫 번째 질문은 AI 인프라의 미래에 대한 것이었어요. 장기간 연산이 필요한 딥 리서치 에이전트(많은 메모리와 큰 컨텍스트 필요)와 실시간 응답이 필수인 멀티모달 컴패니언 AI(R2-D2 같은 저지연 AI), 이렇게 완전히 다른 두 가지 워크로드를 어떻게 동시에 지원할 것인가하는 문제였죠.

그렉은 "정말 어려운 문제"라고 인정하면서도, 세상을 변혁할 AGI를 만든다면 "인류가 만들어낼 가장 큰 물리적 기계가 필요할 수 있다"고 답했습니다.

구체적인 해법으로는 두 종류의 가속기(컴퓨팅 최적화 vs 지연시간 최적화)를 제시했지만, 비율 예측이 어렵고 균형이 틀어지면 자원이 낭비될 수 있다는 현실적 문제도 언급했어요. 다행히 엔지니어들은 창의적이라서 Mixture of Experts 같은 방식으로 불균형한 자원도 활용법을 찾아낸다고 하더라고요.

AI 엔지니어의 미래 워크플로우

두 번째 질문은 OpenAI의 AGI 위에 도메인 특화 에이전트를 구축할 AI 엔지니어들의 개발 워크플로우 변화에 대한 것이었습니다.

그렉은 "모든 가능성이 열려 있다"면서도, 증거는 "다양한 모델들이 공존하는" 방향으로 향하고 있다고 봤어요. 서로 다른 모델들이 협력하는 방식이 엄청난 기회를 열어줄 것이라는 거죠.

무엇보다 인상적이었던 건 그의 비전이었습니다. 미래 경제가 AI에 의해 근본적으로 움직일 것이며, 이는 단순히 인간 대 AI 비율의 문제가 아니라 "10배 더 많은 활동, 10배 더 많은 경제적 산출, 모든 사람에게 10배 더 많은 혜택"을 만드는 것이 목표라고 했어요. 헬스케어, 교육처럼 도메인 전문성과 신중한 접근이 필요한 분야에서 특히 많은 기회가 생길 거라고 예측했습니다.

마무리하며: "그저 만들면 됩니다!"

그렉 브록만과의 대담에서 가장 인상깊었던 것은 그의 일관된 철학입니다. 수학자를 꿈꾸던 학생 시절부터 OpenAI의 CTO까지, 그는 항상 "Just build it"이라는 마음가짐을 유지해왔다고 합니다.

AI 엔지니어가 되려는 개발자들에게 그가 전하는 메시지는 명확합니다.

기술적 겸손을 가져라 - 새로운 환경에서는 기존 직관을 언제 적용하고 언제 내려놓아야 하는지 파악하라
첫 번째 원칙에서 생각하라 - 불필요한 제약을 찾아내고 과감히 뛰어넘어라
모델의 특성에 맞춰 코드를 구조화하라 - 작은 모듈, 철저한 테스트, 명확한 인터페이스
연구와 엔지니어링의 조화 - 아이디어만으론 부족하고, 엔지니어링만으론 빛을 볼 수 없다

무엇보다 중요한 것은, AI 발전이 인간을 대체하는 것이 아니라 "10배 더 많은 활동, 10배 더 많은 경제적 산출, 모든 사람에게 10배 더 많은 혜택"을 만드는 방향이라는 그의 비전입니다.

AI 엔지니어라는 직업이 단순히 기술적 스킬의 조합이 아니라, 인류의 미래를 설계하는 철학과 자세를 요구한다는 것을 다시 한 번 깨닫게 되는 대담이었습니다. 그렉 브록만의 "We just need to build" 정신이야말로 AI 시대를 헤쳐나갈 개발자들이 가져야 할 핵심 마인드셋이 아닐까 싶습니다.

아, 참고로 저도 이번에 알게 됐는데요. 요즘IT에서 전에 그렉 브록만의 블로그 글 <나는 어떻게 머신 러닝 전문가가 됐나 How I became a machine learning practitioner>를 소개했더라고요. 머신러닝 공부하고 싶은 개발자 분들께 도움 될 것 같아서 마지막으로 소개합니다.

저는 또 좋은 해외 콘텐츠 들고 돌아오겠습니다!