왜 어떤 개발자는 AI를 한번에 몇 시간씩 돌리고, 나는 5분이면 끝날까?

왜 어떤 개발자는 AI를 한번에 몇 시간씩 돌리고, 나는 5분이면 끝날까?

어제 회사에서 프론트엔드 헤드인 Sojin Park 님이 이런 말을 했다.

“AI를 잘 쓰시는 분은 토큰을 수십 수백배 쓰더라고요. AI가 한번에 몇 시간씩 돌아가요. 그걸 또 병렬로 돌려요. 진짜 차이가 크더라고요”

나도 궁금했다. 그 사람들은 뭐가 다른 걸까?

2달 전쯤 요즘 테크 씬의 아이돌이자, 클로드 코드를 만든 보리스 체니가 말했다. 자기가 PR을 수백 개씩 올리는 비결은 랄프 위그넘이라고.

따라해봤다. 결과는? 난 그 속도가 안 나왔다.

일단 그만큼 돌아갈 양의 스펙을 만드는 게 어렵다. 대충 “X 만들어줘” 하면 내가 원하는 수준이 아닐 게 뻔하니까. 뭘 만들어야 하는지 구체적으로 쪼개서 플랜을 짰다. 몇 시간이 걸렸다.

랄프가 돌아 구현하고 나서도 결함이 많았다. 90점짜리 퀄리티. 다른 코드베이스 패턴과 불일치. 불필요한 캐싱. Replace를 써야 하는데 Push.

토이 프로젝트였다면 넘어갔다. 근데 이걸로 벌어먹고 사는 사람이 그럴 수는 없다. 하나하나 살펴보고 고치는 데 시간이 더 들었다.

그 경험으로 깨달았다. 랄프가 중요한 게 아니었다. 결국 이 두 가지였다.

첫째, ‘무엇이 되어야 하는지’를 얼마나 구체적으로 정의했는가. 둘째, ‘됐다/안됐다’를 AI가 스스로 검증할 수 있는가.

특히 둘째. 검증 시스템 차이가 크다.

예를 들어, git commit 메시지 컨벤션이 잘못됐다고 하자. AI는 뭐가 잘못인지 모른다. 기준이 없으니까. 이때 lint rule을 설정한다. 커밋할 때마다 검증하고, 기준 이하를 튕겨낸다면? AI는 화들짝 놀라서 수정한다. 내가 개입할 필요도 없이 피드백이 되먹여진다.

AI에게 채점 도구와 채점 기준을 줘야 한다.

쉽지는 않다. 모델 지능이 높아진다고 되는 문제도 아니다.

Lint, Test, 리뷰에 스타일과 스펙이 반영되어야 한다. 트레이드오프를 결정하기 위한 맥락이 있어야 한다. 디자인부터 배포 로그까지, Agent가 다 볼 수 있어야 한다.

진짜 할 일이 많다.

그러나 만약 잘 만들면 놀라운 일이 일어난다. 목표 점수를 통과할 때까지 에이전트는 멈추지 않는다. 계속 피드백 받고 재시도하면서, 창의적인 방법으로 점수를 높여낸다. 채점 도구도 기준도 없을 때 적당히 만들어온 결과물과는 차원이 다르다.

또 한명의 아이돌, 안드레이 카파시도 이렇게 말했다. “LLMs are exceptionally good at looping until they meet specific goals and this is where most of the ‘feel the AGI’ magic is to be found.”

스스로 피드백을 되먹일 수 있는 채점 시스템. 그게 루프와 마법의 비결이다.

그래서 요즘 쏟아지는 팁 속에서 필요한 것만 흡수해서, 내 채점 시스템을 촘촘하게 만드는 데 집중한다.

구체적으로 뭘 하냐면. 일단 계속 AI와 같이 작업한다. 결과물이 내 기대의 Gap을 찾는다. “이번 세션에서 내 기대와 네 결과물이 달랐던 부분 정리해줘.” 그리고 읽으면서 생각한다.

‘이 Gap을 다음번엔 자동으로 채점할 수 있을까?’ ‘어떤 도구로? 어떤 기준으로?’

일부러 시간을 더 써서 채점 시스템을 만들어둔다.

이걸 반복하면 검증 시스템이 촘촘해지고, AI가 더 많은 도구를 쓸 수 있게 된다. 곧 토큰을 10배, 100배 태울 수 있는 구조가 되지 않을까?

요즘 이 주제를 거의 매일 생각한다. 회사에서 YeongPyo Ku 님, Hyesung Oh 님과 프로젝트까지 시작했다. AI 코드 퀄리티를 검증하는 하네스를 만들고 있다. 개발자의 워크플로우를 전혀 바꾸지 않고 퀄리티를 올려보려고 한다. 뭐가 나올지 나도 궁금하다.