6 Engineers VS AI Coding Agent
코드 개발을 AI가 대체하는 미래와 현재의 거리
Posted by
Gaby Kim사이드 프로젝트를 진행할 때, 이제는 코드를 작성하는 시간보다 프롬프트를 작성하는 데 더 많은 시간을 할애하게 된다. 사이드 프로젝트에서는 보통 유명한 라이브러리나 기술 프레임워크(LangChain, Next.js 등)를 활용하는데, 이러한 기술을 학습한 대부분의 LLM provider들이 코드를 매우 훌륭하게 작성해준다.
계산기의 발명으로 우리가 더이상 복잡한 산수를 직접 하지 않듯이, 개인적으로 현재 내가 업으로 삼고 있는 개발의 형태가 완전히 대체되지 않더라도, 굉장히 큰 변화가 빠르게 다가오고 있다고 느낀다. 그렇다면, 코드 개발을 AI가 대체하는 미래와 현재의 거리는 어느 정도일까?
6 Engineers VS AI
Engineers
LLM Agent가 인간의 개발을 대체했을 때, 그 효율과 비용은 사람과 어떻게 다를지 간단한 시뮬레이션을 통해 확인해 보자.
한 달 반 안에 product release 를 목표로 6명의 스타트업 개발진이 구성되었다고 가정하자. 통계에 따르면, 소규모 프로젝트에서 1인당 하루에 개발 가능한 코드양은 넉넉히 잡아 125 LOC(Line of Code) 정도라고 한다.
McConnell measured productivity of 20 to 125 LOC per day for small projects (10,000 LOC) through to 1.5 to 25 LOC per day for large projects (10,000,000 LOC).
Product 코드양 = 125 LOC * 6 people * 20 days * 1.5 months = 22,500 LOC
AI Agent
이제 Product Release가 AI Coding Agent에 의해 대체되는 workflow를 그려보자
| Parameter | Value | Notes |
|---|---|---|
| Reasoning/Output Ratio | 3 | Reasoning Model을 사용하므로, 실제 사용될 code token 하나당 Reasoning Process에서 3개의 token이 사용된다 |
| Test/Code Ratio | 1.5 | Test Driven Development 방식으로 AI Agent가 개발을 진행하므로, Product LOC 당 1.5 Line of Testing Code가 생성된다 |
| Debugging Round/LOC | 3 | test code와 product code 모두 세 번의 debugging을 거쳐 finalize된다 |
| Tokens/LOC | 15 | 예: " int add(int a, int b): return a + b;"는 19토큰 (tiktokenizer 기준) |
| Input/Output Ratio | 1 | LLM의 입력과 출력 비율 |
위와 같은 가정을 했을 때, AI Agent가 22,500 LOC의 product delivery를 위해 필요한 token 개수는
Total Tokens = (Tokens/Loc) * (1 + input/output ratio + Reasoning/Output Ratio + Test/Code Ratio) * 22,500 * Debugging Round = 6,581,250
Claude은 대략 초당 50 개의 토큰을 생성하는 것으로 알려져 있으므로, 이를 생성하기에 필요한 시간은
6,581,250 / 50 / 60 / 60 ~= 36.5 hours
현재 코딩 벤치마크에서 가장 높은 성능을 보이는 Claude 3.7의 가격은 아래를 참고하여 입력과 출력 모두 $15/MTok으로 가정한다(Claude의 API 단가는 다른 LLM Provider에 비해 매우 비싼 편이다).
수치 비교
생교성 차이를 한 눈에 비교해보면
| Cost | Spent | |
|---|---|---|
| 6 engineers | 6 p * 1.5 m * 200만원 = 1800만원 | 1.5 months |
| AI Agent | $15 * 6.58 MTok = $98.7 ~= 15만원 | 36.5 hours |
이 시뮬레이션은 허점이 많지만, 현실적 반영 여부보다는 이미 기계가 인간보다 빠르고 높은 품질로 코드를 작성한다는 점(특히 단순 프로젝트에서)에 주목해야 한다고 생각한다.
생성형 AI의 생성 퀄리티는 입이 아프게도 계속 높아지고 있으며, Anthropic CEO의 말에 의하면 모델의 훈련 비용 또한 시간에 따라 배로 줄어들 거라고 말한다. 인간이 동물과 차별화 될 수 있었던 도구의 사용, “tool usage” 는 AI 관련 스타트업들이 너도 나도 개발하려고 치열하게 경쟁하고 있는 게 요즘이다.
이러한 AI 시대에 엔지니어로서 어떤 마음가짐을 가져야 할지 고민해 봤을 때, 아래와 같은 질문을 던지고 답을 찾아가는 능동적인 태도가 중요하다고 본다
- 어떤 (높은) 가치를 창출해야 할지? ↔ 어떠한 중요한 문제가 해결되어야 하는지?
- 같은 목표와 가치를 공유하는 사람은 누구인지?
- 그 가치를 창출하고 문제를 해결하는 과정에서:
- AI와 자동화를 통해 어떻게 목표에 빠르게 도달할 수 있을지?
- 이 과정에 특화된 AI 알고리즘이나 모델이 필요한 것은 아닌지?
마치며
금주에 약 10시간의 여가시간을 사이드 프로젝트에 할애하여 총 ~1200 LOC의 작업을 완료한 걸 보면, AI가 가져다주는 효율성의 증진은 언제나 고무적이다. 나의 20대에 AI의 눈부신 발전을 경험하고 있는 건 정말 큰 행운이며, 참 흥미로운 시대를 살아가고 있다고 느낀다. 다음 기회에는 내가 고민하는 문제와 그에 대한 해결책을 공유해보겠다