받은글)
Dropbox의 AI 부사장 Morgan Brown
1/ 먼저 배경부터 설명하겠습니다. 현재 최첨단 AI 모델을 훈련시키는 비용은 엄청나게 비쌉니다.
OpenAI, Anthropic 같은 회사들은 계산에만 1억 달러 이상을 쓰며, $4만짜리 GPU 수천 대가 필요한 대규모 데이터 센터를 운영합니다. 마치 공장을 운영하기 위해 발전소 전체가 필요한 상황과 같습니다.
2/ 그런데 DeepSeek이 나타나서 이렇게 말했습니다.
“LOL, 우리라면 이걸 500만 달러로 할 수 있을걸?”
그리고 말로만 한 것이 아니라 실제로 해냈습니다.
그들의 모델은 GPT-4와 Claude를 많은 작업에서 능가하거나 대등합니다. AI 업계는 (요즘 10대들이 말하듯) ‘충격’을 받았습니다.
3/ 어떻게 가능했을까요?
그들은 모든 것을 처음부터 다시 생각했습니다.
전통적인 AI는 마치 모든 숫자를 소수점 32자리까지 기록하는 것과 같습니다.
DeepSeek은 “8자리로만 기록하면 어떨까? 충분히 정확하잖아!”라고 접근했고, 결과적으로 메모리 사용량이 75% 감소했습니다.
4/ 그리고 그들의 “멀티 토큰” 시스템도 주목할 만합니다.
일반적인 AI는 초등학생이 읽듯이 “The… cat… sat…”처럼 읽습니다.
반면, DeepSeek은 문장 전체를 한 번에 읽습니다. 결과적으로 2배 더 빠르고 90% 수준의 정확도를 자랑합니다.
수십억 개의 단어를 처리할 때, 이런 효율성은 매우 중요합니다.
5/ 하지만 진짜 기발한 점은 “전문가 시스템”을 구축했다는 것입니다.
한 거대한 AI가 모든 것을 다 알도록 만드는 대신(예: 한 사람이 의사, 변호사, 엔지니어 역할을 모두 하는 것처럼), DeepSeek은 필요한 경우에만 전문가들을 호출하도록 설계했습니다.
6/ 기존 모델은 1.8조 개의 파라미터가 항상 활성화되어야 합니다.
DeepSeek은 6710억 개의 파라미터 중 단지 370억 개만 활성화됩니다.
마치 큰 팀을 운영하되 필요한 전문가만 호출하는 것과 같습니다.
7/ 결과는 놀랍습니다:
• 훈련 비용: 1억 달러 → 500만 달러
• 필요한 GPU 수: 100,000대 → 2,000대
• API 비용: 95% 절감
• 데이터 센터 하드웨어 대신 게이밍 GPU에서도 실행 가능
8/ “그런데,” 누군가 말할 수 있습니다. “분명 단점이 있겠지!”
놀라운 점은, 모든 것이 오픈 소스라는 것입니다.
누구나 그들의 작업을 검증할 수 있습니다. 코드는 공개되어 있고, 기술 논문은 모든 과정을 설명합니다.
마법이 아니라, 단순히 매우 영리한 엔지니어링입니다.
9/ 왜 중요한가요?
이로 인해 “대형 기술 기업만이 AI를 다룰 수 있다”는 기존의 모델이 깨졌습니다.
이제 수십억 달러 규모의 데이터 센터가 필요하지 않습니다.
좋은 GPU 몇 대만 있으면 됩니다.
10/ Nvidia에게는 두려운 이야기입니다.
그들의 비즈니스 모델은 초고가 GPU를 90% 마진으로 판매하는 데 기반을 두고 있습니다.
하지만 모두가 일반 게이밍 GPU로 AI를 돌릴 수 있게 된다면… 문제는 명확합니다.
11/ 그리고 중요한 점은 DeepSeek이 이를 200명 이하의 팀으로 해냈다는 것입니다.
한편 Meta의 팀은 DeepSeek 전체 훈련 예산보다 더 많은 연봉을 받으며 작업을 하고 있지만, 그들의 모델은 DeepSeek만큼 좋지 않습니다.
12/ 이는 전형적인 파괴적 혁신의 이야기입니다.
기존 기업들은 기존 프로세스를 최적화하는 데 초점을 맞추는 반면, 파괴적인 혁신 기업들은 근본적인 접근 방식을 다시 생각합니다.
DeepSeek은 “더 많은 하드웨어를 투입하기보다 더 똑똑하게 접근하면 어떨까?”라고 물었습니다.
13/ 그 영향은 큽니다:
• AI 개발이 더 접근 가능해짐
• 경쟁이 급격히 증가
• 대형 기술 기업들의 “진입 장벽”이 작은 웅덩이처럼 보임
• 하드웨어 요구 사항(및 비용)이 급감
14/ 물론, OpenAI와 Anthropic 같은 대기업들이 가만히 있지는 않을 것입니다.
그들은 아마도 이미 이러한 혁신을 구현하고 있을 것입니다.
그러나 효율성의 램프는 이제 병 밖으로 나왔으며, “더 많은 GPU를 투입하자”라는 접근 방식으로 돌아갈 수는 없습니다.
15/ 마지막 생각:
이 순간은 우리가 나중에 변곡점으로 기억할 가능성이 높습니다.
마치 PC가 메인프레임을 덜 중요하게 만들거나, 클라우드 컴퓨팅이 모든 것을 바꿨던 것처럼요.
AI는 더 접근 가능하고, 훨씬 저렴해질 것입니다.
이 변화가 현재 플레이어들에게 어떤 영향을 미칠지는 속도의 문제일 뿐입니다.
Dropbox의 AI 부사장 Morgan Brown
1/ 먼저 배경부터 설명하겠습니다. 현재 최첨단 AI 모델을 훈련시키는 비용은 엄청나게 비쌉니다.
OpenAI, Anthropic 같은 회사들은 계산에만 1억 달러 이상을 쓰며, $4만짜리 GPU 수천 대가 필요한 대규모 데이터 센터를 운영합니다. 마치 공장을 운영하기 위해 발전소 전체가 필요한 상황과 같습니다.
2/ 그런데 DeepSeek이 나타나서 이렇게 말했습니다.
“LOL, 우리라면 이걸 500만 달러로 할 수 있을걸?”
그리고 말로만 한 것이 아니라 실제로 해냈습니다.
그들의 모델은 GPT-4와 Claude를 많은 작업에서 능가하거나 대등합니다. AI 업계는 (요즘 10대들이 말하듯) ‘충격’을 받았습니다.
3/ 어떻게 가능했을까요?
그들은 모든 것을 처음부터 다시 생각했습니다.
전통적인 AI는 마치 모든 숫자를 소수점 32자리까지 기록하는 것과 같습니다.
DeepSeek은 “8자리로만 기록하면 어떨까? 충분히 정확하잖아!”라고 접근했고, 결과적으로 메모리 사용량이 75% 감소했습니다.
4/ 그리고 그들의 “멀티 토큰” 시스템도 주목할 만합니다.
일반적인 AI는 초등학생이 읽듯이 “The… cat… sat…”처럼 읽습니다.
반면, DeepSeek은 문장 전체를 한 번에 읽습니다. 결과적으로 2배 더 빠르고 90% 수준의 정확도를 자랑합니다.
수십억 개의 단어를 처리할 때, 이런 효율성은 매우 중요합니다.
5/ 하지만 진짜 기발한 점은 “전문가 시스템”을 구축했다는 것입니다.
한 거대한 AI가 모든 것을 다 알도록 만드는 대신(예: 한 사람이 의사, 변호사, 엔지니어 역할을 모두 하는 것처럼), DeepSeek은 필요한 경우에만 전문가들을 호출하도록 설계했습니다.
6/ 기존 모델은 1.8조 개의 파라미터가 항상 활성화되어야 합니다.
DeepSeek은 6710억 개의 파라미터 중 단지 370억 개만 활성화됩니다.
마치 큰 팀을 운영하되 필요한 전문가만 호출하는 것과 같습니다.
7/ 결과는 놀랍습니다:
• 훈련 비용: 1억 달러 → 500만 달러
• 필요한 GPU 수: 100,000대 → 2,000대
• API 비용: 95% 절감
• 데이터 센터 하드웨어 대신 게이밍 GPU에서도 실행 가능
8/ “그런데,” 누군가 말할 수 있습니다. “분명 단점이 있겠지!”
놀라운 점은, 모든 것이 오픈 소스라는 것입니다.
누구나 그들의 작업을 검증할 수 있습니다. 코드는 공개되어 있고, 기술 논문은 모든 과정을 설명합니다.
마법이 아니라, 단순히 매우 영리한 엔지니어링입니다.
9/ 왜 중요한가요?
이로 인해 “대형 기술 기업만이 AI를 다룰 수 있다”는 기존의 모델이 깨졌습니다.
이제 수십억 달러 규모의 데이터 센터가 필요하지 않습니다.
좋은 GPU 몇 대만 있으면 됩니다.
10/ Nvidia에게는 두려운 이야기입니다.
그들의 비즈니스 모델은 초고가 GPU를 90% 마진으로 판매하는 데 기반을 두고 있습니다.
하지만 모두가 일반 게이밍 GPU로 AI를 돌릴 수 있게 된다면… 문제는 명확합니다.
11/ 그리고 중요한 점은 DeepSeek이 이를 200명 이하의 팀으로 해냈다는 것입니다.
한편 Meta의 팀은 DeepSeek 전체 훈련 예산보다 더 많은 연봉을 받으며 작업을 하고 있지만, 그들의 모델은 DeepSeek만큼 좋지 않습니다.
12/ 이는 전형적인 파괴적 혁신의 이야기입니다.
기존 기업들은 기존 프로세스를 최적화하는 데 초점을 맞추는 반면, 파괴적인 혁신 기업들은 근본적인 접근 방식을 다시 생각합니다.
DeepSeek은 “더 많은 하드웨어를 투입하기보다 더 똑똑하게 접근하면 어떨까?”라고 물었습니다.
13/ 그 영향은 큽니다:
• AI 개발이 더 접근 가능해짐
• 경쟁이 급격히 증가
• 대형 기술 기업들의 “진입 장벽”이 작은 웅덩이처럼 보임
• 하드웨어 요구 사항(및 비용)이 급감
14/ 물론, OpenAI와 Anthropic 같은 대기업들이 가만히 있지는 않을 것입니다.
그들은 아마도 이미 이러한 혁신을 구현하고 있을 것입니다.
그러나 효율성의 램프는 이제 병 밖으로 나왔으며, “더 많은 GPU를 투입하자”라는 접근 방식으로 돌아갈 수는 없습니다.
15/ 마지막 생각:
이 순간은 우리가 나중에 변곡점으로 기억할 가능성이 높습니다.
마치 PC가 메인프레임을 덜 중요하게 만들거나, 클라우드 컴퓨팅이 모든 것을 바꿨던 것처럼요.
AI는 더 접근 가능하고, 훨씬 저렴해질 것입니다.
이 변화가 현재 플레이어들에게 어떤 영향을 미칠지는 속도의 문제일 뿐입니다.
