DeepSeek Coder V2

코딩과 수학에서 'GPT-4 터보'를 뛰어넘는 오픈소스 모델이 나왔다.

메타 Llama 3 70B도 정말 똑똑하다고 감탄하면서 쓰고 있는 데, 훨씬 더 뛰어난 무료 모델이 나왔다.

 

그런데, 용량이 무지막지하게 크다.

고성능 고용량 모델은 236B이고, 4비트 양자화 하더라도 최소 128GB의 VRAM이 필요하다.

24GB GPU 6개 혹은 48GB GPU를 3개가 필요한 데, 

GPU를 4개 넘게 장착하려면 CPU와 메인보드 가격이 비싸지고,

VRAM 용량이 24GB를 넘기면 GPU 가격이 사악해지므로,

이래저래 가성비 시스템으로는 운용하기 어려운 듯 하다.

 

파란색 DeepSeek Coder V2가 핑크색 GPT-4를 많은 분야에서 추월한다.

 

 

 

 

https://github.com/deepseek-ai/DeepSeek-Coder-V2

GitHub - deepseek-ai/DeepSeek-Coder-V2

 

 

GitHub - deepseek-ai/DeepSeek-Coder-V2