Mistral Large 2411 123B 간단 사용기

프랑스 Mistral AI 에서 발표한 123B AI 모델이다.

(https://mistral.ai/news/mistral-large)

 

현재 보유 중인 VRAM 96GB 시스템에서 실행 가능한 최대 용량의 모델이다.

 

실행해 본 첫 인상은 한국어 실력이 탄탄하고, 답변 수준이 높다.

 

하지만, 70B 모델에 비해서 실행 속도가 절반으로 줄어들어서 약간 답답하다.

 

특장점으로 도구 사용(function calling)에 특화되어 학습되어 있어서, AI 에이전트에 붙여서 높은 수준의 개발 자동화를 수행할 잠재력이 있다.

 

반면, AI 모델 용량 자체가 크다보니 VRAM 여유가 없으면 컨텍스트 길이를 아주 조금 밖에 못 쓴다.

 

바이브 코딩용 AI 에이전트는 아주 많은 컨텍스트를 사용하므로 제대로 사용하려면 VRAM이 128GB는 되어야 할 것 같다.

 

VRAM 96GB에서는 짧은 컨텍스트로 간신히 실행만 가능한 수준이다보니, AI 에이전트 활용은 한계가 있고, 70B 모델에서 만족스러운 답변을 얻지 못했을 때, 시도해보는 높은 퀄리티의 챗봇으로 활용할 수 있을 듯 하다.

 

VRAM 96GB도 겨우 마련했는 데 또 다시 금방 부족함을 느끼게 해 주는 게 Mistral Large인 듯..