취미

전북대 최규빈 교수님이 Julia언어로 진행하는 통계전산 강의를 유튜브에 무료로 공개해 놓으셨다. 깃허브 강의 홈페이지에 가면 잘 정리된 재생 목록(과 강의 노트)을 찾을 수 있다. (밑줄 그어진 항목 타이틀을 누르면 유튜브 강의 영상으로 연결된다.) https://guebin.github.io/SC2024/ https://guebin.github.io/SC2024/ guebin.github.io

Julia 2025. 4. 7. 14:36

메타의 Llama시리즈는 코딩 실력은 좋지만, 한국어 실력이 아쉬워서,개인적으로 코딩 실력과 한국어 실력을 겸비한 Qwen 시리즈를 애용한다. Qwen시리즈는 중국 알리바바에서 만들었는 데, 그간 뉴스에서 중국에서 개발된 AI 모델들은 검열을 거쳤다는 뉴스를 여러번 들었다.그래서, 쓰면서도 마음 한 켠에 찜찜한 기분을 안고 있었다.그런데, 온디바이스에서 실행할 때는 생각보다 간단하게 검열을 우회할 수 있다는 것을 알았다. 바로 마법의 단어 'abliterated'를 활용하면 된다. 허깅페이스에서 모델 검색어에  'abliterated'만 추가하면 검열을 우회한 모델이 검색된다.예를 들면, Qwen2.5 Instruct 72B모델의 GGUF포맷 양자화 버전을 검색할 때, 검색어 마지막에 'abliterat..

AI 2025. 4. 6. 14:11

프랑스 Mistral AI 에서 발표한 123B AI 모델이다.(https://mistral.ai/news/mistral-large) 현재 보유 중인 VRAM 96GB 시스템에서 실행 가능한 최대 용량의 모델이다. 실행해 본 첫 인상은 한국어 실력이 탄탄하고, 답변 수준이 높다. 하지만, 70B 모델에 비해서 실행 속도가 절반으로 줄어들어서 약간 답답하다. 특장점으로 도구 사용(function calling)에 특화되어 학습되어 있어서, AI 에이전트에 붙여서 높은 수준의 개발 자동화를 수행할 잠재력이 있다. 반면, AI 모델 용량 자체가 크다보니 VRAM 여유가 없으면 컨텍스트 길이를 아주 조금 밖에 못 쓴다. 바이브 코딩용 AI 에이전트는 아주 많은 컨텍스트를 사용하므로 제대로 사용하려면 VRAM이 ..

AI 2025. 4. 5. 21:23

cline과 continue 모두 VS code의 AI용 플러그인이다. continue : https://docs.continue.dev/cline : https://cline.bot/ continue는 개별 파일, 코드 부분등 작업 범위를 좁게 한정할 경우 적합하고,cline은 좀 더 넓은 범위에 대해서, 좀 더 추상적인 지시를 자동으로 실행하는 데 적합하다. 이렇게만 보면 당연히 cline이 더 좋아보인다.그러나, 직접 사용해 보면 장단점이 있다. 일단, cline은 도구 사용(function calling, tool calling)에 특화된 고용량/고성능의 AI 모델이 필요하며, 컨텍스트 메모리를 많이 사용하므로 VRAM을 많이 잡아먹는다.VRAM 용량이 부족해지면 일부 작업이 CPU에 넘어가게 되..

AI 2025. 4. 3. 18:18

AI에게 간단한 지시만으로 답변의 품질을 극적으로 향상시키는 기법으로 Chain of Thought(생각의 사슬) 기법이 있다.답변을 찾아가는 추론 과정을 순차적으로 표현하는 것이다.최근에 크게 유행하는 추론 모델들이 이 생각의 사슬 기법을 사용한 것이다.다만, 이 기법은 생각하는 데 시간이 많이 걸려서 답변까지 걸리는 시간 소요 비용이 크다는 단점이 있다.또한, 추론 과정을 출력하는 데 많은 토큰이 생성되므로 유료 AI모델이라면 금전적 비용도 커진다. 간단한 프롬프트 기법으로 답변의 품질은 '생각의 사슬'과 비슷한 수준으로 향상시키면서, 시간적/금전적 비용은 낮추는 새로운 기법으로 'Chain of Draft'(초안의 사슬) 기법이 소개된다.생각의 과정을 모두 서술하는 대신, 답변을 찾아가는 추론 과정..

AI 2025. 4. 3. 02:01

MCP에 대한 포스트에서 AI에 금융 정보 도구를 장착하려는 시도에 대해서 언급했다.(AI가 주식 가격 정보를 실시간으로 검색할 수 있는 시대? : https://ghts.tistory.com/163)그런데, 유명 코딩 유튜버의 MCP 소개 영상의 예제가 AI에 주식 매매 도구 장착하기 이다.https://www.youtube.com/watch?v=EswVjHZMn74유튜버 '니콜라스'는 AI가 사용자의 요구를 수행하기 위해서 동적으로 원격 MCP도구를 찾아내서 사용하는 시대가 올 것이라고 예상한다. 예를 들면, 사용자가 AI에게 기업 실적을 분석해 달라고 하면 '기업 재무 정보 데이터 도구'를 찾아서 분석을 해 주고, 해당 종목을 매수해 달라고 하면 '주식 매매 도구'를 찾아서 주문을 실행하는 식으로,..

AI 2025. 3. 31. 08:41

출시된 지 8년이 지난 Nvidia Tesla P40 GPU를 장착하여 대용량 VRAM을 저렴하게 확보하되, vLLM의 병렬 연산 기능을 활용하여, P40의 느린 속도를 보완하여 쓸만한 AI 시스템을 구성한 기록이다. (AI용 가성비 GPU P40 소개 : https://kmuh.tistory.com/98) vLLM은 병렬 연산으로 복수의 GPU에서 최대 성능을 끌어내는 데 특화된 AI 플랫폼이다.리눅스만 지원되며 윈도우는 지원되지 않는다. vLLM은 구형 GPU에 대한 지원은 상당히 취약하며, 단종된 지 오래된 파스칼 아키텍처인 P40은 정식 지원되지 않는다.하지만, 파스칼 아키텍처는 Nvidia 드라이버, CUDA, PyTorch등 대부분의 AI 생태계 핵심 구성 요소에서 여전히 정식 지원되고 있으므..

AI 2025. 3. 29. 11:06

Ollama를 사용할 때 유용한 설정 환경 변수 모음 # Flash Attention 활성화 (속도 향상)OLLAMA_FLASH_ATTENTION=1 # Flash Attention이 활성화 된 상태에서 컨텍스트 캐쉬 메모리 절약 OLLAMA_KV_CACHE_TYPE=q8_0 # 5분마다 GPU메모리를 비우지 않고, 로딩한 상태 유지. 재로딩 딜레이 해결. 대신 전력 소모량은 늘어남.OLLAMA_KEEP_ALIVE=-1

AI 2025. 3. 29. 03:31