취미

Julia언어의 전역 변수, 지역 변수

Julia언어는 같은 용어가 일반적으로 통용되는 것과 다른 의미를 가지는 경우가 있어서 혼동을 유발하곤 한다(예 : Julia언어의 메소드는 다른 언어와 의미가 다르다. : https://kmuh.tistory.com/12) '전역 변수', '지역 변수' 또한 의미가 미묘하게 달라서 혼동을 유발한다. 대부분의 언어에서는 '전역 변수', '지역 변수' 개념은 상대적이다.현재 위치에서 블록 밖에서 선언되면 '전역 변수'이고, 블록 안에서 선언되면 '지역 변수'이다. 줄리아 언어에서는 '전역 변수', '지역 변수' 개념이 절대적이다.모듈에서 선언되는 변수만 '전역 변수'이며, 나머지 다른 모든 변수는 '지역 변수'이다. 이러한 용어 정의로 인해서, 함수가 중첩되어 있을 경우에 작동 방식이 미묘하게 다르다. 예..

Julia 2026. 8. 16. 12:00

Nvidia Tesla P40 구형 GPU는 LM Studio와 호환성에 문제 있음.

깔끔한 인터페이스와 편의성, 맥OS에서 MLX지원으로 인한 빠른 추론 속도등의 여러 장점으로 인해 애용하던 LM Studio가 Nvidia Tesla P40와 호환되지 않는다는 것을 알았다. 자세히 말하자면, 세팅(Setting)- 하드웨어(Hardware)에서 P40이 인식은 되지만, CUDA llama.cpp 런타임에서 구형 GPU 지원 기능을 삭제해 버려서 실제 추론 작업에서 CPU만 사용하고 추론 속도가 매우 느리다. LM Studio에 대한 대안으로 ollama 및 llama.cpp는 정상 작동하는 것을 확인했다.구형 GPU는 가성비가 우수한 대신 약간의 양보 및 타협이 필요한 것 같다.

AI 2026. 8. 1. 11:00

GPU 병목 지점 확인하기.

AI를 실행할 때, 병목 현상이 발생하는 후보는 다음 2개 중 하나이다.- GPU의 연산 속도- VRAM 메모리 대역폭 로컬 LLM 실행할 때 대개 메모리 대역폭에서 병목이 발생한다고 알려져 있다.이를 직접 확인하는 방법은 다음과 같다. nvidia-smi dmon -s u 옵션 설명dmon : 지속적 모니터링 모드 (반복 출력) -s : 표시할 지표 선택 u : 사용률 표시 화면에 표시되는 내용 중 눈여겨 볼 항목은 다음 2개이다.sm : GPU 연산 유닛(SM)의 활성화 비율 (%)mem : GPU 메모리 컨트롤러 활성화 비율 (%) 둘 중 더 높은 쪽이 병목 현상 발생 지점이라고 보면 된다.sm이 더 높다면 GPU 연산 성능이 병목 지점이고,mem이 더 높다면 VRAM 대역폭이 낮아서 병목이 발생..

AI 2026. 7. 25. 20:42

llama.cpp 텐서 병렬(tensor parallel) 지원

llamap.cpp에서 텐서 병렬 연산 기능이 추가되었다.하지만, 구형 GPU(Nvidia Tesla P40)에서는 기존의 순차 연산보다 오히려 더 느려진다.신형 GPU를 여러 개 가지고 있다면 시도해 볼 수도 있을 듯. --- 텐서 병렬은 GPU가 여러 개 장착된 시스템에서 연산 부담을 여러 GPU에 나누어서 동시에 병렬 연산을 실행하여 GPU 사용율을 높여서 전체적인 처리 속도를 높이는 기능이다. 그동안 텐서 병렬 기능은 vllm에서만 지원되었는 데, vllm은 리눅스에서만 멀티 GPU가 지원되고, 구형 GPU과 호환성도 나빠서 사용할 수 없었다. 얼마 전(2026년 4월)에 llama.cpp에도 텐서 병렬 지원 기능이 추가되었다는 것을 알게 되었다.https://github.com/ggml-org/..

AI 2026. 7. 25. 14:54

유튜브 자막 복사 플러그인

유튜브 영상이 너무 길어서 내용 요약만 알고 싶을 때, 자막을 AI에게 요약해 달라고 하면 된다.영상 설명 - 더보기 - 스크립트 표시 - 마우스 드래그 - 복사 후 붙여넣기(Ctrl+C / Ctrl+V)자막을 AI에게 복사해서 붙여넣는 과정이 상당히 귀찮다.영상이 길어서 자막이 길면 마우스 드래그 하는 과정이 특히 귀찮다.그런데, 구글 크롬 및 MS 엣지 브라우저에서 클릭 한 번으로 자막을 클립보드에 복사하는 플러그인을 발견했다. 개발사 홈페이지 링크 : https://browserlab.io/transcript-for-youtube Copy YouTube Transcript - One Click Chrome ExtensionCopy YouTube video transcripts instantly wi..

컴퓨터 2026. 7. 15. 11:00