중국 AI 모델 검열 피하기 abliterated

메타의 Llama시리즈는 코딩 실력은 좋지만, 한국어 실력이 아쉬워서,

개인적으로 코딩 실력과 한국어 실력을 겸비한 Qwen 시리즈를 애용한다.

 

Qwen시리즈는 중국 알리바바에서 만들었는 데, 그간 뉴스에서 중국에서 개발된 AI 모델들은 검열을 거쳤다는 뉴스를 여러번 들었다.

그래서, 쓰면서도 마음 한 켠에 찜찜한 기분을 안고 있었다.

그런데, 온디바이스에서 실행할 때는 생각보다 간단하게 검열을 우회할 수 있다는 것을 알았다.

 

바로 마법의 단어 'abliterated'를 활용하면 된다.

 

허깅페이스에서 모델 검색어에  'abliterated'만 추가하면 검열을 우회한 모델이 검색된다.

예를 들면, Qwen2.5 Instruct 72B모델의 GGUF포맷 양자화 버전을 검색할 때, 검색어 마지막에 'abliterated'만 추가하면 검열 우회 버전이 검색된다.

https://huggingface.co/models?sort=downloads&search=Qwen2.5+instruct+72B+GGUF+abliterated

 

이렇게 검열을 우회한 AI모델에게 민감한 검색어로 유명한 '천안문 사태'에 대해서 물어보니, 비록 단순화되기는 했지만, 민주화 운동을 군대로 진압했다는 팩트를 담담하게 서술한다.

 

시진핑 주석의 정책 실패에 대해서도 답변을 피하지 않는 것을 확인했다.

이 정도면 검열을 우회했다고 판단해도 99.9% 맞을 것 같다.

 

이제 찜찜한 마음을 내려놓고 Qwen시리즈를 잘 사용할 수 있을 것 같다.

땡큐~ 알리바바.