superbooga v2로 RAG 맛보기.

RAG를 간단히 말하면 AI 모델이 답변하기 전에 사용자가 지정한 데이터를 추가로 참조해서 출력 결과물의 품질을 높이는 기법을 의미한다.

text-generation-web-ui에서는 아주 기초적인 RAG기능을 위해서 superbooga 라는 확장을 제공한다.

 

레딧에서 superbooga 튜토리얼을 읽은 후 학습 메모를 기록해 둔다.

https://www.reddit.com/r/LocalLLaMA/comments/18dohlt/tutorial_use_real_books_wiki_pages_and_even/

From the LocalLLaMA community on Reddit: [Tutorial] Use real books, wiki pages, and even subtitles for roleplay with the RAG app

 

 

text-generation-web-ui의 Session 탭에서 superboogav2를 클릭해서 활성화 시킨 후, Apply 버튼을 눌러서 적용한다.

 

추가적인 파이썬 패키지를 설치해줘야 작동하므로, 일단 text-generation-web-ui를 실행한 터미널을 닫는다.

 

text-generation-web-ui 디렉토리의 cmd_windows.bat를 실행한다.

(MS윈도우가 아니라면 사용 중인 운영체제에 맞는 cmd_xxx.xxx를 실행한다.)

 

방금 띄운 터미널 창에 다음 명령어를 입력 후 엔터키를 눌러서 필요 패키지를 설치한다.

installer_files\env\python -m pip install -r extensions\superboogav2\requirements.txt

(MS윈도우가 아니라면 '\' 대신 '/'를 사용한다.)

 

text-generation-web-ui 디렉토리의  CMD_FLAGS.txt 파일을 편집해서 다음 내용을 추가해서 매번 실행될 때마다 자동으로 superboogav2를 로드하도록 설정한다.

--extensions superboogav2

 

이제 설정을 마쳤다.

 

text-generation-web-ui을 실행해서 제대로 동작하는 지 확인해야 한다.

text-generation-web-ui을 실행하면 시작할 때 superboogav2를 로드했다는 메시지가 뜬다.

 

정상적으로 작동한다면 프롬프트 입력칸 아래에 예전에 없던 추가적인 입력칸이 생긴다.

새로 생긴 입력칸에서 텍스트, URL, 파일등의 추가 데이터를 입력시킬 수 있다.

 

으며, AI모델은 답변할 때 이를 참고한다.

추가 데이터를 참고하도록 하려면 질문할 때 관련된 항목이 포함되어야 한다.

 

또한, 기본값으로 사용자 데이터를 참조하도록 하려면 질문의 처음이나 끝에 `!c`를 추가해서 시그널을 줘야 한다.

이것이 귀찮으며, 질문할 때마다 자동으로 사용자 데이터를 참조하도록 하려면 'Settings' 탭에서 'Is Manual'항목을 클릭해서 비활성화 시켜야 한다.

 

text-generation-web-ui를 실행할 때마다 'Is Manual'이 다시 활성화 되므로, 매번 비활성화 시켜야 하는 번거로움이 있다.