[플레이데이터 SK네트웍스 Family AI 캠프 23기] 12주차 회고

회고 방식

---

The four Fs

• FACTS(사실, 객관) : 이번 일주일 동안 있었던 일, 내가 한 일
• FEELINGS(느낌, 주관) : 나의 감정적인 반응, 느낌
• FINDINGS(배운 것) : 그 상황으로부터 내가 배운 것, 얻은 것
• FUTURE(미래) : 배운 것을 미래에는 어떻게 적용할 지

---

FACTS

 

이번 주는 크게 3개의 덩어리로 공부가 진행됐다.

1. 검색 성능 최적화(RAG Retrieval 파이프라인)

- 인덱싱, BM25와 Dense를 비교, RRF, 질의 증강(Hyde) 등으로 이어지며 검색 품질을 단계적으로 올리는 실습을 했다.

 

2. 에이전트(LangGraph 중심)

- 단일 턴 챗봇 -> 도구 호출 -> MCP 서버 연동 -> 메모리 -> HITL -> Custom State(업무용)으로 챗봇을 확장하는 과정을 실습했다.

 

3. 파인튜닝/리소스(LoRA/QLoRA)

- PEFT LoRA에 대한 개념을 배우고, 라이브러리에 있는 기존의 Dataset(뉴스데이터)를 활용하여 LoRA, QLoRA 파인튜닝을 해보고, 거기에 Runpod을 이용하여 GPU를 이용해보기도 했다.

 

 

FEELINGS

 

이전까지는 단순하게 모델에 질문하고, 그 모델이 답변을 하는 것만 확인하는 것에서 이번에는 이것저것 활용하는 것도 많아지니까 머리가 복잡해지는 느낌이 들었다.

 

 

FINDINGS

 

공통점과 차이점으로 비교

1) BM25 vs Dense Retrieval

공통점

• 둘 다 “질문에 맞는 문서를 Top-k로 찾는다”는 목적은 동일
• RAG 품질에 많은 영향을 준다.(좋은 컨텍스트가 들어가야 답도 좋아짐).

차이점

• BM25: 키워드 매칭에 강함. 용어가 정확히 들어간 질의에서 강하지만, 표현이 바뀌면 약해질 수 있다.
• Dense: 의미 기반에 강함. 유사한 표현/동의어/문맥 유사성을 잘 잡지만, 짧고 모호한 질의에서는 오히려 흔들릴 수 있다.

 

2) RRF vs 단일 검색

공통점

• 더 좋은 Top-k를 만들려는 목적

차이점

• 단일 검색은 한 가지 관점(키워드 or 의미)으로만 문서를 본다.
• RRF(Reciprocal Rank Fusion) 는 점수 스케일이 달라도 상관없이 순위 기반으로 결과를 섞는다는 점이 핵심.

3) HyDE vs 일반 Dense

공통점

• 둘 다 임베딩 기반 검색을 한다(결과적으로 벡터 공간에서 유사도를 비교).

차이점

• 일반 Dense는 “질문 자체”를 임베딩한다.
• HyDE 는 질문을 바로 임베딩하지 않고, LLM으로 ‘가상의 정답 문서’를 먼저 만든 뒤 그 문서를 임베딩해서 검색한다.즉, LLM이 답을 만드는 것이 아니라, 검색이 잘 되도록 질문은 '문서 형태'로 바꿔주는 역할

4) Cohere Reranking vs Retriever

공통점

• 관련도(relevance)를 기준으로 “좋은 문서를 위로 올린다”는 목표는 동일.

차이점

• Retriever는 “후보군을 넓게 찾는 역할(Recall)”에 가깝다.
• Reranker 는 그 후보군에서 진짜 관련도를 더 정확히 판단한다.

5) LoRA vs QLoRA

공통점

• 둘 다 “기존 모델 전체를 업데이트하지 않고”, 적은 파라미터로 적응시키는 PEFT 계열이다.
• 목표는 비용/시간/메모리를 줄이면서 Task 성능을 확보하는 것.

차이점

• LoRA: 비교적 단순한 구조, 하지만 기본적으로 모델 로딩/학습에 VRAM 부담이 더 생길 수 있다.
• QLoRA: 양자화(예: 4bit) 기반으로 VRAM을 더 강하게 절감하는 쪽. 대신 설정이 더 복잡하고, 환경/호환성 이슈를 더 신경 써야 한다.

 

파인 튜닝은 코드보다 리소스 설계가 먼저!!!!

 

 

FUTURE

 

토일월화수 라는 긴 설 연휴가 끝났다. 다음 수업은 목, 금 밖에 남지 않아서 체력적으로나 정신적으로나 여유가 있을 것이라고 기대한다.

곧 팀 프로젝트를 시작하게 될 텐데, 할 줄 아는게 없어서 걱정이다.