[사이드 프로젝트] #2. RAG 기반 '업무 지식' AI 챗봇 개발기 (1)

2025년도 얼마 남지 않은 지금, 3년 후의 미래를 준비하는 마음으로 두 번째 사이드 프로젝트에 도전합니다. 이번 프로젝트의 목표는 'RAG(Retrieval-Augmented Generation) 기반의 AI 챗봇 도우미'를 만드는 것입니다.

1. 프로젝트 동기: 흩어진 8년 차 지식을 하나로

개발자로서 현재의 불안감과 미래에 대한 고민은 늘 따라다니는 것 같습니다.

특히 현재 직장에서 8년 넘게 근무하며 쌓인 수많은 업무 지식과 경험이 제 머릿속, 수많은 메일함, 그리고 이름 모를 문서 조각들로 흩어져 있다는 것을 깨달았습니다.

이러한 정보들이 체계적으로 관리되지 않으면, 결국 기억에 의존하거나 매번 히스토리를 찾고 코드를 다시 분석해야 하는 비효율이 발생합니다. 이 과정에서 소중한 시간을 낭비하게 되고, 업무 효율성도 자연스레 떨어지게 됩니다.

2. 해결책 및 개발 계획

이 문제를 해결하기 위해, 저의 '두 번째 두뇌'가 되어줄 RAG 기반 AI 챗봇을 구현하기로 결심했습니다. 제게 흩어져 있는 모든 업무 지식을 문서화하고, 필요할 때마다 챗봇에게 질문하여 즉시 정확한 답변을 얻는 것이 목표입니다.

• 프로젝트 기간: 2025년 10월 20일 ~ 2025년 11월 16일 (약 1달)
• 주요 기술 스택:
  • UI: Streamlit (빠른 프로토타이핑 및 구현)
  • AI/LLM: LangChain, LangGraph (RAG 파이프라인 구축)

10월 20일에 WBS(작업분류체계) 설정을 마쳤으며, 약 한 달간의 여정을 시작합니다. 지치지 않고 끝까지 완수할 수 있도록 최선을 다하겠습니다.

3. AI 페어 프로그래밍으로 UI 초고속 완성하기

첫 번째 사이드 프로젝트의 경험을 살려, 이번에도 AI를 적극적으로 활용했습니다. 놀랍게도 이미 UI 개발은 완성한 상태입니다.

제가 AI(제미나이, 클로드 등)와 협업하여 UI 기획부터 코드 생성까지 진행한 7단계 과정은 다음과 같습니다.

Step 1: 아이디어 구체화 (with Gemini)

먼저 제미나이에게 기본적인 아이디어를 설명하고 UI 구성을 요청했습니다.

RAG 기반 정책 AI 도우미 챗봇

* 아이디어: 현재 회사에 근무하면서 얻은 지식과 경험을 문서화 하여 챗봇 형식으로 정책에 대한 질문을 하면 답변을 받은 AI 챗봇

위와 같은 웹앱 사이트를 만들려고 합니다. 앱 UI 를 설명하는 구체적인 내용을 작성해줘요.

Step 2: 아이디어 심층 분석 (with Gemini)

받은 답변을 토대로, 이 아이디어가 실제 팀에 도움이 될지 심층 분석을 요청했습니다.

{Step 1의 답변 내용}
--------------
이러한 아이디어를 통해서 실제로 회사 내부팀에게 도움이 되는지 심층적으로 분석해줘,

Step 3: 앱 화면 기획 (with Gemini)

분석 내용을 바탕으로 1인 개발자가 구현 가능한 범위 내에서 구체적인 화면 기획을 요청했습니다.

{Step 2의 심층 리서치 답변 내용}
----------
그럼 위 내용을 바탕으로 1인 개발자가 구현할 수 있는 범위까지 앱 화면별 기획을 작성해주세요.

Step 4: UI 디자인 시안 요청 (with Claude)

제미나이가 기획해준 내용을 클로드에게 전달하여, 상세한 디자인 예시(시안)를 그리도록 했습니다.

{Step 3의 답변 내용}
--------------
해당 기획을 포함한 앱 UI를 만들어줘. 각각의 상세 디자인 예시를 그려주세요.

Step 5: 코드 생성 프롬프트 요청 (with AI)

완성된 UI 기획안을 코파일럿이나 클로드 같은 AI 에이전트가 코드로 만들 수 있도록, '명령 프롬프트' 자체를 생성해 달라고 요청했습니다.

이제 코파일럿 에이전트를 이용해서 당신이 제안해준 UI 대로 Streamlit 코드 템플릿을 만들어달라고 할 거예요. 
명령 프롬프트를 주세요.

Step 6: 프롬프트 정제 (Refinement)

AI가 제안한 초기 프롬프트에는 불필요한 내용이 많았습니다. 저는 UI 코드 생성에만 집중하고, 문서 관리는 기존 파일을 활용할 것이라 명시하며 프롬프트를 수정했습니다.

클로드 코드를 사용하여 챗봇 UI 부터 만들건데요. 아래 제안 받은 코드에는 사족이 너무 많이 붙어있습니다. 먼저 UI 관련된 코드만 제안 받고 싶어요. 문서 관리 또한 내부에 이미 있는 파일 기반으로 처리할 예정입니다. 아래 프롬프트를 다시 수정해주세요

Step 7: UI 코드 생성 (with Claude)

최종적으로 다듬어진 프롬프트를 클로드 코드에 실행하여, Streamlit 기반의 챗봇 UI 코드를 확보했습니다.

 

4. 다음 단계

UI가 빠르게 준비된 만큼, 이제 본격적으로 RAG 파이프라인을 구축하고 핵심 로직을 구현할 차례입니다. 앞으로의 개발 과정도 꾸준히 블로그에 기록해 나가겠습니다.

한 달 뒤, 성공적으로 프로젝트를 완수했다는 소식을 전할 수 있기를 기대합니다!