타임트리

이번에는 https://sean-j.tistory.com/38 에서 만든 간단한 rag 파이프라인을 구현된 chain 대신, 직접 프롬프트를 작성하고 LCEL 로 RAG 파이프라인을 구성해보자.  랭체인은 복잡한 체인을 쉽게 구현할 수 있도록 LangChain Expression Language(LCEL)을 제공한다. 기본적으로 Runnable 인터페이스를 따르는 LCEL 객체들을 파이프 연산자(|)으로 연결하는 형태로 작성할 수 있는데, 이때 앞 객체의 output을 다음 객체의 input으로 전달한다. 그리고 Runnable은 입력을 받아 출력을 만드는 인터페이스라고 생각하면 된다.  이때 Runnable은 공통적으로 invoke, batch, stream 등의 메서드를 갖고 있어야 한다. 또, 모든..

LLM이 사전 학습한 정보를 벗어난 데이터의 범위를 벗어나는 경우, 원하는 대답을 얻을 수 없다. 또한, 생성 모델의 한계상 할루시네이션이 발생해 정확한 정보를 얻기 어려울 때도 있다.  우리가 원하는 정보를 얻기 위해 LLM을 Supervised fine-tuning하거나, Instruction fine-tuning을 하거나, RAG를 사용할 수 있다. SFT의 경우, 현실적으로 비용 문제 때문에 접근성이 떨어지기 때문에 제외하고 Instruction fine-tuning이나 RAG를 사용하게 된다.  Instruction fine-tuning은 LLM을 Instruction-output 데이터셋으로 사용자 질의와 답변을 align 시켜주는 방법이다. RAG는 사용자 질문 의도에 적절한 외부 문서를 가..