타임트리

이번에는 https://sean-j.tistory.com/38 에서 만든 간단한 rag 파이프라인을 구현된 chain 대신, 직접 프롬프트를 작성하고 LCEL 로 RAG 파이프라인을 구성해보자.  랭체인은 복잡한 체인을 쉽게 구현할 수 있도록 LangChain Expression Language(LCEL)을 제공한다. 기본적으로 Runnable 인터페이스를 따르는 LCEL 객체들을 파이프 연산자(|)으로 연결하는 형태로 작성할 수 있는데, 이때 앞 객체의 output을 다음 객체의 input으로 전달한다. 그리고 Runnable은 입력을 받아 출력을 만드는 인터페이스라고 생각하면 된다.  이때 Runnable은 공통적으로 invoke, batch, stream 등의 메서드를 갖고 있어야 한다. 또, 모든..

LLM이 사전 학습한 정보를 벗어난 데이터의 범위를 벗어나는 경우, 원하는 대답을 얻을 수 없다. 또한, 생성 모델의 한계상 할루시네이션이 발생해 정확한 정보를 얻기 어려울 때도 있다.  우리가 원하는 정보를 얻기 위해 LLM을 Supervised fine-tuning하거나, Instruction fine-tuning을 하거나, RAG를 사용할 수 있다. SFT의 경우, 현실적으로 비용 문제 때문에 접근성이 떨어지기 때문에 제외하고 Instruction fine-tuning이나 RAG를 사용하게 된다.  Instruction fine-tuning은 LLM을 Instruction-output 데이터셋으로 사용자 질의와 답변을 align 시켜주는 방법이다. RAG는 사용자 질문 의도에 적절한 외부 문서를 가..

LLM의 input은 String type으로 넣어줘야 한다. 이를 위해 랭체인에서 제공하는 document_loaders는 pdf, notion, ppt 등의 여러 형식을 불러오고 LLM에 제공할 수 있도록 전처리를 도와준다.  기본적으로 document_loaders의 클래스들은 load 메소드를 사용해, 여러 형태의 데이터를 알맞게 parsing해서 Document 객체를 원소로 갖는 리스트를 반환한다. 이때, Document 객체는 page_content와 metadata를 클래스 변수로 갖는다. 랭체인의 document_loaders의 클래스들이 어떤 형태로 각 문서를 처리하고 값을 반환하는지 TextLoader와 CSVLoader의 소스코드를 살펴보자.TextLoaderclass TextLoa..

AgentExecutor는 While Loop!  랭체인이 제공하는 모듈인 에이전트는 일종의 동적 Chain으로 ReAct 기반 프롬프트로부터 action을 정하고 tool을 활용하며 상호작용할 수 있도록 한다. 예를 들어, 주어진 문자열의 길이를 반환하는 함수를 Tool로 사용하는 Agent를 만들고, 수행하면 다음과 같다.# zero-shot ReAct Agent example@tooldef get_text_length(text: str) -> int: """주어진 문자열의 길이를 반환하는 함수""" text = text.strip("'\n") return len(text)if __name__ == "__main__": llm = ChatOpenAI() prompt = hu..

앞선 게시물들에서 살펴본 것처럼 동시성이란 여러 작업을 스위칭하며 처리하는 것을 의미한다. 따라서 동시성 프로그램을 사용하면 네트워크 I/O와 같이 요청/응답 과정에서 효율적으로 코드를 설계할 수 있다. 그런데 여기서 생각해볼 점이 있다. 기존처럼 순차적으로 진행했던 동기적 코드보다 항상 비동기적 코드가 좋을까?  정답은 그렇지 않다는 것이다. 예를 들어, CPU 연산이 많은 프로그램을 생각해보자. 이러한 경우 하나의 CPU가 쭉 계산하는 것과 여러 스레드에 동시성으로 작업하는 것과 차이가 없을 것이다. 오히려 여러 excutor로 작업을 할당하는 연산이 추가되어 더 오래 걸릴 것이라 예상할 수 있다. 이러한 경우에는 동시성 보다는 병렬성으로 작업을 수행해야 속도를 향상시킬 수 있다.  그런데 파이썬은 ..

동시성은 Concurrency, 병렬성은 Parallelism을 번역한 용어로 둘은 다른 개념이다. 이 둘의 차이에 대해서 알아보자.먼저 동시성과 병렬성의 정의는 다음과 같다.동시성(concurrency): 한 번에 여러 작업을 동시에 다루는 것 (switch의 개념)병렬성(parallelism): 한 번에 여러 작업을 병렬적으로 처리하는 것 (at the same time의 개념)좀 더 쉽게 말하면, 동시성은 시간과 관계없이 여러 작업이 처리되고 있는 상태를 만족하는 것을 의미하고, 병렬성은 시간상 동시에 처리되고 있는 것을 의미한다. 아직 조금 헷갈리는 것 같다. 주문을 받아 요리사가 요리를 하는 예시를 통해 이해해보자. 현재 상황은 요리사에게 ["파스타", "피자", "스테이크"] 주문이 들어온 상..

프로그램의 사전적 정의는 어떤 문제를 해결하기 위해 컴퓨터에게 주어지는 처리 방법과 순서를 기술한 일련의 명령문의 집합체이다. 즉, 간단히 말해 개발자가 작성한 코드들을 의미한다.이러한 프로그램은 보조메모리(HDD, SDD)와 같은 저장장치에 보관되고 있다가 사용자가 실행하면 해당 프로그램 코드들이 주메모리(RAM)에 적재되어 작업이 진행된다. 이때 프로그램이 RAM에 올라온 상태가 되면 이를 프로세스(process) 라고 한다.프로그램: 명령문이 저장장치에 저장된 정적인 상태프로세스: 실행을 위해 프로그램이 RAM에 올라온 동적인 상태이처럼 프로그램을 실행하여 프로세스가 생성되면, CPU는 프로세스가 해야할 작업을 수행한다. 이때, CPU가 처리하는 프로세스의 작업 단위를 스레드(thread) 라고 한..

먼저 코루틴을 보기 전에, 루틴을 정의하고 이로부터 파생되는 메인 루틴과 서브 루틴을 살펴보자.루틴: 일련의 명령 즉, 코드의 흐름메인 루틴: 프로그램의 메인 코드 흐름서브 루틴: 하나의 진입점(args)과 하나의 탈출점(return)이 있는 루틴으로, 흔히 아는 함수나 메서드 (메인 루틴의 보조)그럼 메인 루틴과 서브 루틴의 관점에서 이전에 작성했던 코드를 다시 살펴보자. 아래 코드에서 메인 루틴은 if __name__=="__main__" 절의 내용이며, 여기서 main()과 delivery() 두 개의 서브 루틴이 존재한다.import time# 서브 루틴 1def delivery(name, mealtime): print(f"{name}에게 배달 완료") time.sleep(mealtim..