Victoree's Blog

LLM 어플리케이션은 자율성(독자적으로 행동할 능력)과 신뢰성(결과물에 대한 신뢰도) 간의 트레이드 오프가 존재한다.인지 아키텍처란인간 추론 과정을 모델링한 체계와 이를 컴퓨터에 구현한 방식을 지칭인간의 마음이 정보를 처리하고, 기억하고, 배우고, 의사결정하는 방식에 대한 구조적인 모델자율성의 범위에 따라 LLM 어플리케이션 구축에 쓰는 다양한 레시피를 분류할 수 있음1) LLM 호출텍스트 번역이나 요약과 같이 특정 작업을 수행하는데 LLM을 활용하는 어플리케이션에서 LLM 호출 기능은 아주 유용함.EX) 4장에서의 챗봇2) 체인 - 플로우 엔지니어링미리 정해진 순서에 따라 여러번의 LLM 호출로 구현.서로 다른 어플리케이션 호출이 같은 순서로 LLM 호출을 수행하지만 입력 및 결과는 각각 다르게 나타남..

AI 챗봇에 메모리 기능을 추가해 이전 대화 내용을 기억하고 참조할 수 있게 하는 방법LLM의 무상태 특성을 극복하기 위해 랭그래프를 활용한 상태 저장 시스템 구축방법을 배운다.그래프 기반 아키텍처로 대화 흐름을 관리하고 상태를 추적하는 방법을 소개채팅 기록의 효율적인 관리를 위한 테크닉 학습챗봇 메모리 시스템 구축→ 이는 상태 저장 방식과 상태 쿼리 방식 두가지 설계적 결정이 있다.가장 간단한 챗봇 메모리 시스템 구축 방법은 사용자와 모델간 모든 채팅 대화 기록을 저장해 재활용하는 것메시지 목록 형태로 저장턴마다 최근 메시지를 추가해 업데이트메시지를 프롬프트에 추가 → 토큰이 많이 소모됨.최대 토큰 수(컨텍스트 윈도우) 제한이 있어서 어느 시점부터 가장 오래된 메시지를 강제로 잘라내야(Truncatio..