Victoree's Blog

자율성과 신뢰성 간의 트레이드 오프를 극복하는 방법 LLM 결과의 예측 가능성을 높이고, 긴 지연 시간을 효과적으로 관리하며 자율성 높은 시스템의 신뢰성을 확보하는 방법 동시 입력처리 같은 문제 대응 전략LLM 어플리케이션이 갖추어야 할 주요 목표지연 : 최종 답변 도출에 소요되는 시간을 최소화스트리밍/중간 출력 → 진행 상황과 중간 출력 결과가 지속적으로 공유되면 지연이 길더라도 수용하기 쉬움자율성 : 작업 중 인간 입력이 필요한 상황을 최소화분산 : 호출 간의 변동을 최소화구조화된 출력미리 정해진 형식의 출력물을 생성하도록 LLM에 요청하면, 기대에 부합하는 결과물이 나올 가능성이 높아진다.특정 스키마에 근거한 형식을 요구해 출력을 후속 처리하면 완전히 자유로운 텍스트 출력이 발생할 변동성을 줄일 수..

멀티 에이전트 시스템과 성찰 기법에 대해 이야기한다. 멀티 에이전트 시스템은 복잡한 문제를 여러 전문 에이전트가 협력해 해결할 수 있도록 하며, 랭그래프로 서브 그래프를 구성하는 내용이 나온다.1. 성찰→ LLM 어플리케이션이 기존 출력 및 선택 과정을 분석하고 이전 반복 단계의 성찰을 기억한다.성찰은 창작 프롬프트와 수정 프롬프트 사이의 반복적인 과정을 통해 형성되는데, 인간의 사고방식에는 시스템1(반응적 or 본능적) 과 시스템2(체계적이며 성찰적)라는 두 양상이 존재한다.시스템1 → 빠름, 무의식적, 자동적, 일상적 결정, 오류 발생 쉬움시스템2 → 느림, 의식적, 노력이 필요함. 복잡한 결정, 신뢰 가능성찰을 올바르게 활용하게되면, LLM 어플리케이션이 시스템2의 행동을 닮아가는 방향으로 발전하는..

에이전트는 외부 환경과 상호작용하며 스스로 판단해 행동하는 AI 시스템 계획-실행 반복 패턴을 통해 목표를 달성에이전트행동하는 존재행동하려면 행동을 취할지 결정할 판단력이 필요하다어떤 행동을 취할지 결정한다는 말은 여러 실행 가능한 대안이 존재한다는 의미를 내포한다. 선택의 여지가 없는 결정은 진정한 결정이라고 할 수 없다.에이전트는 의사결정을 위해 내부에 국한되지 않고, 외부 환경에 대한 정보에 접근해야 한다.에이전트 LLM 어플리케이션현재 상태나 바람직한 차기 상태에 관한 일정 컨텍스트를 바탕으로 두 가지 이상의 행동 중에서 선택을 해야한다툴 호출: 프롬프트에 LLM이 활용할 수 있는 외부 함수 목록을 포함하고, 생성된 출력에서 선택을 어떤 형식으로 표기할지 지침을 제공사고의 연쇄(CoT): 연구 결..

LLM 어플리케이션은 자율성(독자적으로 행동할 능력)과 신뢰성(결과물에 대한 신뢰도) 간의 트레이드 오프가 존재한다.인지 아키텍처란인간 추론 과정을 모델링한 체계와 이를 컴퓨터에 구현한 방식을 지칭인간의 마음이 정보를 처리하고, 기억하고, 배우고, 의사결정하는 방식에 대한 구조적인 모델자율성의 범위에 따라 LLM 어플리케이션 구축에 쓰는 다양한 레시피를 분류할 수 있음1) LLM 호출텍스트 번역이나 요약과 같이 특정 작업을 수행하는데 LLM을 활용하는 어플리케이션에서 LLM 호출 기능은 아주 유용함.EX) 4장에서의 챗봇2) 체인 - 플로우 엔지니어링미리 정해진 순서에 따라 여러번의 LLM 호출로 구현.서로 다른 어플리케이션 호출이 같은 순서로 LLM 호출을 수행하지만 입력 및 결과는 각각 다르게 나타남..

AI 챗봇에 메모리 기능을 추가해 이전 대화 내용을 기억하고 참조할 수 있게 하는 방법LLM의 무상태 특성을 극복하기 위해 랭그래프를 활용한 상태 저장 시스템 구축방법을 배운다.그래프 기반 아키텍처로 대화 흐름을 관리하고 상태를 추적하는 방법을 소개채팅 기록의 효율적인 관리를 위한 테크닉 학습챗봇 메모리 시스템 구축→ 이는 상태 저장 방식과 상태 쿼리 방식 두가지 설계적 결정이 있다.가장 간단한 챗봇 메모리 시스템 구축 방법은 사용자와 모델간 모든 채팅 대화 기록을 저장해 재활용하는 것메시지 목록 형태로 저장턴마다 최근 메시지를 추가해 업데이트메시지를 프롬프트에 추가 → 토큰이 많이 소모됨.최대 토큰 수(컨텍스트 윈도우) 제한이 있어서 어느 시점부터 가장 오래된 메시지를 강제로 잘라내야(Truncatio..

사용자 질의를 임베딩하고 벡터 저장소에서 관련 문서를 찾아 프롬프트에 컨텍스트로 제공하는 방법을 설명 쿼리 변환, 쿼리 라우팅(다양한 데이터 소스 활용을 위해), 자연어를 구조화된 쿼리로 전환하는 방법검색 증강 생성사용자 질의를 임베딩하고 데이터 소스에서 유사 문서를 검색한 후, 이를 프롬프트에 컨텍스르로 활용하는 과정을 검색 증강 생성이라고 부름→ 외부에서 얻은 컨텍스트를 제공해 LLM의 생성 정확도를 높이는 기법Rag 시스템 단계인덱싱외부 데이터 소스를 전처리한 후, 데이터를 나타내는 임베딩을 손쉽게 조회하도록 벡터 저장소에 저장검색질문을 바탕으로 벡터 저장소에 보관된 관련 임베딩 및 데이터를 추출생성원래 프롬프트와 검색 증강생성에서 활용한 관련 문서를 종합해 하나의 최종 프롬프트를 구성한 후, 이를..