[2/21] pi에게 안녕이라고 하면 일어나는 일
pi를 간단히 분석해보자
AI 하네스의 내부 구조는 어떻게 되어 있을까. codex도 오픈소스로 공개되어 있지만, 가장 간단한 구조를 가진 pi를 뜯어봄으로써 이 문제에 대답해보려고 한다. 우선 가장 간단한 질문부터 시작한다. 내가 “안녕?”이라고 텍스트를 보내면, LLM은 “안녕하세요. 무엇을 도와드릴까요?”라고 답장을 보낼 것이가. 이 과정부터 살펴보자.
“안녕”에서 “안녕”까지
pi가 설치되어 있는 컴퓨터에서 다음과 같이 명령하자.
pi -p "안녕"
“안녕하세요. 무엇을 도와드릴까요?”라는 답변이 돌아오기까지 어떤 경로를 걸치는 것일까? 우선 pi의 패키지 목록을 보면 여러 개의 패키지로 구성되어 있는 것을 볼 수 있다.

이 중 살펴봐야 할 것은 coding-agent와 agent이다. coding-agent는 cli를 구현하고 있고, agent 는 실제 에이전트 동작을 구현하고 있는 패키지이다.
터미널에서 pi를 실행하면, coding-agent의 main.ts에 있는 main 함수에서 이것을 처리한다. 이런저런 복잡한 초기화 과정을 거치면서 에이전트 세션을 생성한다.
에이전트 세션에는 에이전트를 가지고 있다. 이 에이전트는 대화 내역을 유지하면서 모델을 호출하는 일과 도구를 실행하는 일을 관장한다. 에이전트 세션은 대화 기록을 영속화(저장)하고 복원하는 일과, 모델을 변경하는 일, 길어진 대화를 요약(compact)하는 일, 확장 기능을 연결하는 일 등을 관리한다.
예를 들어서, 모델이 파일 읽기를 요청했을 때 읽기 도구를 실행하고 모델에 결과를 전달하는 일은 에이전트가 한다. 이런 기록을 저장해 두었다가 다음에 pi를 실행했을 때 불러오는 일은 에이전트 세션이 하는 일이다.
프롬프트는 에이전트 세션을 거쳐 에이전트에 전달된다. 세션에는 이 프롬프트가 슬래시 명령인지, 이미 실행 중인 프롬프트가 있는지 등을 거쳐서 최종적으로 에이전트에게 전달한다.
이 과정에서 사용되는 에이전트 명령어는 크게 두 가지가 있다. 새로운 프롬프트를 보낼 때 쓰는 prompt() 명령과, 계속해서 실행을 이어나가는 continue() 명령이 있다.
prompt()에는 내부적으로 에이전트 루프라는 것이 존재한다. 에이전트 루프에서는 tool 사용이 필요한 경우로 판단되는 경우에 계속해서 돌아간다. 하지만 우리가 설명하고 있는 지금 이 경우는 tool 사용이 필요하지 않기에 루프는 한 번만 돌아간다. 따라서 이 내용은 이후 다시 설명하기로 한다.
continue() 명령에 대해서도 추후 다시 설명하기로 한다. 지금 이 시점에서는 현재의 맥락을 가지고, 에이전트를 계속해서 실행시키는 것이라고만 이해하자.
계속해서, 에이전트는 “안녕하세요, 무엇을 도와드릴까요?” 라고 메세지를 내놓았을 것이다. 모델 응답이 완성되었으므로 에이전트 루프가 message_end 를 발생시키고, 완성된 응답을 에이전트의 상태에 추가한다. 이때, 별도의 tool 호출이나 다른 것이 발생하지 않고 끝났으므로 agent_end 이벤트가 발생한다.
프린트 모드의 경우, 응답을 터미널에 뿌려줘야 한다. message_end 이벤트가 발생됨과 동시에 에이전트의 상태가 업데이트 되는데, 이것을 화면 버퍼에 뿌려준다.
AI야, 시를 써줘
그렇다면 tool 호출이 필요한 경우에는 어떻게 되는 걸까?
pi -p "poem.txt에 짧은 시를 한 편 써줘. 어떤 주제던지 좋아."
이때의 흐름을 먼저 간략적으로 살펴보자. 최초 프롬프트를 받아 든 LLM은 우선 파일이 있는지 없는지부터 확인한다. 없다는 것이 확인되었다면, poem.txt에 시를 작성한다. (짧게 작성하기 때문에 tool 호출은 한 번이면 족할 것이다.) 그 후, poem.txt를 읽어보면서 잘 작성되었는지 확인하고, “완료되었습니다”라는 메세지를 보낼 것이다.
물론 모델에 따라 차이는 있겠지만 보통은 이런 흐름으로 흘러갈 것이다. 이번에도 프롬프트는 에이전트 세션을 거쳐서 에이전트에게 돌아간다. 그러면 에이전트는 이것을 LLM 모델에 전달하고, LLM 모델은 파일이 있는지 없는지 확인하기 위해 read tool을 호출한다. 이것을 호출하면, 에이전트 루프에서 execute()를 호출한다. 그리고 이 tool 호출의 결과를 toolResult 메세지로 추가해서, 다시 LLM 모델을 호출한다.
tool 호출과 관련된 이러한 매커니즘은 단계 별로 계속해서 반복된다. 그래서 이것을 에이전트 루프라고 부른다. 그렇다면 에이전트 루프가 끝나는 것은 어떻게 정해질까?
모델이 더 이상 tool 호출을 하지 않으면 끝난다. 보통의 경우는 이런 식으로 에이전트 호출이 끝난다.
아아아아압축
그렇다면, 압축은 어떻게 이루어질까? 계속해서 채팅을 치다보면 컨텍스트는 흘러 넘친다. 그렇기 때문에 자동 압축이라는 것이 존재한다. 압축을 마치고 난 후에 모델에게 전달되는 것은 요약문과 최근 대화의 원본이다. (대화 자체는 세션에 계속해서 저장된다)
이 과정이 일어나기 위해서는 먼저, 컨텍스트 사용량을 확인해야 한다. 이 컨텍스트 사용량을 확인하는 데에는 토큰 사용량을 이용한다. (토큰 사용량은 보통 API를 호출할 때 같이 따라온다.) 필요한 경우에 메세지 크기로 추정하기도 한다. 컨텍스트 한도보다 조금 여유를 두고 상한선을 정한다.
그 다음으로는, 최근 약 20,000토큰 정도를 남기고 그 이전 내용을 요약 대상으로 잡는다. 여기서 한 가지 문제를 생각해볼 수 있다. 만약 tool 호출을 지시하는 내용만 요약본에 들어가고, 그 결과는 요약본에 들어가지 않으면 어떤 문제가 일어날까? 호출하는 부분이 요약문으로 대체되기 때문에, LLM 모델은 호출 없이 결과가 생겼다고 보고 요청을 거부할 수도 있다. 그렇기 때문에 남겨둘 구간의 시작점이 toolResult가 되지 못하게 조정하는 과정이 필요하다.
이렇게 경계를 조정하고 나서는 LLM 모델에 요약을 요청한다. (참고로, pi에서는 현재 사용 중인 모델이 요약도 같이 한다.) 요약 결과가 돌아오면, 세션 기록에 요약문과 유지할 메세지가 기록된다. 참고로, 대화 자체는 세션에서 계속 저장되므로, 유지할 메세지의 시작점을 따로 기록해둔다.
마치며
사실, LLM 모델 그 자체에는 팔이 달려있지 않다. 모델들이 해내는 아주 많은 일들은 사실 하네스가 있기 때문에 가능한 것이다. 짧게나마 하네스에 대한 이해를 하는 편이 AI를 활용하는 데 있어서 도움이 될 것이라고 믿는다.
21일 챌린지
9/21 작성 · 싸이버거 0개 적립
- 111/6
- 211/7
- 311/8
- 411/9
- 511/10
- 611/11
- 711/12
- 811/13
- 911/14
- 1011/15
- 1111/16
- 1211/17
- 1311/18
- 1411/19
- 1511/20
- 1611/21
- 1711/22
- 1811/23
- 1911/24
- 2011/25
- 2111/26
- 작성
- 오늘
- 놓침
- 예정
댓글
GitHub 계정으로 의견을 남길 수 있습니다.