AI 프로젝트 매니저 설계 전략

Referenced by: https://www.samsungsds.com/kr/insights/building-ai-employees-learn-and-adapt.html

생성형 AI와 에이전트 기술이 빠르게 확장되면서, 많은 기업이 AI를 조직 내 업무에 투입하고 있습니다. 회의 요약, 보고서 작성, 코드 생성, 고객 응대 등 다양한 영역에서 성과를 내고 있지만, 현장의 IT 리더들과 실무자들이 공통적으로 느끼는 한계도 존재합니다.

**AI는 유용하지만 능동적으로 개입하는 함께 일하는 동료처럼 느껴지지 않는다는 점입니다."

이러한 문제에 대해서 이 글은 한 팀이 AI 프로젝트 매니저를 직접 설계하면서 겪은 시행착오와 아키텍처 전환과정을 통해, AI를 직원처럼 일하게 하는 방법을 탐구합니다.

전형적인 AI 챗봇

AI 프로젝트 매니저의 첫번째 버전은 전형적인 AI 에이전트와 크게 다르지 않게 회의록과 의사결정 로그 검색하도록 구성하였습니다. 이렇게 구성한 챗봇은 결과적으로 '프로젝트 매니저'처럼 사고하지 못했습니다. 초기 결과는 나쁘지 않았습니다. 스탠드업 회의를 요약했고, 주간 상태 보고서를 작성했으며, 티켓 현황을 분석해 전달했습니다. 그런데 프로젝트의 범위가 커지면서 맥락 이해의 문제가 발생하였습니다. AI는 작업을 나열할 수는 있었지만, 코드 개발이나 문서 작성, 마케팅 준비가 하나의 기능 출시라는 더 큰 목표 아래 연결되어 있다는 점을 파악하지 못했습니다. 위험 요소를 사전에 식별하지 못했고, 작업을 상위 워크스트림으로 조직화하지도 못했습니다. 결과적으로 ‘프로젝트 매니저처럼’ 사고하지 못했습니다.

프롬프트의 한계와 설계 재고

이 상항에서 우리는 에이전트가 실수할 때마다 프롬프트를 수정하고 지침을 추가했습니다. 잘못된 답을 주면, 지시를 보완하고, 수행하지 못하는 작업이 있으면 조건을 더 상세히 명시했습니다. 일시적으로 개선 효과는 있었습니다. 그러나 시간이 지나면서 프롬프트는 방대한 오류 기록 저장소가 되었고, 상충하는 지시가 뒤섞이기 시작했습니다. 지침이 복잡해질수록 성능은 오히려 불안정해졌습니다. 이는 구조적인 문제였습니다.

멀티 에이전트로 분리하는 전통적인 해법도 고려했지만, 팀은 근본적인 질문을 던졌습니다. "신입 프로젝트 매니저를 채용했다면 우리는 어떻게 했을까?" 답은 분명했습니다. 우리는 그에게 업무를 가르치고, 경험을 통해 배우도록 하고, 피드백을 주며 성장시켰을 것입니다. 그렇다면 AI도 그렇게 설계해야 한다는 결론에 도달했습니다.

기억하는 AI : Raw Memory와 Mental Memory

새로운 설계의 핵심은 기억과 학습이었습니다. 이를 위해 기억 구조를 두 계층으로 나누었습니다. Raw Memory는 AI가 경험하는 모든 사건을 저장합니다. 각 기억은 메타데이터로 태깅되고, LLM을 활용해 사람 및 프로젝트, 산출물 등의 엔티티를 추출합니다. 이는 이후 검색과 연계를 가능하게 합니다

Mental Model은 개별 기억을 연결해 상위 개념을 형성하는 구조입니다. 제품 이해, 소프트웨어 개발 수명주기, 팀원의 역량, 프로젝트 우선순위, 그리고 AI 자신의 역할과 책임 등이 여기에 포함됩니다. 초기 온보딩 단계에서 기본 Mental Model을 정의하지만, 이후에는 수동으로 수정하지 않는다는 원칙을 세웠습니다. 이는 모델이 오직 새로운 경험을 처리하거나, 피드백을 반영하는 과정을 통해서만 업데이트함으로써 프롬프트를 계속 수정하던 과거 방식과의 단절시키도록 하였습니다.

AI는 요청을 받으면 의도를 분석하고, 관련 Mental Model을 조회한 뒤 계획을 수립합니다. 계획은 일반적으로 여러 하위 작업으로 구성되며, 단기 세션 메모리를 통해 실행 상태를 추적합니다. 모든 상호작용과 결과는 다시 Raw Memory로 저장됩니다. 이렇게 축적된 데이터가 학습의 토대가 됩니다 스케줄러로 동작되는 탐색과정은 실패 사례와 성공 사례의 차이를 분석하고, 필요한 경우 Mental Model를 수정합니다. 이는 단순 오류 수정이 아닙니다. 업무 수행 방식 자체를 점진적으로 개선하는 학습 과정입니다.

챗봇에서 AI 직원으로

AI를 직원처럼 일하게 만드는 비결은 기술적 트릭이 아닙니다. 역할을 정의하고, 협업 공간에 통합하며, 기억과 학습구조를 설계하고 피드백 매커니즘을 갖추는 것입니다. 이는 기업 환경에서 AI를 단순 생산성 도구가 아닌 '디지털' 동료로 진화시키는 접근입니다.

이러한 관점은 기업이 생성형 AI를 도입할 때 중요한 시사점을 제공합니다. 단순한 모델 연결을 넘어 협업 환경과의 통합, 데이터 자산의 구조화, 거버넌스 기반의 학습 설계가 병행되어야 합니다. 결국 AI의 경쟁력은 모델 크기가 아니라, 조직 맥락 속에서 얼마나 지속적으로 학습하고 적응하는가에 달려 있습니다. 그리고 그 학습을 가능하게 하는 구조를 설계하는 것이야말로, 이제 기업의 새로운 IT 아키텍처 과제가 되고 있습니다.