AI 오케스트레이션을 통한 조직 내 AI 접근성 확대 전략(25-4-28)최승우.KB금융경영연구소

<요 약>

 

 기술적 복잡성과 데이터의 품질 및 편향 문제, 통합된 인공지능(AI) 거버넌스 체계의 부재 등 복합 적인 요인으로 인해 AI 모델이 조직 전반에서 폭넓게 활용되지 못하고 있음

 

○ 거대언어모델(Large Language Model, LLM) 기술이 인간 수준의 언어 이해와 생성 능력을 갖추며 다양 한 벤치마크에서 인간 전문가에 근접하는 성능을 보여주면서 전 산업에 걸쳐 주목을 받고 있음

 

○ 그러나 여전히 최적 모델 선택, 환각(Hallucination) 현상에 따른 부정확한 답변, 그리고 기업 고유의 업무에 대한 기술적 진입장벽으로 인해 전사적 AI 활용에는 한계가 존재

 

 다양한 구성 요소를 유기적으로 통합하고 조율하기 위한 AI 오케스트레이션(AI Orchestration) 등장

 

○ AI 오케스트레이션은 다양한 툴이나 모듈을 연결하고 조건에 따라 적절한 것을 선택적으로 호출하 는 자동화된 판단 기능은 물론, 복잡한 요청을 하위 작업으로 분류하고 순차 실행하는 다단계 실행 기능과 사용자의 대화 이력이나 업무 흐름 상태를 기억하는 콘텍스트 유지 기능을 갖춤

 

○AI 오케스트레이션 도입의 가장 큰 효과는 접근성 향상으로 기술 장벽을 제거하고 직관적 인터페 이스 상에서 사용자별로 맞춤 대응함으로써 비개발 부서도 AI를 자유자재로 활용하여 조직 전체의 생산성과 디지털 역량을 향상시킬 수 있다는 것임

 

 AI 오케스트레이션에서 ‘모델 콘텍스트 프로토콜(Model Context Protocol, MCP)’은 AI 모델과 데이터 소 스 및 도구 간의 상호작용을 표준화하여 조직 내 AI 접근성과 활용성을 향상시키는 핵심 요소로 부상

 

  ○MCP는 LLM이 검색·데이터베이스·연산 등 외부 도구를 상황에 맞게 자동으로 선택하고 연동할 수 있도록 도와주는 에이전트 인터페이스 프로토콜로, 앤트로픽이 2024년 11월 오픈소스로 공개

 

  ○기존 워크플로우 기반 오케스트레이션과 비교해 AI 모델이 동적으로 워크플로우를 판단하고 필요 에 따라 도구를 유연하게 호출하며, 상황에 따른 콘텍스트 변화를 추적하고 복수 시스템 간의 상태 정보를 연계하여 기능 추가 및 연동이 용이하다는 장점이 있음

 

 ○ 2025년 4월 현재까지 오픈AI, 마이크로소프트, 구글, 아마존 등 주요 AI 기업들이 자사 제품에 도 입을 선언하면서 사실상 기술 표준(De facto standard)이 되고 있음

 

 향후 전망 및 시사점

 

  ○금융권은 고유한 보안 요건과 도메인 특성으로 인해 일반적인 AI 오케스트레이션 구조만으로는 실 질적인 적용에 한계가 존재하므로, AI 도입 초기부터 AI 오케스트레이션 전략을 적용하며 데이터 팀·IT 운영 팀·컴플라이언스 팀 등 다양한 부서 간의 유기적 협업을 이끌어내는 것이 중요

 

  ○ 직관적 사용과 반복 가능성에 초점을 맞춰 기능의 완성도보다 사용자 경험(UX) 중심으로 접근

 

 

 

AI 오케스트레이션을 통한 조직 내 AI 접근성 확대 전략.pdf

0.90MB