많은 엔터프라이즈 기업들이 AI를 도입하며 기업 내부의 효율을 높이고 프로세스를 개선하려 합니다. 그러나 그 시기와 적확한 방법, 그리고 전체적인 전략을 세우지 못한 채 단순한 기술 도입에만 머무르는 경우가 많죠. 그런 의미에서 이번 빌더스콘에서 강연을 진행한 멀티플라이의 양순식 대표님은 AI 도입을 위한 IT 아웃소싱 전략에 대한 세션을 진행해 주셨습니다. 클라이언트 기업과 외주 개발사 간 존재하는 성과의 간극에 대해 그는 거대한 목표 달성을 위해 합의되어야 하는 중간 과정의 중요성을 강조했습니다.
“가장 선행되어야 하는 과제는 균형 잡힌 멘탈모델을 설정하는 것입니다. 초기 모델 구축까지만 수행하는 경우, 만족스러운 운영 환경에서의 정확도 대비 50% 수준의 활용도를 기대해야 하는 것이 현실적입니다. 재무적 자산으로는 아직 가치가 0에 수렴하기 때문입니다.”
이번 강연은 엔터프라이즈 기업들이 AI를 도입하는 과정과 그 내재화 전략에 대해 심도 있게 다룹니다. AI는 오늘날과 미래의 핵심 성장 동력으로 여겨지지만, 실제 기업 현장에서 이를 효과적으로 활용하기 위해서는 단순한 기술도입을 넘어 조직 전체의 변화와 긴밀한 협력이 필요하다는 사실을 강조합니다. 강연에서 양순식 대표님은 AI 도입 초기의 기대치와 현실 사이의 괴리, 그리고 이로 인한 실패 사례들을 가감없이 공유하면서, 이를 극복할 수 있는 단계별 로드맵과 전략을 제시합니다.
더 나아가 AI를 단순히 외주에 맡기는 것이 아니라 기업 내에 안정적으로 정착시키기 위한 방안과 함께 강연에서 나눴던 양순식 멀티플라이 대표님의 발표 내용을 요약 및 정리하여 전달 드립니다. 본 글을 통해 엔터프라이즈 기업들이 어떻게 AI를 도입하고 있는지, 클라이언트와의 개발 과정에서 발견한 주안점을 이야기하려 합니다.
실제 AI 아웃소싱 프로젝트에서 도출된 문제 사례들
멀티플라이 양순식 대표님께서 직접 진행한 AI 도입 개발 사례를 통해, 직면했던 문제점들과 그것을 어떻게 해결해나갔는지, 그리고 그 과정에서 느낀 인사이트들을 각각 소개했습니다. 세 가지 실제 프로젝트 사례를 통해 AI 도입 과정에서 겪게 되는 도전과 실패, 그리고 이를 극복하는 전략을 상세히 살펴보도록 하겠습니다.
PDF 문서 파싱(parcing) 프로젝트
화학 기업에서 수십만 건의 안전보건 관련 PDF 문서를 자동으로 파싱하고자 LLM(대형 언어 모델)을 도입하는 프로젝트를 진행한 적 있었습니다. 국제 안전보건 기준에 맞춰 수십만 건의 PDF 문서를 자동으로 인식하여, 수작업으로 진행되던 정보를 디지털화하려는 시도하는 과정에서, 내부 파일럿 테스트에서는 약 94%에 달하는 높은 정확도를 보였으나, 실제로 문서 하나당 평균 10분이 소요되어 기존의 수작업 방식에 비해 처리 속도가 매우 느렸습니다. 또한, 고가의 GPU 사용 등 인프라 비용 문제로 인해 실제 운영에서의 활용도가 낮았습니다.
발견한 문제점
최신 대형 언어 모델(LLM)을 활용해 약 94%에 달하는 높은 정확도를 기록했지만, 문서 하나 처리에 10분이 소요되는 등 속도 면에서 극심한 문제를 보였습니다. 또한, 대규모 GPU 사용 등 인프라 비용이 급증해 실무 적용에 큰 부담이 되었습니다.
사내벤처의 도서 이미지 인식 모델
은행 사내벤처에서 고객의 서재 이미지를 촬영해 책 정보를 디지털화하는 애플리케이션을 개발하였습니다. 은행 내 사내벤처에서 개발한 앱은 고객의 서재 이미지를 인식해 책 정보를 자동으로 디지털화하는 기능을 목표로 했습니다. 이를 위해 사진 촬영, OCR(광학 문자 인식), 그리고 데이터베이스와의 연동을 시도했습니다. 내부 테스트에서는 거의 99%에 가까운 성능을 기록하였으나, 실제 사용자 환경에서는 조명, 반사, 어두운 서재 등 다양한 변수로 인해 인식 성공률이 50% 미만으로 떨어졌습니다.
발견한 문제점
초기 내부 테스트에서는 거의 완벽한 인식률을 보였으나, 실제 사용자 환경에서는 조명, 반사, 각도 등 다양한 변수로 인해 모델의 정확도가 급격히 하락해 약 50% 수준에 머물렀습니다. 동일한 책이라도 포장 방식이나 디자인, 촬영 각도에 따라 성능이 급격히 저하되는 상황을 통해 테스트 환경과 실제 환경 간의 큰 격차가 프로젝트 실패의 주된 원인임을 알 수 있었습니다.
프랜차이즈 매장의 제품 인식
프랜차이즈 매장에서 다양한 빵과 관련 제품을 AI로 인식하여 재고 및 매출 관리를 자동화하려는 시도가 있었습니다. 프랜차이즈 매장에서는 매장마다 제품 구성과 진열 방식이 달라, AI를 통해 재고 파악과 제품 인식을 자동화하고자 하는 시도가 있었습니다. 특히, 다양한 종류의 빵 및 관련 품목을 실시간으로 인식해 매출과 재고 관리를 정확하게 수행하는 것이 목표였습니다.
발견한 문제점
매장마다 제품의 외관, 포장 방식, 진열 환경 등이 상이하여 한 지역 또는 특정 매장에서만 안정적인 성능을 보이는 모델이 전국적으로 동일한 결과를 내기 어려웠습니다. 이러한 환경 차이로 인해 기존 시스템으로는 전국적인 확장에 한계가 나타났으며, 수동 개입과 추가 데이터 수집 없이 자동화하는 데 큰 어려움이 있었습니다.
AI 아웃소싱과 내재화 프로세스 A to Z
양순식 대표님은 이러한 문제점들과 직면한 사례를 통해 엔터프라이즈 기업에서 AI 도입해야 하는 과정을 네 가지 단계로 나누어 설명하며, 각 단계마다의 목표와 주의해야 할 사항들을 구체적으로 제시했습니다.
초기 전략 도출 단계
이 단계에서는 고객사와 외주 개발사가 만나, 사업 현황, 조직 문화, 데이터 보유 상황 등 다양한 요소를 종합적으로 검토합니다. 파일럿 테스트(PoC)를 진행하여 AI 기술이 실제 요구사항에 부합하는지를 확인하고, 예상되는 리스크를 사전에 파악합니다. 도표에서는 RFP(요구사항 정리) 및 샘플 테스트 결과를 바탕으로 초기 목표와 범위를 설정하는 과정을 시각적으로 표현하였으나, 본 텍스트에서는 이러한 과정을 ‘면밀한 사전 검토와 테스트’를 통해 이해할 수 있도록 설명합니다.
프로세스 | 설명 | 비고 |
초기 컨설팅 | 비즈니스 맥락에 따른 AI 기능과 범위 정의 | 사업 현황, 조직 문화, 데이터 보유 등 다면적 접근 |
샘플 테스트
(필수) | 실현 가능성과 초기 목표 타진을 위한 미니 프로젝트 | 본 프로젝트의 예상 리스크를 사전에 파악/고지 |
PoC
(선택) | 샘플 테스트 이상의 검증이 필요 | 샘플 테스트 결과 확인된 리스크의 위험 정도가 큰 경우 범위를 협의한 후, 부분적인 착수 > 구축 > 테스트 절차를 수행 |
제안 및 협의 | 샘플 테스트 또는 PoC 결과와 우리 조직의 가용 예산 및 일정을 고려한 초기 구축 범위와 목표 정확도 산출 | 정확도를 측정하는 기준과 ‘예상’ 제약 조건을 매우 상세히 확인하는 상호 이해도 합치 과정이 필수적 |
- 고객사와 AI 아웃소싱 파트너가 만나 프로젝트의 범위, 목표, 그리고 필요사항을 상세하게 정의합니다.
- 단기적인 파일럿 테스트(PoC)를 통해 실제 적용 가능성을 검증하고, 예상되는 리스크를 사전에 파악합니다.
- 이 과정을 통해 초기 기대치를 현실적으로 조정하고, 양측 모두가 협력할 수 있는 기반을 마련하는 것이 중요합니다.
초기 모델 구축 단계
수집된 데이터를 바탕으로 학습용 및 평가용 데이터셋을 구축하고, 딥러닝과 LLM 기법을 적용하여 초기 모델을 개발합니다. 도표는 데이터셋 구축부터 학습, 평가, 배포까지의 전 과정을 흐름도로 정리하여, 각 단계에서 발생하는 문제점과 개선 사항을 명확히 보여주었으나, 여기서는 ‘체계적인 데이터 준비와 반복 학습 과정’으로 요약됩니다.
프로세스 | 설명 | 비고 |
데이터셋 구축 | 딥러닝: 학습용, 평가용 데이터셋 구축
LLM: RAG 기반 데이터 및 벡터데이터베이스 구축 | 데이터를 수집하고 이를 기반으로 데이터셋을 구축하는 방식과 전략은 천차만별 |
학습 수행/평가 | 딥러닝: 최적 증강 기법 및 알고리즘(버전) 탐색
LLM: 최적 파운데이션 모델 탐색 혹은 파인튜닝
평가: 평가용 데이터셋/시나리오에 기반하여 점수화 | 증강 및 벡터화 기법, 적용 알고리즘 및 파운데이션 모델에 따라 최적의 성능을 보이는 조건을 찾아 사이클을 반복하며 연구하는 과정 |
배포 | 구축한 모델/파이프라인을 (시범)운영 환경에 배포 | 운영 과정에서 발생하는 운영 데이터와 다양한 사용 기록(로그)은 차후 고도화에 활용됨 |
- 수집된 데이터를 기반으로 첫 번째 AI 모델을 개발하는 단계입니다.
- 모델은 아직 초기 단계로, 완벽한 성능을 보이지는 않지만, 기본적인 기능을 수행할 수 있는지 확인하는 것이 목적입니다.
- 데이터셋 구축, 모델 학습, 평가 및 배포 과정을 거치며, 마치 요리를 위한 재료 준비와 조리 과정을 비유하듯, ‘재료 손질’과 ‘초기 조리’에 해당하는 단계입니다.
수동 운영 단계
초기 모델을 실제 운영 환경에 배포한 후, 지속적인 모니터링과 사용자 피드백을 바탕으로 추가 라벨링과 재학습을 수행합니다. 도표에서는 수동 운영 동안 일 단위로 재학습하며, 월별로 성능이 개선되는 과정을 그래프로 나타내었는데, 이 과정은 ‘초기 낮은 성능을 점진적으로 개선해 나가는 중요한 기간’임을 설명합니다.
프로세스 | 설명 | 비고 |
운영 로그 관찰 | 실 운영 과정에서 확인되는 다양한 예외 사항(낮은 정확도) 및 기능 장애 리포트 | • 내재화의 점진적인 시작
• 초기 모델 구축 과정에서 상정한 증강 및 벡터화 기법 등이 변경될 수 있음 (안정화) |
추가 데이터 수집 | 개선을 위해 필요한 데이터를 수집하고 이에 기반한 추가 데이터셋을 구축 | ㅤ |
재학습/배포 | 재학습 모델의 성능이 기존 모델보다 우수한 경우 배포된 모델을 교체 | ㅤ |
- 초기 모델을 실제 환경에 배포한 후, 지속적으로 모니터링하며 수동으로 데이터를 수집, 평가, 재학습하는 단계입니다.
- 실제 사용자들이 제공하는 다양한 데이터를 통해 모델이 갖지 못한 예외 상황이나 오류를 파악하고, 이를 수정하는 작업이 이루어집니다.
- 이 단계는 모델의 성능을 점진적으로 개선하며, 향후 자동 운영으로 전환하기 위한 기반을 다지는 중요한 기간입니다.
반자동/자동 운영 단계
최종적으로 MLOps 기반의 자동화 시스템을 도입하여, 재학습, 업데이트, 배포 과정을 자동화합니다. 도표는 이 단계에서의 조건부 자동 재학습, 일 단위 모델 업데이트, 그리고 전국 3,000개 가맹점 확장 계획을 시각적으로 표현하였으나, 텍스트에서는 ‘자동화 시스템을 통해 지속적으로 성능을 유지하고 확장하는 전략’으로 이해할 수 있습니다.
프로세스 | 설명 | 비고 |
Ops 시스템 구축 | 수동 운영 과정의 프로세스와 데이터, 내부 업무 프로세스에 맞춘 전용 ML/LLM Ops 시스템 구축 (개별 구축 혹은 SaaS 솔루션 사용) | • 상당한 수준의 내재화
• 전담 내부 인력 배정 권고
◦ 당사로부터 일정 수준의 교육을 받은 비 전문 인력이 수행 가능
◦ 연간 기술 지원 |
자동 데이터셋 구축 | 설정된 주기/기준에 따라 데이터 수집 및 데이터셋 구축 자동 수행 | ㅤ |
자동 재학습/배포 | 설정된 로직에 따라 학습 자동 수행 및 평가, 이에 따른 배포 자동 수행 | ㅤ |
- 충분한 데이터 축적과 반복 학습을 통해 모델의 성능이 안정되면, 운영 프로세스를 자동화하는 단계로 진입합니다.
- 옵스(Operations) 시스템을 도입하여, AI의 재학습, 업데이트, 배포 과정을 자동으로 관리할 수 있도록 구축합니다.
- 이 단계에서는 기업 내 전문 AI 엔지니어 없이도 시스템이 안정적으로 운영되며, AI가 기업의 전반적인 운영 체계에 완전히 내재화됩니다.
성공적인 AI 아웃소싱 및 내재화로 전환하게 되는 전환점
이러한 IT 아웃소싱 내재화 프로세스를 통해 기존의 난관과 문제점들은 새롭게 재정립 될 수 있습니다. 서두에 언급했던 각각의 문제 사례뜰은 초기모델 구축 단계와 수동 운영 단계, 그리고 반자동 운영 단계별로 세분화하여 프로젝트 성공을 재정의할 수 있었다고 양순식 대표님은 말합니다.
성공적인 AI 도입을 위한 핵심 전략과 포인트
이러한 사례들에서 도출된 인사이트와 그에 수반되는 로드맵을 바탕으로 기업에서 성공적인 AI 도입을 위한 몇 가지 핵심 원칙과 전략을 정의한다면 다음과 같습니다.
현실적인 기대치 설정
- 초기 AI 모델은 높은 정확도 수치에도 불구하고 실제 운영에서는 기대에 미치지 못할 수 있습니다.
- 따라서 초기 단계부터 너무 큰 기대를 갖기보다는, 점진적으로 개선될 수 있다는 현실적인 관점이 필요합니다.
- 고객사와 개발 파트너 모두가 초기 성과가 낮더라도 장기적인 개선 과정을 신뢰하고 협력할 준비가 되어 있어야 합니다.
협력적 파트너십
- AI 도입은 단순히 기술 문제만이 아니라 조직 간의 긴밀한 협력이 중요한 과제입니다.
- 고객사와 외주 개발사가 동등한 관계에서 상호 의견을 공유하고, 리스크와 해결 방안을 함께 모색하는 것이 성공의 열쇠입니다.
- 원활한 소통과 신뢰를 바탕으로 한 파트너십은 프로젝트의 장기적인 성공을 보장하는 중요한 요소입니다.
파일럿 테스트와 점진적 개선
- PoC 및 샘플 테스트를 통해 실제 적용 가능성과 잠재적 문제점을 미리 파악하는 과정은 매우 중요합니다.
- 초기 수동 운영 기간을 충분히 두어, 현장에서 발생하는 다양한 예외 상황에 대응하고, 이를 통해 모델을 점진적으로 개선해 나가야 합니다.
- 이러한 반복적인 개선 과정을 통해 AI 모델이 안정화되면, 이후 자동화 단계로 원활하게 전환할 수 있습니다.
장기적 내재화 전략과 운영 인프라 구축
- 단기적인 프로젝트 성공에 그치지 않고, AI 기능을 기업의 핵심 운영 시스템에 완전히 통합하는 것이 최종 목표입니다.
- 이를 위해 옵스(Operations) 시스템 등 자동화 및 운영 관리 체계를 구축하여, AI가 지속적으로 학습하고 업데이트될 수 있도록 해야 합니다.
- 이 과정은 결국 AI가 기업의 DNA에 자리 잡게 만들어, 전문 인력이 없어도 안정적인 운영이 가능하도록 하는 장기 전략입니다.
성공적인 AI 아웃소싱 도입 및 정착을 위한 제언
성공적인 AI 도입은 좋은 멘탈 모델에서 시작됩니다. 이러한 멘탈모델을 설정함에 있어서 주의할 점을 간략히 요약하자면 다음과 같습니다.
프로젝트를 성공으로 연결시키는 멘탈모델에 대한 제언
- 초기 모델 구축까지만 수행하는 경우, 만족스러운 운영 환경에서의 정확도 대비 50% 수준의 활용도를 기대해야 하는 것이 현실적. 재무적 자산으로는 아직 가치가 0에 수렴
- 수동 운영 기간은 3개월 단위로 수행 및 평가하되, 그 기간은 1년 이상일 수 있음. 기능이 안정화되고, 해당 기능에 대한 운영 메뉴얼이 자리잡을 때까지 진행하는 것이 좋음.
- 반자동 운영을 위한 Ops 구축 또한 프로세스 단위별로 나누어 수행할 수 있음. 예산과 기간 또한 해당 모델의 수행 가치를 재무적으로 평가하여 기준을 잡는 것이 바람직.
초기에는 낮은 성과와 예기치 못한 변수들로 인해 시행착오를 겪게 되지만, 현실적인 기대치와 지속적인 협력을 통해 점진적으로 개선할 수 있음을 양순식 대표님은 강조합니다. 결국, 엔터프라이즈 AI 도입과 AI 아웃소싱을 통한 내재화 전략은 단순한 기술 적용을 넘어, 조직 전체의 협업과 체계적인 프로세스 관리가 필수입니다. 초기에는 낮은 성과와 예기치 못한 변수들로 인해 시행착오를 겪게 되지만, 현실적인 기대치와 지속적인 협력을 통해 점진적으로 개선할 수 있음을 보여주죠. 특히, 파일럿 테스트와 수동 운영 단계를 통해 현장의 다양한 데이터를 반영하며 개선한 후, 자동화된 운영 체계를 구축하는 것이 성공적인 내재화의 핵심임을 시사합니다.
이와 같은 단계별 접근과 협력적 파트너십은 AI 도입이 단기적 기술 도입을 넘어 기업 전반의 경쟁력을 강화하는 중요한 전략이 될 수 있음을 명확히 보여줍니다. 이 아티클을 읽는 기업 관계자 분들 역시 AI 도입과 내재화에 앞서 멘탈모델을 재정의함으로써 지속적인 IT 아웃소싱 협업과 이를 통한 프로젝트 성공에 한 걸듬 더 다가가길 바랍니다.
궁금하신 사항이 있으시다면, ‘스파르타빌더스 둘러보기‘를 통해 언제든지 문의 부탁 드립니다.
Share article
Subscribe to our newsletter
