기업 AX 전환의 본질: '누가', 그리고 '어디까지'
AX라는 새로운 화두가 소개된지 약 1년여의 시간이 지났습니다. 그동안의 시행착오 속에서 기업 AI 전환의 본질이 서서히 드러나고 있습니다. 그것은 결국, 어떤 결정을 누가 내리고 어디까지 맡기느냐로 귀결됩니다. 그 과정에서 회사가 밟아야 할 네 단계와 각 단계의 산출물을 정리했습니다.
Aug 14, 2026
Contents
참고 문헌AX라는 키워드가 대두된지, 어느덧 1년여가 넘는 시간이 지났습니다. 기업과 실무 현장에서 AX를 위한 시도와 노력을 여전히 한다고는 하지만, 여전히 그 방법과 방향을 가늠하지 못하는 경우가 많습니다. 글로벌 컨설팅 기업 매킨지가 지난 2월 발표한 조사에 따르면, 16개국 17개 산업에 종사하는 시니어 리더 1만여 명 중 무려 88%가 소속 조직에서 이미 AI를 배포 및 활용하고 있다고 답했습니다. 그러나 이면을 들여다보면 흥미로운 사실이 발견됩니다. 6곳 중 1곳은 조직 내에 AI를 총괄 책임지는 사람이 전무하다고 밝혔습니다. 기업 현장에서 AI 전환을 시작한 지 1년 남짓 흐른 지금, 강력한 도구는 도입되었으나 그 도구와 관련한 의사결정의 '책임자'는 아직 공석이라는 의미입니다.
국내 산업계에 AX 전환이라는 화두가 본격적으로 등장한 시기도 이와 맞물립니다. 그간 시장의 논의는 줄곧 '어떻게'라는 방법론에 갇혀 있었습니다. 어떤 모델을 도입할지, 어떤 솔루션을 연동할지, 방대한 사내 데이터를 어떻게 학습시킬지에만 몰두해 왔습니다. 이제 사내 챗봇이 복잡한 보고서 초안을 작성하고 회의록을 요약하는 풍경은 낯설지 않습니다. 하지만 정작 그 초안을 최종 승인하는 절차와 주체는 작년의 방식에서 한 치도 벗어나지 못한 경우가 허다합니다.
다시 말하지만, AX 전환이라는 시대적 변화를 맞은지, 어느덧 1년을 넘겼습니다. 이제 우리가 던져야 할 근본적인 질문은 ‘어떻게’가 아닌, ‘어떤 결정’을 '누가' 내리고, AI에게 '어디까지' 위임할 것인가, 입니다.
AX 도입은 폭발적인데, 실질적인 변화가 더딘 이유
최근 기업 현장에서 AI 전환의 성과를 논할 때 가장 흔히 들리는 평가는 이렇습니다. "열심히 쓰기는 하는데, 도대체 조직 차원에서 무엇이 달라졌는지 체감하기 어렵다." 이는 특정 기업만의 예외적인 현상이 아닙니다. 최근 1년간 발행된 여러 기업 내 AI 내재화 관련한 현황 조사에서 놀라울 만큼 동일한 패턴을 반복하고 있습니다.
확산의 실패인가, 근본적 변화의 부재인가
매킨지가 2025년에 정리한 데이터를 살펴보면, AI를 최소 하나 이상의 업무 영역에서 사용하는 조직의 비율은 2017년 20%에서 88%로 비약적으로 치솟았습니다. 그러나 전사 차원의 전면적인 도입을 달성했다고 응답한 곳은 불과 7%에 그쳤습니다. 압도적인 초기 도입률과 초라한 확산률 사이의 괴리가 극명하게 드러납니다.
글로벌 회계·컨설팅 법인 딜로이트가 2026년에 발표한 조사 결과는 그 원인을 더 노골적으로 짚어줍니다. 응답 기업의 48%는 기존의 업무 워크플로나 역할을 전혀 재설계하지 않은 채 AI 도구만 도입했다고 답했습니다. 반면, 새로운 운영 모델을 수립하고 전사 규모로 업무 프로세스를 재설계한 곳은 12%에 불과했습니다. 나머지 응답자 중 34%는 심층적인 AI 전환에 갓 착수한 상태였고, 30%는 핵심 프로세스를 AI 중심으로 개편하는 중이었으며, 37%는 과거의 절차를 그대로 답습하며 표면적인 흉내 내기에 머물러 있었습니다.
이 두 가의 조사를 교차 분석하면 뚜렷한 인과관계가 도출됩니다. '88 대 7'이라는 숫자는 표면적 증상이며, '48 대 12'는 그 증상을 일으킨 근본 원인입니다. 이 숫자는, 업무 절차를 확산 가능한 구조로 바꾸지 않았기 때문에 전사적 확산이 불가능했던 현실을 가리킵니다.
이 통계는 자가 각 기업의 현황을 파악하는 자가 진단 도구로도 유용합니다. 조직의 AI 전환 수준을 묻는 자리에서 단순한 도구 도입 건수나 활성 사용자 수를 세는 일은 의미가 없습니다. 일하는 방식과 실무자의 역할 중 '실제로 바뀐 것'이 무엇인지 물었을 때, 명확한 답이 나오지 않는다면 해당 조직은 여전히 37%의 정체 구간에 갇혀 있을 확률이 높습니다.
더 나은 모델로 교체하면 만사가 해결될까
이러한 정체 국면에서 기업들이 가장 흔히 택하는 손쉬운 카드는 '도구 교체'입니다. 더 뛰어난 최신 모델로 갈아타면 자연스럽게 가시적인 성과가 뒤따를 것이라는 맹신입니다.
그러나 MIT의 연구 이니셔티브 NANDA가 2025년 7월에 발표한 보고서는 이러한 막연한 기대에 찬물을 끼얹습니다. 해당 보고서는 기업의 생성형 AI 도입 시도 중 약 95%가 실질적인 재무 성과로 직결되지 못했다고 분석했습니다. 우리가 주목해야 할 지점은 이 절망적인 수치가 아니라, 보고서가 꼬집은 '실패의 원인'입니다. 실패의 주된 원인은 AI 모델의 자체 성능 부족이 아니었습니다. 도구가 실무자의 피드백을 지속적으로 학습하지 못하고, 현장의 실제 업무 흐름에 유기적으로 결합되지 못했다는 점이 핵심 패인이었습니다.
이 수치는 맥락을 고려해 신중하게 해석해야 합니다. 모든 기업 AI 도입의 95%가 붕괴한다는 뜻이 아니라, 생성형 AI의 초기 파일럿 프로젝트가 손익계산서에 반영될 만한 뚜렷한 재무 성과를 내지 못했다는 좁은 의미입니다. 또한 1년 전의 데이터라는 점도 감안해야 합니다. 그럼에도 불구하고 이 보고서가 현재까지 널리 인용되는 이유는, 실패의 책임을 단순한 기술적 '성능'에서 시스템적 '구조'로 전환시켰기 때문입니다. 문제의 본질이 성능이 아니라면, 맹목적인 모델 교체는 결코 해답이 될 수 없습니다.
디지털 전환(DX)의 주체는 '사람', AI 전환(AX)의 주체는 '기계'
그렇다면 성공적인 AX 전환을 위해 어디부터 메스를 대야 할까요. 해답을 찾으려면 과거의 디지털 전환(DX)과 현재의 AI 전환(AX)이 근본적으로 어떻게 다른지 짚어보아야 합니다.
과거 디지털 전환(DX) 시대에는 최종 결정권이 언제나 '사람'에게 있었습니다. 전자결재 시스템을 전면 도입해도 문서를 승인하고 반려하는 주체는 여전히 팀장이었고, 시스템은 단지 그 인간의 판단을 빠르고 오류 없이 전달하는 파이프라인 역할에 충실했습니다. 고도화된 ERP를 구축하더라도 최종 발주 시점을 결정하는 것은 실무 담당자의 고유 권한이었습니다. 사람이 정하고, 기계가 실행하는 뚜렷한 분업 체계였습니다. 따라서 DX 시대의 혁신 대상은 낡고 비효율적인 '업무 절차' 자체였습니다. 결재 단계를 축소하고, 종이 문서를 없애며, 분절된 시스템을 하나로 통합하는 것만으로도 가시적인 성과가 창출되었습니다.
그러나 AX 전환 시대에는 이 굳건했던 순서가 완전히 뒤집힙니다. 시스템이 먼저 방대한 데이터를 분석해 판단을 내리고, 사람은 그 결과를 검토하여 승인합니다. 수천 장의 입사 지원서를 1차로 필터링하는 것도, 수백 페이지의 계약서에서 독소 조항을 찾아내는 것도, 최적의 재고 발주량을 시뮬레이션하여 제안하는 것도 모두 AI의 몫이 되었습니다. 인간의 역할은 기계가 도출한 결괏값을 수용할지, 기각할지 최종적으로 '선택'하는 단계로 옮겨갔습니다.
결국 AX 전환의 본질은 조직 내에서 '결정'이 내려지는 역학 관계를 근본적으로 재배치하는 작업입니다. 업무 프로세스의 단순 자동화가 목표였던 과거와는 혁신의 대상이 확연히 다릅니다. 표면적인 절차를 고치는 수준을 넘어, "조직의 주요 의사결정을 누가, 무엇을 근거로 내릴 것인가"를 전면적으로 재설계해야 합니다.
핵심은 '사람과 프로세스(70%)'에 있는데, 예산은 '실행 효율(45%)'에 쏠린다
AI 전환 프로젝트에서 성패를 가르는 핵심 요인이 무엇인지에 대해서는 이미 학계와 산업계의 정량적인 합의가 존재합니다. 글로벌 경영 컨설팅사 보스턴컨설팅그룹(BCG)이 2024년 1,500여 개 기업을 심층 분석하여 도출한 '10:20:70 법칙'이 그 대표적인 사례입니다. 훌륭한 알고리즘의 역할은 10%, 탄탄한 기술 및 데이터 인프라가 20%, 그리고 가장 중요한 '사람과 프로세스의 혁신'이 성공의 70%를 차지한다는 뼈아픈 지적입니다. AI 전환의 무게중심이 정확히 어디에 있는지를 숫자로 증명한 결과입니다.
그렇다면 실제 기업들의 예산은 어느 곳을 향하고 있을까요. 글로벌 IT 리서치 기업 가트너가 2026년 3월 글로벌 기업 CFO 204명을 대상으로 진행한 설문조사 결과가 지난 7월 발표되었습니다. 놀랍게도 응답자의 45%는 자사의 AI 관련 예산이 '생산성 향상'과 '운영 효율성 제고'에 집중되어 있다고 답했습니다. 반면, 의사결정의 질적 향상에 투자한다고 응답한 비율은 20%에 불과했습니다. 심지어 CFO의 88%는 재무 조직의 생산성 극대화를 최우선 과제 톱3에 포함시켰습니다.
혁신의 성패는 사람과 프로세스(70%)에 달려 있는데, 정작 막대한 자본은 당장 눈앞의 실행 효율(45%)에 쏟아붓고 있는 모순적인 상황입니다. 이러한 엇박자가 낳은 참담한 결과 역시 동일한 보고서에 명시되어 있습니다. CFO의 무려 62%가 "자사가 추진 중인 수많은 AI 이니셔티브 중에서 재무적으로 측정 가능한 실질적 편익을 창출한 프로젝트는 4분의 1에도 미치지 못한다"고 고백했습니다. 가트너는 이 현상에 대해, 이사회와 투자자들은 장기적인 성장 동력 확보와 의사결정 역량 강화를 기대하는 반면, 숫자를 다루는 CFO들은 단기적인 비용 절감과 생산성에 집착하는 근본적인 시각차가 존재한다고 꼬집었습니다.
이 지점에서 지난 1년간 우리가 '어떻게'라는 방법론에만 매달린 대가가 여실히 드러납니다. 어떤 툴을 도입하고 어떻게 시스템에 얹을 것인가에 대한 고민은 철저히 '실행 효율'에 국한된 언어입니다. 이 질문에 갇혀 있을수록 소중한 예산은 고작 20%의 중요도를 가진 기술적 인프라 영역으로 낭비됩니다. 그리고 조직의 진정한 편익은 영원히 수치화되지 못합니다.
이러한 예산 배분의 모순이 쉽게 눈에 띄지 않는 이유는 단순합니다. 실행 효율에 투자한 돈은 즉각적인 피드백을 제공하기 때문입니다. 보고서 작성 시간이 단축되고 회의록 정리가 자동화되는 변화는 도입 즉시 피부로 와닿습니다. 반면, 조직 전체의 의사결정 품질 향상이나 전략적 리스크 감소는 분기 단위의 재무제표에 명확히 잡히지 않습니다. 결국 기업의 AI 전환 예산은 달콤한 단기 성과를 보여주는 쪽으로 기울기 마련이고, 1년쯤 지난 후 "막대한 비용을 들였는데 정작 기업의 실효는 무엇이었는가?"라는 뼈아픈 질문 앞에서 길을 잃게 됩니다. 가트너가 지적한 시각차는 재무 책임자 개인의 무능이 아니라, 측정하기 쉽고 보여주기 좋은 지표에 매몰되는 구조적 한계에서 기인합니다.
대기업과 중소기업의 격차, '규모'가 아니라 '조직 환경'의 문제였다
국내에서 실시된 조사 결과도 이와 정확히 일치하는 맥락을 보여줍니다. 대한상공회의소 경제연구원이 2026년 6월 전국 임금근로자 3,000여 명을 대상으로 진행한 심층 조사에 따르면, 생성형 AI 활용률은 대기업 종사자가 66.5%, 중소기업 종사자가 52.7%로 약 13.8%포인트의 격차를 보였습니다. 흔히 '기업의 규모와 자본력이 곧 디지털 격차로 이어진다'는 세간의 통념에 부합하는 수치처럼 보입니다.
하지만 조사의 이면을 한 꺼풀 더 벗겨보면 흥미로운 사실이 드러납니다. 회사가 제공하는 교육 및 지원 체계, 그리고 근로자 개인의 AI 활용 역량이라는 두 가지 변수를 동일하게 통제하고 분석하자, 기업 규모에 따른 순수한 활용률 격차는 불과 4%포인트 수준으로 대폭 축소되었습니다. 즉, 회사가 명확한 가이드라인을 제시하고 직원이 프롬프트 엔지니어링 등 필수 역량을 갖추고 있다면, 기업 규모와 상관없이 AI 활용률은 비슷한 수준으로 수렴한다는 의미입니다. 앞서 언급한 BCG의 '사람과 프로세스 70% 집중' 원칙이 국내 현장 데이터로 다시 한번 입증된 셈입니다. 업종별 격차를 살펴보면 시사점은 더욱 뚜렷해집니다. 서비스업의 경우 대·중소기업 간 격차가 9.2%포인트에 불과했지만, 제조업에서는 무려 24.2%포인트로 그 격차가 두 배 이상 크게 벌어졌습니다.
그간 산업계에서는 제조 현장의 더딘 AX 전환 원인을 주로 노후화된 설비 인프라와 데이터 부족에서 찾았습니다. 생산 현장의 데이터가 파편화되어 있고, 숙련공의 암묵지가 표준화된 데이터로 축적되지 않았다는 점이 핵심 문제로 지적되었습니다. 그러나 이번 조사는 완전히 새로운 관점을 제시합니다. 동일한 제조업 환경 내에서도 기업 규모에 따라 24.2%포인트나 격차가 발생했다면, 이는 막대한 비용이 드는 설비 투자의 차이라기보다 경영진이 직원들에게 "어떤 업무에, 어느 수준까지 AI를 활용하라"는 명확한 정책과 가이드라인을 제공했는지 여부에서 비롯되었을 가능성이 큽니다. 실무진을 위한 명확한 업무 지침 설계와 맞춤형 교육 프로그램 운영은 막대한 자본이 투입되는 하드웨어 교체보다 훨씬 적은 예산으로도 즉각적인 변화를 이끌어낼 수 있는 강력한 레버리지입니다.
실행을 위한 4단계 로드맵: '결정의 권한'을 재설계하라
지금까지 논의한 개념을 실무 조직이 즉시 실행할 수 있는 네 단계의 프로세스로 구조화했습니다. 각 단계별로 조직 내에 명확한 산출물이 하나씩 남아야 합니다.
1단계: '누가 결정하는가'를 투명하게 기록하라
가장 먼저 시작해야 할 작업은 도입 솔루션 목록을 만드는 것이 아닙니다. 조직 내 핵심 '결정 목록'을 가시화하는 것입니다.
스프레드시트에 네 개의 핵심 항목을 채워 넣으십시오. 1) 결정의 명칭, 2) 현재 그 결정을 내리는 최종 책임자(이름), 3) 결정을 내릴 때 참고하는 주요 판단 기준, 4) 그 결정이 미치는 실질적인 결과값입니다. 예를 들어 '신규 파트너사 여신 한도 최종 승인'이라는 중요한 결정이 있다면, 현재 부서 내에서 정확히 누가 이 권한을 행사하고 있으며, 어떤 재무적 기준을 잣대로 판단하는지 있는 그대로 명시하는 것입니다.
이 과정에서 실무진이 가장 빈번하게 저지르는 실수는 '업무 프로세스'와 '의사결정 행위'를 혼동하는 것입니다. '신규 계약서 초안 검토'는 단순한 업무 단위이며, '계약서 내 독소 조항 수용 여부를 최종 확정하는 것'이 진정한 결정입니다. '월간 수요 예측 데이터 취합 및 리포트 작성'은 업무일 뿐이고, '취합된 예측 데이터를 근거로 다음 달 부품 발주량을 확정하는 것'이 핵심 결정입니다. 이처럼 업무 단위로 목록을 작성하면 수백 개의 리스트가 양산되어 도대체 어디에 AI를 접목해야 할지 판단할 수 없게 됩니다. 반면, 핵심 결정 단위로 압축하면 규모가 있는 조직이라도 대개 20~30개 내외의 명확한 리스트로 정리됩니다.
이 작업은 기존의 형식적인 조직도를 그리는 것과는 차원이 다른 일입니다. 조직도에는 직급과 역할이 나열되어 있지만, 실질적인 '결정 권한'의 흐름은 보이지 않습니다. 누가 어느 부서 소속인지는 알 수 있어도, 부실 채권 처리 방안을 실제로 누가 확정하는지는 조직도만으로는 절대 파악할 수 없습니다.
초기 AI 도입에 실패한 기업들의 공통적인 패착이 바로 이 지점에서 발생합니다. 기존의 업무 단위에 맹목적으로 AI 툴만 덧붙였을 뿐, 정작 그 업무를 통해 결정을 내리는 사람과 판단 기준은 과거의 방식을 그대로 방치했기 때문입니다. 앞서 언급한 매킨지 조사에서 6곳 중 1곳이 조직 내 AI 책임자를 지정하지 못했다는 사실도 같은 맥락에서 해석됩니다. 의사결정의 실질적인 주인이 문서화되어 있지 않은 상태에서 AI가 업무 프로세스에 개입하기 시작하면, 치명적인 오류가 발생했을 때 책임질 사람이 아무도 없는 위험한 상황이 연출됩니다. 매킨지가 해당 조사의 해결책으로 거창한 조직 개편보다는 '업무가 흐르고 의사결정이 이루어지는 방식을 단순명료하게 재정의하라'고 조언한 것도 정확히 이 점을 지적한 것입니다.
핵심 산출물: 부서별 핵심 결정 목록 명세서 1부.
2단계: 기계에게 '안 맡길 일'의 경계를 확정하라
결정 목록이 가시화되었다면, 이제 각각의 결정에 대해 AI 시스템에 '어디까지' 위임할 것인지 그 권한의 수위를 치밀하게 설정해야 합니다. 단순 제안만 받을 것인지, 초안 작성까지 일임할 것인지, 시스템이 자체적으로 실행하도록 둔 뒤 사후에 관리자가 승인만 할 것인지, 아니면 전 과정을 100% 자동화할 것인지를 결정해야 합니다. 그리고 가장 중요한 마지막 옵션이 남아 있습니다. 바로 '절대 맡기지 않는 업무'를 정의하는 것입니다.
이러한 위임의 등급은 업무의 성격과 리스크에 따라 각 결정마다 철저히 개별적으로 매겨져야 합니다. 동일한 인사팀 내부 업무라도, 수천 건의 입사 지원서를 1차로 필터링하고 직무 적합도를 요약하는 작업은 AI에게 초안 작성을 맡기는 것이 훨씬 효율적입니다. 하지만 최종 합격 여부를 판가름하고 핵심 인재를 선발하는 결정적인 판단은 기계의 알고리즘에 결코 맡겨서는 안 됩니다. 고객 반품 승인 프로세스의 경우, 일정 금액 미만의 소액 건은 AI가 규정에 따라 즉시 실행하고 사후 보고하도록 자동화하되, 기준 금액을 초과하는 대형 건은 담당자에게 제안만 하도록 시스템을 이원화하는 방식이 현명합니다. 만약 부서 단위나 도입 솔루션 단위로 위임 등급을 뭉뚱그려 설정해 버리면, 이러한 세밀한 리스크 관리 체계는 완전히 무너집니다. 전사 AI 전환을 각 부서별 자율 과제로 쪼개어 무책임하게 하달할 때 가장 빈번하게 발생하는 참사입니다.
국내 선도 기업들의 움직임도 이러한 방향성을 명확히 보여줍니다. MIT 테크놀로지리뷰 코리아가 2026년 7월 심층 분석한 국내 주요 기업의 AI 에이전트 도입 사례를 보면, LG전자는 자동화 대상 업무를 발굴하기에 앞서 '절대 자동화해서는 안 될 업무'의 블랙리스트를 가장 먼저 명문화했습니다. 겉보기에는 보수적이고 소극적인 행보 같지만, 이는 고도의 전략적 시스템 설계에 해당합니다. 넘지 말아야 할 선명한 경계선을 먼저 그어두어야만, 그 안전한 테두리 안에서 시스템이 무엇을 얼마나 적극적으로 수행할 수 있는지 명확한 역할이 정의되기 때문입니다.
이러한 통제 목록이 존재하지 않을 때 벌어질 대혼란은 불 보듯 뻔합니다. 각 부서가 독자적으로 도입한 수많은 AI 에이전트들이 동일한 사안을 두고 서로 충돌하는 엉뚱한 결론을 도출하게 됩니다. 영업팀에 도입된 AI는 수익성을 근거로 계약을 통과시키는 반면, 심사팀의 AI는 리스크를 이유로 동일한 계약을 반려하는 촌극이 벌어져도, 어느 쪽 알고리즘의 판단 기준이 조직 전체의 목표에 부합하는지 최종적으로 심판할 주체가 사라지는 것입니다. 동일한 기사에서 야놀자가 사내 곳곳에 'AI 챔피언'이라는 제도를 신설하여 운영하는 것 역시, 기술적인 툴 도입을 넘어 이러한 복잡한 기준 충돌을 현업의 최전선에서 조율하고 통제할 실질적인 '주체'를 확립한 모범 사례로 평가할 수 있습니다.
핵심 산출물: AI 통제 및 위임 불가 업무 명세서.
3단계: 시스템의 오류를 자산화하여 '기준'을 진화시켜라
앞서 NANDA 보고서가 지적한 기업 AI 도입 실패의 치명적 원인은 시스템이 사용자의 피드백을 기억하지 못하고, 실무와 단절된다는 점이었습니다. 이 3단계는 바로 그 핵심적인 문제의식에 정면으로 돌파구를 제시합니다.
AI 시스템이 내린 잘못된 판단들이 조직 내 어딘가에 체계적으로 기록되고 분석되지 않으면, 이번 분기에 발생한 치명적인 오류는 다음 분기에도 동일한 형태로 정확히 반복됩니다. AI 알고리즘이 부당하게 탈락시킨 우수 인재의 지원서, 시스템이 미처 탐지하지 못해 회사에 손실을 입힌 계약서의 독소 조항, 시장 상황을 오판하여 재고 비용을 폭증시킨 잘못된 수요 예측 데이터가 모두 실무 담당자의 파편화된 기억 속에만 묻히고, 알고리즘을 갱신하는 핵심 자양분으로 환류되지 못하는 것입니다. 이를 막기 위해서는 최소한 세 가지 필수적인 인프라가 작동해야 합니다. 1) 오류가 발생한 결정을 빠짐없이 추적하고 남기는 '기록 시스템', 2) 실패한 사례들을 한곳으로 수집하는 '통합 채널', 그리고 3) 누적된 오류 데이터를 기반으로 AI의 판단 기준을 지속적으로 업데이트하는 '정기적인 갱신 프로세스'입니다.
이 갱신 주기가 굳이 잦을 필요는 없습니다. 분기별로 단 한 번이라도 유관 부서가 모여 시스템이 실패한 사례들을 복기하고 알고리즘의 판단 기준을 미세 조정하는 자리가 정착된다면, 그 조직의 AI 시스템은 시간이 흐를수록 강력하게 진화합니다. 반대로 이러한 회고와 수정의 자리가 부재한다면, 막대한 비용을 들여 도입한 AI 시스템의 성능은 구축 첫날의 수준에 영원히 머물게 됩니다.
실제 기업 현장에서 가장 흔히 간과되고 폐기되는 단계가 바로 이 지점입니다. 앞선 1, 2단계는 구체적인 문서 형태의 결과물을 도출하는 일시적 프로젝트 성격이 강해 추진력이 확보되지만, 이 3단계는 영속적으로 순환시켜야 하는 운영의 영역이므로 확고한 전담 책임자가 배정되지 않으면 소리 소문 없이 흐지부지되기 십상입니다. 따라서 이 단계에서 경영진이 반드시 확인하고 넘어가야 할 것은 그럴싸한 시스템 기록 양식이 아니라, 그 지난한 기록을 분기마다 끈질기게 들여다보고 기준을 바로잡을 '책임자의 명확한 이름'입니다. 1단계에서 작성한 결정 목록의 '현재 결정을 내리는 사람' 칸에 기재된 이름이 곧 이 막중한 역할을 수행해야 할 적임자입니다. AX 전환 프로젝트에서 이 책임자의 이름을 공란으로 남겨두는 순간, 나머지 모든 거창한 단계들은 값비싼 1회성 이벤트로 전락하고 맙니다.
핵심 산출물: 분기별 시스템 오류 사례집 및 정기 알고리즘 갱신 프로세스 수립.
4단계: 성과 지표에서 '단순 사용량'의 환상을 지워라
막대한 자원이 투입된 AI 전환의 성과를 기업은 과연 어떤 잣대로 측정해야 할까요. 안타깝게도 현재 대다수 기업의 경영진 보고서에 오르내리는 핵심 성과 지표(KPI)는 API 토큰 누적 사용량, 사내 챗봇의 월간 활성 사용자 수(MAU), 전사 임직원의 AI 기본 소양 교육 수료율 등 표면적인 수치에 머물러 있습니다. 이러한 지표들은 조직이 새로운 도구를 그저 '얼마나 자주 만져보았는가'를 세는 의미 없는 숫자 놀음에 불과합니다.
앞서 인용했던 MIT 테크놀로지리뷰 코리아의 심층 기사에는 이 본질적인 맹점을 정면으로 타파한 훌륭한 사례가 등장합니다. 국내 유망 스타트업 채널코퍼레이션은 전사 AI 활용의 평가 척도를 단순 토큰 사용량에서 시스템이 실질적인 비즈니스 가치를 창출했는지를 묻는 '임팩트 측정' 체계로 전면 개편했습니다. 해당 기사는 기업들이 초기 AI 도입 국면에서 범하는 가장 흔하고 치명적인 착각이 바로 '많이 사용하는 것'을 '시스템을 잘 활용하여 성과를 내는 것'으로 오독하는 행태라고 꼬집었습니다.
이는 비단 기술 부서만의 문제가 아닙니다. 인사(HR) 영역에서도 이와 똑같은 왜곡이 비일비재하게 일어납니다. 전 직원의 AI 기본 교육 수료율이 90%를 달성한 것과, 그 교육을 받은 임직원들이 실제 현장의 AI 전환 프로젝트에 성공적으로 투입되어 문제를 해결한 비율이 5%에 불과한 것은 완전히 차원이 다른 이야기입니다. 그럼에도 경영진의 책상에 올라가는 화려한 보고서에는 늘 눈에 띄기 좋은 전자(90%)의 숫자만이 훈장처럼 강조되곤 합니다. 앞서 가트너 조사에서 글로벌 CFO의 무려 62%가 AI 도입을 통해 재무제표로 증명 가능한 뚜렷한 편익을 단 한 건도 발견하지 못했다고 좌절한 이유가 바로 여기서 명확히 설명됩니다. 표면적인 '활동'을 측정하는 허술한 지표망으로는 비즈니스의 본질적인 '편익'을 결코 포획할 수 없습니다.
핵심 산출물: 기존의 허수 지표(사용량)를 과감히 폐기하고 비즈니스 임팩트를 반영한 신규 성과표 완성. 그 빈자리를 채울 핵심 지표는 우리가 1단계에서 힘겹게 정리했던 '결정 목록'에서 고스란히 도출됩니다. 목록에 기재된 중요한 결정 하나를 무작위로 골라 다음 세 가지 항목을 날카롭게 추적해 보십시오. 첫째, 해당 의사결정이 최종적으로 내려지기까지 소요되는 절대적인 시간이 눈에 띄게 단축되었는가. 둘째, 실무자가 기안한 문서가 상급자의 승인 단계에서 치명적 오류로 인해 반려되는 비율이 의미 있게 감소했는가. 셋째, 과거 분기에 발생했던 치명적인 인적 오류(Human Error)가 AI 시스템 도입 이후 반복되는 빈도가 획기적으로 줄어들었는가.
성과 지표를 이토록 본질적인 기준으로 재설계하면 놀랍고도 긍정적인 부수 효과가 하나 더 파생됩니다. 굳이 AI 도구를 강박적으로 사용하지 않더라도 기존 업무 프로세스를 혁신하여 결재 처리 시간을 획기적으로 단축했다면, 그 역량 자체만으로도 정당한 성과로 인정받게 됩니다. 새로운 평가 체계의 핵심은 신기한 툴을 얼마나 자주 로그인했느냐가 아니라, 조직의 근원적인 의사결정 프로세스가 실질적으로 얼마나 진일보했느냐를 정밀하게 타격하여 측정하기 때문입니다. AX 전환의 궁극적인 존재 이유가 특정 벤더사의 소프트웨어 사용률을 끌어올리는 데 있는 것이 아니라면, 기업의 성과표 역시 그러한 방향으로 진화해야 마땅합니다.
최고결정권자부터 움직인 삼성의 역발상
삼성그룹은 올해 초 전 계열사를 망라하여 일하는 방식 전반에 AI를 전면 도입하겠다는 대대적인 구상을 발표했습니다. 연구개발(R&D), 구매, 생산, 물류, 마케팅, 영업, 고객서비스, 그리고 후선 경영지원에 이르기까지 8대 핵심 밸류체인 전 영역에 AI를 이식하겠다는 야심 찬 청사진이었습니다. 여기서 업계의 이목을 가장 집중시킨 대목은 적용 범위의 광범위함이 아니라, 삼성이라는 거대 조직이 선택한 '교육의 순서'였습니다. 그들은 전 계열사 사장단 50여 명을 긴급 소집하여 실전 체험형 'AX 부트캠프'를 그룹 역사상 최초로 개최했습니다. 뒤이어 임원진 2,300여 명 전원이 8월 12일까지 순차적으로 2박 3일간 합숙하며 혹독한 집중 교육을 이수했습니다. 전 세계 임직원 28만 명에 대한 대규모 확산 교육은 그 이후인 연내에 마무리하겠다고 선언했으며, 각 계열사별로 흩어져 있던 AI 역량을 결집할 전담 컨트롤타워도 신설하기로 결의했습니다.
이 순차적인 흐름을 유심히 복기해 보십시오. 최고경영진(사장단), 임원진, 그리고 마지막이 현장 실무자 순입니다. 삼성은 조직 내에서 의사결정 권한이 가장 막강한 최상층부부터 가장 먼저 도마 위에 올렸습니다. 이는 앞서 수없이 강조했던, BCG가 성공 요인의 70%를 '사람과 프로세스의 혁신'에 배정한 것과 완벽하게 궤를 같이하는 전략적 포석입니다. 도구를 직접 키보드로 다루는 실무자보다, 거시적인 관점에서 그 도구의 권한 한계를 설정하고 조직의 운명을 좌우할 결정을 기계에 어디까지 위임할 것인지 규정하는 리더 그룹이 기술의 본질을 먼저 통찰해야 한다는 절박한 판단이 깔려 있는 것입니다. 이는 AX 전환이라는 중차대한 과제를 일선 실무 부서나 IT 부서의 몫으로 툭 던져버리고 방관하는 여타 기업들의 안일한 접근 방식과는 그 출발점부터가 본질적으로 다릅니다.
여기서 한 가지 불필요한 오해는 확실히 걷어내겠습니다. 경영진이 솔선수범하여 AI를 학습했다고 해서, 조직의 모든 권한을 AI에게 넘기라는 의미가 결코 아닙니다. 우리가 앞선 2단계 로드맵에서 굳이 '절대 AI에 맡기지 않을 업무 블랙리스트'를 최우선으로 확정해야 한다고 강조한 이유가 바로 여기에 있습니다. 조직 내에서 판단을 내리는 권한 체계를 새롭게 정의하는 일과, 인간이 감당해야 할 본질적인 책임마저 기계에게 떠넘겨버리는 무책임한 방임은 엄연히 다릅니다. AI 시스템에 조직의 운명을 어디까지 허락할 것인가를 치열하게 고민하고 획을 긋는 행위. 그것이야말로 다가올 시대에 인간 리더십이 수행해야 할 가장 숭고하고 중대한 '결정'입니다.
본질을 마주할 시간
논의를 갈무리하자면 다음과 같습니다. 글로벌 기업들의 AI 표면적 도입률은 88%라는 경이로운 수치에 도달했지만, 전사적 확산과 내재화는 여전히 7%라는 참담한 수준에 정체되어 있습니다. 이토록 뼈아픈 간극을 초래한 주범은, 기존의 낡은 워크플로와 조직 문화를 한 치도 바꾸지 않은 채 최신 툴만 얹고 혁신을 완수했다고 착각한 48%의 패착이었습니다. 진정한 혁신의 성패를 판가름하는 열쇠는 기술 그 자체가 아니라 '사람과 프로세스의 재설계(70%)'에 쥐여 있는데, 여전히 기업의 막대한 자본은 즉각적이고 눈에 보이는 '단기 실행 효율(45%)'에만 편중되어 있습니다. 국내 실증 데이터는 기업 간 AI 전환의 성패를 가르는 척도가 막대한 자본력이나 회사 규모가 아니라, 최고경영진이 얼마나 명확한 가이드라인을 제시하고 실무 환경을 조성했는가 하는 '조직 내 생태계'에 있음을 명확히 증명했습니다.
물론, 조직의 체질을 바꾸는 일인 만큼, 당장 이번 분기에 눈에 띄게 큰 판을 벌일 필요는 없습니다.
그러나 지금 바로 기업의 핵심역량을 좌우하는 '목록' 단 한 장을 묵묵히 채워보시기를 권합니다. 앞서 제안한 네 가지 항목(결정의 명칭, 현재의 결정권자, 판단의 잣대, 최종 결과)이면 충분합니다. 그다음, 경영진이 모여 인간 고유의 영역으로 남겨둘 '위임 불가 업무'의 마지노선을 최우선으로 타결하십시오. 화려한 솔루션 도입보다 이 경계를 설정하는 작업이 완료되어야만, 비로소 나머지 실무적인 혼란들이 정리됩니다. 마지막으로, 경영진 보고서에서 의미 없는 MAU나 토큰 사용량 지표를 과감히 삭제하고, 그 자리에 실제 핵심 의사결정의 소요 시간 단축률이나 반려율 감소 추이 같은 진짜 비즈니스 성과 지표를 단 하나라도 채워 넣어 보십시오.
AI 전환을 시도한 회사와 아직 망설이는 회사 간의 기술적 격차는 이제 무의미해졌습니다. 강력한 도구는 이미 누구에게나 공평하게 주어졌습니다. 1년 뒤 시장의 판도를 가르고 승자와 패자를 결정짓는 유일한 기준은, "우리 조직의 핵심 결정을 '누가' 통제하며, 기계에게 권한을 '어디까지' 허락할 것인가"를 문서로 명확히 합의해 둔 회사인지, 아니면 아직도 그 두려운 질문을 애써 외면하고 있는 회사인지에 달려 있을 것입니다.
참고 문헌
- McKinsey & Company, The State of Organizations 2026 (2026년 2월)
- McKinsey & Company, The State of AI in 2025
- Deloitte, The State of AI in the Enterprise 2026
- Gartner, CFO 대상 AI 투자 서베이 보도자료 (2026년 7월 20일)
- 대한상공회의소 경제연구원, 「생성형 AI 활용의 대·중소기업 격차: 역량과 조직환경의 역할」 (2026년 6월)
Share article