임상 환경에서 AI 에이전트는 어디까지 맡겨야 할까?

많은 기업은 에이전틱 AI의 발전을 이야기할 때 더 높은 자율성을 목표로 삼습니다. AI 에이전트가 스스로 추론하고 계획하며 작업을 실행하는 능력이 발전하면서, 자율성이 높아질수록 비즈니스 가치도 커진다는 전제가 흔히 따라붙습니다. 사람을 워크플로우에서 배제하는 것이 곧 기업 AI의 다음 단계처럼 제시되곤 합니다. 

하지만 의료 분야는 이러한 관점을 그대로 적용하기 어려운 산업입니다. 임상 환경에서는 AI의 자율성이 높아진다고 해서 반드시 더 나은 결과로 이어지는 것은 아닙니다. AI 에이전트가 적절한 통제 없이 진단, 치료, 처방, 환자 분류, 의료 서비스 이용 여부, 환자 커뮤니케이션 등에 직접 영향을 미치기 시작하는 순간, 그 편의성만큼이나 새로운 리스크도 함께 커집니다. 

따라서 의료 분야에서의 책임 있는 AI 활용은 단순한 자동화가 아니라 통제된 자율성을 의미합니다. AI가 수행할 수 있는 역할의 범위를 명확히 정의하고, 그 근거를 문서화하며, 의미 있는 사람의 검토와 지속적인 모니터링을 함께 갖추는 것이 무엇보다 중요합니다. 

이러한 변화는 의료 AI 거버넌스에 새로운 과제를 던지고 있습니다. 이제 중요한 질문은 **"AI가 업무를 자동화할 수 있는가?"**가 아닙니다. 

오히려 다음과 같은 질문이 더 중요해지고 있습니다. 

• AI 에이전트가 실제로 행동하도록 허용해도 되는가?  

• 어디까지 자율적으로 업무를 수행하도록 맡길 수 있는가?  

• 최종 책임은 누구에게 있는가?  

• 환자 진료에 활용하기 전에 어떤 검증과 근거가 필요한가?  

결국 임상 환경에서 자동화와 리스크를 구분하는 기준은 기술 자체가 아닙니다. 환자 안전, 사람의 감독, 충분한 검증, 개인정보 보호, 감사 가능성, 그리고 규제 준수와 같은 AI 거버넌스 원칙이 그 경계를 결정합니다. 

더 알아보기: AI로 강화하는 의료 의사결정과 데이터 보안 

기존의 의료 AI는 대부분 특정 업무에 최적화된 단일 기능을 수행합니다. 예를 들어 영상 판독 AI는 이상 소견을 탐지하고, 예후 예측 모델은 재입원 가능성을 계산하며, 임상 의사결정 지원 시스템(CDSS)은 약물 상호작용과 같은 위험 요소를 의료진에게 알려줍니다. 

이러한 시스템은 분석 결과를 제공할 뿐, 이후 어떤 행동을 취할지 스스로 결정하거나 업무를 실행하지는 않습니다. 

반면 AI 에이전트는 목표를 달성하기 위해 계획을 세우고 행동까지 수행할 수 있습니다. 환자 데이터를 조회하고, 진료 기록을 요약하며, 메시지 초안을 작성하거나 다음 조치를 제안할 수 있습니다. 또한 업무를 생성하거나 다른 시스템과 연동해 실제 워크플로우를 실행하는 것도 가능합니다. 

이 차이는 임상 AI 거버넌스에서 중요한 의미를 갖습니다. 시스템이 할 수 있는 일이 많을수록 요구되는 근거도 많아져야 합니다. 단순 요약 도구라면 프라이버시, 정확성, 검토 통제 정도가 필요하지만, 응급실 환자의 우선순위를 정하거나 치료 경로를 변경하거나 투약 관련 워크플로우를 실행하는 도구라면 훨씬 높은 수준의 검증, 감독, 사고 대응, 규제 검토가 요구됩니다. 

모든 AI 기반 자동화가 동일한 수준의 리스크를 갖는 것은 아닙니다. 의료기관은 모든 AI 에이전트를 동일한 기준으로 평가하기보다, 자동화 수준과 위험도를 함께 고려하는 관점에서 각 활용 사례를 판단해야 합니다. 

• 행정 자동화: 스케줄링 지원, 문서 라우팅, 누락 항목 확인, 내부 작업 생성. 진료 접근성이나 임상 의사결정에 영향을 주지 않는 경우 대체로 리스크가 낮습니다. 

• 문서화 및 워크플로우 지원: 현지 언어 EMR 요약, 퇴원 기록 초안 작성, 의뢰서 준비, 청구 문서 지원. 의료진의 검토와 강력한 기록 무결성 통제가 필요합니다. 

• 임상 의사결정 지원: 관련 가이드라인 제시, 이상 소견 플래그 표시, 후속 질문 제안. 이러한 도구는 임상적 판단을 대체하는 것이 아니라 지원해야 합니다. 

• 감독하 임상 행동: 트리아지 우선순위, 투약 검토, 진료 조정 단계 추천 등 실행 전 반드시 의료진의 승인이 필요한 경우. 문서화된 human-in-the-loop 거버넌스가 요구됩니다. 

• 자율적 임상 행동: 독자적인 진단, 처방, 치료 변경, 진료 거부, 비감독 환자 상담. 이는 고위험 영역으로, 공식적으로 승인되고 임상적으로 검증되며 해당 시 규제를 준수하고 엄격한 통제 하에 모니터링되지 않는 한 금지되어야 합니다. 

핵심 거버넌스 원칙은 **비례성(proportionality)**입니다. AI 에이전트가 진단, 치료, 투약, 응급 트리아지, 보험 관련 결정, 직접적인 환자 커뮤니케이션에 가까워질수록 입증 책임은 커집니다. 따라서 의료 AI 컴플라이언스는 도구 중심이 아니라 리스크 기반이어야 합니다. 

AI 에이전트는 의료진의 최종 판단을 대신하기보다, 반복적인 업무를 줄이고 임상 업무의 효율성을 높이는 역할을 수행할 때 가장 큰 가치를 제공합니다. 실제로 초기 도입이 가장 적합한 영역도 문서 작성, 업무 조율, 정보 검색, 워크플로우 준비와 같은 업무입니다. 

예를 들어 AI 에이전트는 EMR에서 환자의 병력을 요약하거나, 임상 문서 초안을 작성하고, 사전 승인 업무를 지원하거나, 약물 관련 위험 신호를 식별하고, 환자 우선순위를 의료진에게 제안할 수 있습니다. 이러한 사례에서 AI는 의사결정을 지원할 뿐, 최종 의사결정을 대신하지는 않습니다. 

이러한 활용 사례에는 세 가지 공통점이 있습니다. 

• AI 에이전트는 명확하게 정의된 업무 범위 안에서만 동작합니다.  

• 생성된 결과는 의료진이 충분히 검토할 수 있습니다.  

• 최종적으로 사람은 결과를 승인하거나 수정하거나 거부할 수 있습니다. 

즉, AI 에이전트는 의료진을 대신하는 존재가 아니라, 임상 업무를 지원하는 보조자로 기능합니다. 

물론 위험도가 낮은 사례도 관리는 필요합니다. AI가 작성한 문서는 초안임을 명확히 표시하고, 환자에게 전달되는 내용은 의료진이 정확성과 안전성을 확인해야 합니다. 요약본은 원본을 추적할 수 있어야 하고, 청구·문서 처리 과정에서도 기록의 신뢰성과 의료진의 책임은 유지되어야 합니다. 

임상 환경에서 자동화의 경계선은 AI 에이전트가 환자의 안전, 의료 서비스 접근성, 임상적 책임, 또는 법적 권리에 독립적으로 영향을 미칠 수 있는 순간부터 시작됩니다. 이러한 영역에서는 기술적으로 가능하다는 이유만으로 자동화를 허용해서는 안 됩니다. 

AI 에이전트는 적절한 의료진의 검토 없이 환자를 진단하거나, 약물을 처방 또는 변경하고, 치료 계획을 수정하거나, 응급 환자의 우선순위를 결정해서는 안 됩니다. 또한 의료 서비스 제공 여부나 보험 보장 범위를 결정하거나, 환자에게 개인 맞춤형 의료 조언을 직접 제공하는 역할도 수행해서는 안 됩니다. 

마찬가지로 병원의 거버넌스 절차를 우회하거나, 워크플로우를 임의로 변경하거나, 사후 감사가 불가능한 의사결정을 수행하는 것 역시 허용되어서는 안 됩니다. 

AI 에이전트를 도입한다고 해서 의료진이나 의료기관의 책임이 줄어드는 것은 아닙니다. AI가 제안한 결과가 실제 임상 워크플로우나 환자 관련 의사결정에 영향을 미쳤다면, 그 책임은 여전히 의료진, 의료기관, 솔루션 제공업체, 그리고 거버넌스 조직에 있습니다. 

특히 주의해야 할 위험 중 하나는 **자동화 편향(Automation Bias)**입니다. 의료진이나 직원이 AI를 지나치게 신뢰해 충분한 검토 없이 결과를 받아들이는 현상을 의미합니다. AI가 빠르고 자신감 있는 답변을 제시할수록 이러한 위험은 더욱 커질 수 있습니다. 

또 다른 위험은 워크플로우의 불투명성입니다. AI 에이전트가 수행하는 각각의 행동은 사소해 보일 수 있지만, 이러한 행동이 누적되면 환자의 진료 경로나 의료 서비스 제공 방식 자체를 의도하지 않게 변화시킬 수 있습니다. 

따라서 의료 AI 거버넌스는 AI의 최종 결과만 평가해서는 안 됩니다. AI 에이전트가 어떤 정보를 바탕으로 판단했는지, 어떤 단계를 거쳐 행동을 수행했는지, 그리고 어떤 업무를 자동으로 실행할 수 있는지까지 모두 관리해야 합니다. 

예를 들어 응급실 환자 분류 지원과 같은 고위험 활용 사례에서는 사람의 감독 아래에서만 AI를 활용하는 방식이 가장 안전합니다. AI는 위험 신호를 식별하거나, 관련 병력을 요약하고, 우선순위를 제안할 수는 있지만, 최종 판단과 책임은 반드시 의료진에게 있어야 합니다. 

또한 전문 의료 인력이 부족한 지역에서는 AI 에이전트가 의사결정을 지원하는 역할을 수행할 수 있습니다. 그러나 AI는 전문 의료진의 판단을 대체하는 수단이 되어서는 안 되며, 환자 이송 체계, 지역별 임상 검증, 그리고 의료진의 책임을 대신해서도 안 됩니다. 

의료 분야에서 AI 규제 준수는 환자 데이터 보호에서 시작됩니다. AI 에이전트는 건강정보, 인구통계, 임상 기록, 영상 결과, 처방 정보, 보험 청구, 환자 커뮤니케이션 등 민감한 데이터를 다룹니다. 그만큼 조직은 데이터 처리 근거, 동의 절차, 최소 수집 원칙, 접근 권한, 암호화, 보관, 국외 이전, 공급업체 관리, 감사 로그를 함께 챙겨야 합니다. 

하지만 개인정보 보호만으로는 충분하지 않습니다.  

AI 에이전트가 진단, 질병 예측, 임상 관리 등 의학적 결정에 영향을 미칠 수 있는 기능을 수행한다면, AI 기반 의료기기 또는 디지털 의료제품 요건에 해당할 수 있습니다. 이때 사용 목적, 리스크 분류, 임상 성능 근거, 사이버보안, 소프트웨어 관리, 시판 후 모니터링, 변경 관리 등을 함께 고려해야 합니다. 

국가별 규제 환경 역시 중요한 고려 요소입니다. 

예를 들어 대한민국에서는 AI가 질병을 진단하거나 예측, 관리하는 기능을 수행하는 경우 식품의약품안전처(MFDS)가 제시하는 관련 가이드라인이 적용될 수 있습니다. 또한 디지털의료제품법, 개인정보 보호법(PIPA), 그리고 AI 기본법 역시 AI 에이전트의 활용 방식에 따라 중요한 기준이 될 수 있습니다. 특히 AI 기본법은 고영향 AI에 대해 위험 관리, 사람의 감독, 설명 가능성과 같은 원칙을 강조하고 있으며, 이는 의료 AI 거버넌스의 방향성과도 일치합니다. 

이러한 이유로 AI 에이전트의 규제 준수는 시스템이 운영된 이후가 아니라 설계 단계부터 함께 고려되어야 합니다. 

임상 AI 거버넌스는 일회성 승인 회의가 아니라 라이프사이클 전반의 규율이 되어야 합니다. 실질적인 거버넌스 모델은 인테이크와 리스크 등급 분류에서 시작해 검증, 배포 승인, 모니터링, 사고 대응, 업데이트 통제, 폐기 단계로 이어집니다. 

이를 위해 병원은 임상 리더십, 컴플라이언스, 개인정보 보호, 정보보안, 데이터 거버넌스, 법무, IT, 그리고 제품 또는 벤더 관리 조직이 함께 참여하는 AI 거버넌스 위원회 또는 이에 준하는 검토 체계를 마련할 필요가 있습니다.  

또한 모든 AI 에이전트에는 다음과 같은 책임 주체가 명확하게 지정되어야 합니다. 

• 임상 책임자 

• 기술 책임자 

• 컴플라이언스 책임자 

이는 AI 에이전트가 생성한 결과를 의료진이 검토하고, 소프트웨어가 실행하며, 조직의 업무 프로세스에 반영되는 과정에서 책임 소재가 불분명해지는 상황을 방지하기 위해서입니다. 

배포 전, 강력한 거버넌스 프로세스는 다음 질문에 답할 수 있어야 합니다. 

또한 AI 에이전트의 활용 범위, 사람의 개입이 필요한 상황, 감사 로그 관리, 변경 통제, 시스템 일시 중단 또는 종료 기준도 사전에 정의되어야 합니다. 

반면 위험도가 낮은 AI 에이전트는 보다 신속하게 도입할 수 있지만, 그 역시 문서화와 감사 가능성은 반드시 확보되어야 합니다. 

더 알아보기: AI만으로는 환자 흐름 문제를 해결할 수 없는 이유 

많은 기업이 Human-in-the-loop를 자동화 리스크의 해법으로 이야기합니다. 그러나 단순히 의료진을 워크플로우 어딘가에 배치한다고 해서 충분한 감독이 이루어지는 것은 아닙니다. 의료진은 충분한 시간과 맥락, 의사결정 권한, 필요한 교육을 갖추고 있어야 하며, 필요할 경우 AI의 결과를 수정하거나 거부할 수 있어야 합니다. 

특히 AI의 결과가 다음과 같은 영역에 영향을 미칠 수 있다면 의료진은 반드시 최종 의사결정을 내려야 합니다. 

• 진단  

• 치료 계획  

• 약물 처방 및 조정  

• 응급 환자 분류 

• 진료 의뢰  

• 의료 서비스 접근성  

• 환자 안전 

AI는 왜 이러한 결과를 제안했는지에 대한 근거와 함께, 신뢰도, 한계, 참고한 데이터 등을 함께 제시해야 의료진이 충분한 판단을 내릴 수 있습니다.

좋은 감독 체계는 경고 피로 역시 줄여줍니다. 모든 AI 결과를 동일한 수준으로 검토하도록 설계하면 의료진은 반복되는 알림을 무시하거나 AI를 지나치게 신뢰하게 될 수 있습니다. 

보다 효과적인 방식은 위험 기반 검토(Risk-based Review)입니다. 위험도가 낮은 결과는 효율적으로 검토하고, 위험도가 높거나 신뢰도가 낮은 결과, 예외적인 사례, 환자 안전과 직접 관련된 결과는 반드시 의료진의 검토와 추가 확인 절차를 거치도록 설계해야 합니다. 

또한 필요한 경우 환자 역시 AI가 어떻게 활용되었는지 이해할 수 있어야 합니다. 예를 들어 AI가 환자 안내 메시지를 작성하거나, 임상 정보를 요약하거나, 진료 협업을 지원했다면 의료기관은 다음 사항을 명확히 설명할 수 있어야 합니다. 

임상 AI 검증은 출시로 끝나지 않습니다. 의료 환경은 끊임없이 변화하며, 이러한 변화는 시간이 지날수록 모델 드리프트나 예기치 못한 워크플로우 오류를 초래할 수 있습니다. 따라서 운영 단계에서는 모델의 정확도뿐 아니라 실제 업무에 미치는 영향까지 함께 모니터링해야 합니다. 

예를 들어 다음과 같은 지표를 지속적으로 확인할 필요가 있습니다. 

• 환각(Hallucination) 발생 여부  

• 요약 결과의 정확성  

• 잘못된 우선순위 추천  

• False Positive 및 False Negative  

• 특정 환자 집단에 대한 편향(Bias)  

• 의료진의 AI 결과 수정 빈도  

• 환자 불만 사례  

• 보안 사고  

• 업무 프로세스의 예상치 못한 변화 

감사 AI 거버넌스의 핵심 요소입니다. 문제가 발생했을 때 의료기관은 AI가 어떤 데이터를 조회했고, 어떤 프롬프트를 사용했으며, 어떤 결과를 생성했고, 어떤 행동을 제안하거나 수행했는지, 누가 이를 검토했고, 이후 어떻게 변경되었는지를 모두 추적할 수 있어야 합니다. 또한 모델이나 프롬프트, 데이터 소스, 시스템 연동 방식이 변경될 경우에는 위험도를 다시 평가해야 합니다. 

고위험 임상 AI에서는 작은 기술적 변경이라도 새로운 검증 절차가 필요할 수 있습니다. 이처럼 AI 에이전트는 도입보다 운영이 더 중요합니다. 지속적인 모니터링과 변경 관리는 AI를 안전하고 신뢰할 수 있는 시스템으로 유지하기 위한 핵심 요소입니다. 

AI 에이전트는 의료기관의 운영 효율성을 높이고, 반복 업무를 줄이며, 의료진의 의사결정을 지원하는 강력한 도구가 될 수 있습니다. 그러나 의료 분야에서 성공적인 AI 도입은 단순히 더 많은 업무를 자동화하는 데 있지 않습니다. 

진정한 경쟁력은 어떤 업무를 AI에 맡길 것인지, 어떤 업무는 반드시 사람의 판단이 필요한지, 그리고 그 경계를 어떻게 관리할 것인지를 명확하게 정의하는 데 있습니다. 

가장 안전한 길은 AI 에이전트를 전면 거부하는 것도, 무제한적 자율성을 허용하는 것도 아닙니다. 오히려 AI가 가장 효과적으로 가치를 창출할 수 있는 영역을 식별하고, 그에 맞는 거버넌스와 사람의 감독 체계를 함께 구축합니다. 

결국 AI 에이전트는 의료진을 대체하기 위해 존재하는 것이 아니라, 의료진이 더 나은 의사결정을 내릴 수 있도록 지원하기 위해 존재합니다. 

반복적인 행정 및 지원 업무부터 시작하는 것이 가장 안전합니다. 임상 문서 작성, 환자 예약, 의료 정보 검색, 사전 승인 지원과 같은 업무는 운영 효율성을 높이면서도 최종 판단은 의료진이 유지할 수 있습니다. 

가장 중요한 기준은 임상적 책임의 수준입니다. 진단, 치료, 처방, 환자 안전에 직접 영향을 미치는 업무라면 반드시 의료진의 감독과 최종 승인이 필요합니다. 

역할 기반 접근 통제, 사람의 승인 워크플로우, 감사 추적, 지속적인 모니터링 체계를 갖추어야 합니다. 이러한 통제는 AI가 안전하고 투명하게, 규제 요건 내에서 작동하도록 보장합니다. 

아닙니다. AI는 의료진의 의사결정을 지원하는 도구일 뿐이며, 환자 진료와 관련된 최종 책임은 언제나 의료진에게 있습니다. 

AI는 배포 이후에도 지속적으로 성능과 정확성을 점검해야 합니다. 모델 드리프트, 워크플로우 변화, 규제 요구사항 등을 꾸준히 모니터링해야 안정적인 운영이 가능합니다. 

위험도가 낮은 업무부터 시작해 점진적으로 적용 범위를 확대하는 것이 바람직합니다. 조직의 거버넌스와 운영 경험이 함께 성숙할수록 AI의 활용 범위도 안전하게 확장할 수 있습니다.