AI 도입 리스크 대응을 위해 쓰기 권한과 토큰 한도를 제한해야 한다

새로운 AI 모델과 도구의 등장은 업무 효율화의 대안으로 제시되지만, 기업 환경에서는 예상치 못한 운영 비용과 시스템 리스크를 동반한다. OpenAI의 신규 모델이나 Canva의 Code 2.0 같은 기능 중심의 업데이트를 실무에 도입하기 전에, 기업은 권한 오작동으로 인한 데이터 유실 가능성, 통제 범위를 벗어나는 API 비용, 벤더 종속성 등 시스템 장애 시나리오를 먼저 검토해야 한다.

자율형 권한 부여가 초래하는 데이터 관리 리스크

TechCrunch가 2026년 7월 14일에 보도한 바에 따르면, OpenAI의 새로운 플래그십 모델인 GPT-5.6 Sol이 사용자 동의 없이 시스템 내부의 파일을 삭제했다는 주장이 소셜 미디어를 포함한 일부 사용자 커뮤니티를 중심으로 제기되었다. OpenAI 측은 이미 2026년 6월에 해당 결함의 가능성을 인지하고 공개했으나, 실무 환경에서 유사한 데이터 유실 현상이 감지되고 있다는 일부 사용자의 보고가 잇따르고 있다.

이러한 현상은 모델 자체의 추론 오류가 로컬 인프라로 전이될 때 발생하는 위험을 보여준다. AI 에이전트에게 데이터베이스나 로컬 파일 시스템의 쓰기 권한을 무제한으로 허용하는 아키텍처는 검증되지 않은 오작동으로 인해 핵심 자산의 영구 손실을 유발할 가능성이 있다. 실무 조직은 AI 모델의 역할을 읽기 전용으로 제한하거나, 최종 실행 단계에 인간의 승인을 요구하는 중간 샌드박스 영역을 배치해야 한다. AI 보안 및 데이터 거버넌스 관점에서 통제 권한의 범위를 명확히 설정하지 않은 상태에서의 자율 기능 도입은 시스템 안정성을 저해하는 요인이 된다.

모니터링만으로 통제하기 어려운 토큰 예산 폭발

1Password가 2026년 7월 14일 발표한 'AI Spend and Consumption Management' 기능은 실시간으로 Anthropic, Cursor, OpenAI 등 외부 벤더의 토큰 소비 추이를 감시할 수 있는 도구를 제공한다. 같은 날 인스타그램의 아담 모세리(Adam Mosseri) 대표는 향후 개발 및 비즈니스 현장에서 개별 임직원에게 할당되는 AI 토큰 사용량이 고정된 예산처럼 제한될 것이라는 전망을 내놓았다.

이러한 도구와 전망은 기업의 통제 범위를 벗어나는 '섀도우 AI' 비용의 심각성을 방증한다. 복잡한 코드를 분석하거나 방대한 데이터셋을 처리할 때 발생하는 토큰 소모는 사전 시뮬레이션 없이 예측하기 매우 어렵다. 단순히 소비 현황을 모니터링하는 수준을 넘어, 시스템 차원에서 일일 혹은 월별 토큰 소비 한도를 설정하고 한도 초과 시 API 호출을 자동 차단하는 정책이 수반되어야 한다. LLM 도입 리스크 가이드에 따른 정량적 비용 상한선 설계가 동반되지 않으면 사후 비용 정산 단계에서 통제 불능의 예산 초과가 발생할 위험이 있다.

저작권 규제와 인프라 한계에 따른 멀티 벤더의 필요성

구글은 2026년 7월 14일, Hachette, Cengage, Elsevier 등 출판사들로부터 저작권 침해 혐의로 소송을 당했다. 이와 함께 뉴욕주는 전력 소비 급증과 용수 공급 부족 등을 이유로 신규 데이터 센터 건설 승인을 일시적으로 보류하는 결정을 내렸다.

이와 같은 규제 리스크와 전력망의 물리적 한계는 외부 API에 의존하는 기업 서비스의 영속성을 불투명하게 만든다. 특정 프론티어 모델에 아키텍처가 결합되어 있을 경우, 해당 모델의 서비스 중단이나 응답 지연은 곧바로 비즈니스 중단으로 이어진다. Hugging Face의 CEO인 클레망 드랑그(Clem Delangue)가 강조하듯 오픈소스 모델을 활용해 소유권을 확보하고 비용을 제어하는 대안이 주목받는 이유다. 독점적 상용 API의 대안으로 동작할 수 있는 오픈소스 LLM을 이중화하여 설계하는 방식으로 종속성 리스크를 완화할 필요가 있다.

기업이 AI 모델을 안정적으로 운영하기 위해서는 실무 적용 전에 다음의 통제 장치를 점검해야 한다. AI 에이전트에 직접적인 쓰기 권한을 부여하지 않고 인간 검증 단계가 포함된 중간 저장소를 경유하도록 아키텍처를 제한해야 한다. 부서 및 사용자별 토큰 소비 상한선을 시스템적으로 설정해 실시간 차단이 가능하도록 구현해야 한다. 특정 서비스의 중단 가능성에 대비해 오픈소스 모델을 혼용하는 멀티 엔진 체계를 구축하여 장기적인 운영 안정성을 확보해야 한다.