본문으로 건너뛰기

AI 에이전트가 잘못된 판단을 내리면 누가 책임을 지는가?

약 6분Mike ThriftMike Thrift
AI 에이전트가 잘못된 판단을 내리면 누가 책임을 지는가?

한 자동차 딜러의 챗봇은 신형 쉐보레 타호를 단돈 1달러에 팔겠다고 약속한 적이 있다. 어떤 고객은 다른 소매업체의 AI 어시스턴트를 구슬려 80퍼센트 할인을 받아낸 뒤 수천 달러어치 주문을 넣었다. 그리고 이 모든 논란의 시작이 된 사건에서는, 한 심판기관이 에어캐나다에게 자사 챗봇이 근거 없이 만들어낸 조문 할인 요금을 그대로 지키라고 명령했다 — "챗봇은 별도의 법인격을 갖는다"는 항공사 측 주장은 판사 앞에서 전혀 통하지 않았다.

이들 기업 중 어느 곳도 문제가 된 코드 한 줄, 거짓 약속, 또는 애초에 존재해서는 안 될 할인을 직접 작성하지 않았다. 그들은 다만 그렇게 말한 AI를 소유하고 있었을 뿐이다. 그리고 2026년 현재, 법원과 규제 당국, 그리고 점점 더 많은 보험사들이 정확히 이런 논리로 접근하고 있다: 당신의 AI가 그렇게 말했다면, 그 책임은 당신에게 있다.

이 마지막 부분이 바로 많은 소상공인들이 아직 따라잡지 못한 반전이다. 에이전틱 AI 도구가 가격 견적 제시, 고객지원 티켓 응대, 구직자 심사, 계약서 초안 작성 등 사업의 일부를 실제로 운영할 만큼 발전한 바로 그 시점에, 보험업계는 사업주들이 당연히 보장받을 거라 여겼던 보험 약관에서 AI 관련 청구를 조용히 제외시키기 시작했다.

당신이 있다고 생각했던 보장이 사라지고 있다

수년간 대부분의 소규모 사업체는 이른바 '침묵의 AI 보장(silent AI coverage)' 상태로 운영되어 왔다. 일반배상책임보험(GL), 배상책임보험(E&O), 또는 전문직업배상책임보험 어디에도 인공지능을 명시적으로 언급하는 조항이 없었기 때문에, AI 도구와 관련된 청구도 다른 청구와 똑같이 처리되었다. 소프트웨어가 실수를 저지르면, 보험은 대체로 이를 보장해 주었다.

그 침묵의 시대는 2026년 1월에 끝났다. 미국 대다수 보험사가 표준 약관 문구의 기초로 삼는 업계 단체인 보험서비스기구(Insurance Services Office, ISO)가 생성형 AI를 겨냥한 두 가지 새로운 선택적 배서(endorsement)를 도입한 것이다:

  • CG 40 47은 광범위한 버전이다. 생성형 AI 산출물과 관련된 담보 A(신체 상해 및 재산 피해)와 담보 B(인격 및 광고 피해) 청구를 모두 면책 대상에서 제외한다 — 명예훼손성 콘텐츠, AI가 생성한 자료로 인한 지식재산권 침해, 심지어 AI로 인한 오류에서 비롯된 신체적 피해까지 포함된다.
  • CG 40 48은 더 좁은 범위로, 담보 B만 면책 대상에서 제외한다. 신체 상해 및 재산 피해 청구에 대해서는 여전히 문을 열어 두지만, AI 실수가 가장 흔히 일으키는 광고 및 평판 관련 피해는 여전히 보장 대상에서 배제한다.

2026년 초까지 처브(Chubb), 트래블러스(Travelers), 버크셔 해서웨이(Berkshire Hathaway)를 비롯한 주요 보험사들은 이미 주 규제 당국으로부터 GL, 임원배상책임보험(D&O), E&O 보험에 명시적인 AI 면책 조항을 추가할 수 있는 승인을 받았다. 이러한 면책 조항에 대한 보험사 신청의 80퍼센트 이상이 승인되었다. 즉, 오늘 갱신되는 보험은 겉보기에는 작년과 동일해 보이지만, 실제로는 AI 관련 청구를 보장 대상에서 조용히 제외하고 있을 수 있다는 뜻이다.

불편한 지점은 바로 타이밍이다. 현재 소규모 사업체의 약 74퍼센트가 어떤 형태로든 AI 도구를 사용하고 있으며, 도입률은 계속 상승하고 있다. 대부분의 사업주는 자신이 가장 빠르게 축적하고 있는 바로 그 위험이 이미 갱신 보험에서 제외되었다는 사실조차 모르고 있다.

실제로 보장 공백에 빠지는 것들

이러한 면책 조항은 단순히 챗봇이 잘못된 이유로 화제가 되는 상황만을 다루지 않는다. 배상책임 공백은 고객, 직원, 규제 당국이 당신의 사업체에 책임을 물을 수 있는 행동을 AI 도구가 취하거나 발언을 하는 곳이라면 어디에서든 나타난다:

  • 가격 책정 및 견적. 원가 이하로 가격을 제시하거나, 승인되지 않은 할인을 제공하거나, 약관 조건을 잘못 전달하는 AI 에이전트. 법원은 이미 챗봇이 한 약속이 잘못된 것이었더라도 기업이 이를 지켜야 한다고 판결한 바 있다.
  • 채용 결정. 편향되거나 차별적인 결과를 내놓는 AI 이력서 심사 도구나 일정 조율 에이전트로 인해, 기존 보험이 애초에 반영하지 않았던 고용 관련 청구에 사업체가 노출될 수 있다.
  • 고객 커뮤니케이션. 잘못된 법률, 의료, 재무 조언을 제공하거나, 어떤 사람도 승인한 적 없는 진술을 하는 고객지원 에이전트.
  • 공급업체 및 조달 행위. 잘못된 주문을 넣거나, 재고 약정을 잘못 관리하거나, 사업체가 의도하지 않은 계약을 체결시키는 AI 구매·물류 배정 에이전트.
  • 데이터 처리. 개인정보보호법을 위반하는 방식으로 고객 데이터를 수집, 보관, 노출하는 AI 도구 — 그 자체로 빠르게 성장하는 규제 영역이다.

공통점은 이렇다: 이는 소프트웨어 구독료 수준의 비용이 아니라, 결과적 손해 — 일실이익, 평판 훼손, 규제 벌금, 데이터 손실 — 라는 점이다. 표준 기술 계약서는 대체로 바로 이런 항목들을 면책 대상으로 규정하고 있으며, 대부분의 사업체가 "동의"를 클릭한 벤더 약관 자체가 애초부터 정확성이나 목적 적합성에 대한 책임을 부인하고 있다. 결국 사업체는 자신이 온전히 선택하지도 않은 위험을 떠안은 채, 이미 가입한 보험으로는 그 위험을 온전히 보장받을 수 없는 상황에 놓이게 된다.

다음 갱신 전에 해야 할 일

보험이 만료되기 전에 AI 도구를 모조리 걷어내거나 공황에 빠질 필요는 없다. 다만 기존 보장 내용이 작년과 똑같을 거라는 가정은 이제 그만두어야 한다.

1. 보험 약관 감사를 요청하라. 중개인에게 현재 가입한 GL, E&O, D&O, 전문직업배상책임보험을 AI 관련 배서나 면책 조항 유무를 기준으로 다시 검토해 달라고 요청하라. 보험이 2025년 10월 이후 갱신되었다면, 바로 그 시점부터 다시 살펴봐야 한다 — 실제 갱신 계약에 면책 조항 문구가 등장하기 시작한 것이 대략 그 무렵이기 때문이다.

2. AI가 실제로 사업의 어느 부분에 관여하는지 지도를 그려라. 대부분의 사업주는 이를 과소평가한다. 도구를 하나씩 짚어보라: 고객서비스 챗봇, AI 기반 채용 또는 일정 조율, 재무 모델링이나 예측 도구, 마케팅 콘텐츠 생성, AI 기반 가격 책정 또는 재고 관리 시스템. 이 각각이 청구가 발생할 수 있는 지점이다.

3. 독립형 AI 배상책임 보장에 대해 문의하라. 바로 이 공백을 메우기 위한 새로운 시장 부문이 형성되고 있다. HSB(뮌헨리(Munich Re) 계열사)는 2026년 3월 중소기업을 위한 AI 배상책임보험 상품을 출시했으며, 기존 보험 패키지를 통해 유통되고 사업체가 지켜야 하는 잘못 책정된 AI 견적과 같은 시나리오까지 보장 범위를 확장한다. 뮌헨리를 비롯한 보험사들의 독립형 상품은 현재 200만 달러에서 5,000만 달러에 이르는 보장 한도를 제공하며, 보험료는 업종, AI 사용 강도, 문서화할 수 있는 거버넌스 수준에 크게 좌우된다.

4. 중요한 결정에는 사람이 개입하도록 하라. 보험사들은 단순히 AI 사용 여부뿐 아니라 거버넌스 수준을 기준으로 보험료를 책정하는 경향이 점점 커지고 있다. AI가 생성한 가격, 계약 조건, 채용 결정이 최종 확정되기 전에 사람이 검토하는 체계적인 감독 절차는 훌륭한 리스크 관리인 동시에, 보험 조건과 보험료를 유의미하게 개선할 수 있는 요인이기도 하다.

5. 통제 체계를 문서화하라. 편향성 테스트, 모니터링 로그, 사고 대응 절차, 그리고 문서화된 AI 사용 정책은 모두 당신이 위험을 방치하지 않고 관리하고 있다는 증거가 된다 — 이는 언더라이팅 과정에서도, 만약 청구가 소송으로 이어질 경우에도 중요하게 작용한다.

시장 자체는 아직 초기 단계다. 한 언더라이터의 말을 빌리면, AI 보험에 대해 이야기하는 사람은 많지만 실제로 그 보장을 인수하는 사람은 아직 많지 않다고 한다. 이는 면책 조항이 이미 반영된 갱신 통지서를 받은 뒤가 아니라, 아직 조건을 협상할 여지가 있는 지금 중개인과의 대화를 시작해야 하는 이유다.

AI가 무엇을 했든, 재무 기록만은 명확하게 유지하라

AI 관련 분쟁이 실제로 발생하면 — 가격 분쟁, 지불 거절(chargeback), 합의금, 새로운 보험료 항목이든 — 보험사, 회계사, 변호사가 가장 먼저 요구하는 것은 깔끔한 증빙 기록이다: 무엇이 청구되었는지, 무엇이 환불되었는지, 보험료는 얼마였는지, 각 항목이 언제 장부에 기록되었는지. Beancount.io는 처음부터 투명하고 버전 관리가 가능한 평문 회계(plain-text accounting)를 제공하므로, 재무적으로 정확히 무슨 일이 있었는지 재구성해야 할 때 그 답이 블랙박스 도구 속에 파묻혀 있지 않다. 무료로 시작하기 — 지금 보장받고자 하는 그 AI 도구만큼이나 감사 가능한 장부를 유지하라.

이 글 공유하기