AI의 거짓말과 저작권 침해를 어떻게 방지할까? AI 생성물을 안전하게 활용하기 위한 AI 사내 규정이란?

AI를 비즈니스의 추진력으로 바꿀 수 있을지, 아니면 브랜드 훼손의 원인이 될지. 그 분기점은 실효성 있는 ‘AI 사내 규정’의 유무에 달려 있습니다. 특히 저작권 침해나 환각에 의한 잘못된 정보의 확산은 한 번 발생하면 법적 제재뿐만 아니라, 그동안 쌓아온 고객의 신뢰를 순간적으로 잃을 수 있습니다.

이 기사에서는 비즈니스에서 경쟁력을 유지하면서 안전한 AI 운영을 실현하기 위해 지금 주도해야 할 컴플라이언스 체계와 규정 정비의 지침을 설명합니다.

AI 생성물의 ‘품질’과 ‘권리’에 숨겨진 함정

생성 AI는 제로에서 하나를 만들어내는 데 필요한 막대한 노력을 줄이고, 창의적인 업무부터 사무 작업까지 극적으로 효율화하는 매력적인 도구로 자리 잡았습니다. 그러나 그 편리함 뒤에는 기존의 IT 도구와는 근본적으로 다른 법적 리스크가 숨어 있습니다.

생성 AI가 만들어내는 출력물은 기존의 방대한 학습 데이터에 기반하여 확률적으로 도출된 것이며, 그 생성 과정이 블랙박스화되어 있기 때문에, 위탁자가 모르는 사이에 타인의 권리를 침해하거나 그럴듯한 거짓을 진실로 확산시키는 위험성을 항상 안고 있습니다.

비즈니스 현장에서 “AI가 만든 것이기 때문에”라는 변명은 통하지 않습니다. AI를 업무에 도입한 기업이나 이를 사용한 개인은 그 출력 결과에 대해 법적 책임을 져야 합니다. 부적절한 정보의 확산으로 인한 명예훼손이나 저작권 침해로 인한 손해배상 청구와 같은 상황을 피하기 위해서는 현장의 재량에 맡기지 않고, 조직적으로 명확한 ‘가드레일’을 설정해야 합니다. 최신 법령이나 가이드라인에 따라 저작권 침해의 가해자나 피해자가 되는 것을 방지하고, 잘못된 정보의 확산을 막기 위한 견고한 사내 규정을 신속히 정비할 필요가 있습니다.

리스크 1: 저작권 침해 가해자가 되지 않기 위해

생성 AI를 비즈니스에서 활용할 때 가장 우려되는 점은 타인의 저작권을 침해하여 법적 책임을 묻는 리스크입니다. 생성 AI는 그 구조상 학습 데이터에 포함된 기존 저작물의 특징을 반영한 내용을 출력하는 특성이 있습니다. 이 프로세스를 올바르게 이해하고, 어떤 경우에 ‘침해’로 간주되는지를 명확히 파악하는 것이 방어책의 첫걸음이 됩니다.

생성 AI와 일본 저작권 메커니즘

생성 AI는 입력된 지시(프롬프트)에 따라 학습한 방대한 데이터에서 패턴을 추출하여 새로운 콘텐츠를 생성합니다. 이 과정에서 AI는 ‘정보의 의미’를 이해하는 것이 아니라, 통계적 확률에 기반하여 다음 단어나 화소를 예측할 뿐입니다. 따라서 특정 창작자의 작품이나 특정 저작물과 매우 유사한 것이 위탁자의 의도와 반하여 생성될 가능성이 있습니다.

일본 문화청이 발표한 “AI와 저작권에 관한 생각“에 따르면, AI 생성물에 의한 저작권 침해 판단은 일반적인 저작물과 동일한 틀에서 이루어집니다. 구체적으로는 기존 저작물과의 ‘유사성’ 및 ‘의거성’이 인정될 경우 침해가 성립됩니다.

참고: 문화청｜AI와 저작권에 대하여

침해 성립의 두 가지 주요 요건: “유사성”과 “의거성”

유사성은 생성된 출력물이 기존의 저작물의 창작적 표현과 동일하거나 본질적인 특징을 공유하는 상태를 의미합니다. 반면, 의거성은 기존의 저작물을 “기반으로” 작성되었음을 의미합니다. 전통적인 저작권 침해에서는 작성자가 그 저작물을 본 적이 있는지가 초점이 되었지만, 생성 AI의 경우 AI의 학습 데이터에 그 저작물이 포함되어 있었는지가 중요한 판단 기준이 됩니다.

특히 문제가 되는 점은, 이용자가 기존의 저작물을 몰랐더라도 AI가 그것을 학습한 경우 의거성이 인정될 가능성이 있다는 점입니다. 이를 “블랙박스 문제”라고 부릅니다. 일본 문화청의 견해에 따르면, 학습 데이터의 내용이 불명확하더라도 AI가 인터넷상의 정보를 광범위하게 학습하고 생성물이 기존의 저작물과 현저히 유사한 경우에는 의거성이 추정되기 쉬워진다고 정리되어 있습니다.

참고: 문화청｜레이와 5년도(2023년) 저작권 세미나 AI와 저작권（P48）

권리 제한 규정(제30조의4)의 범위와 한계

일본의 저작권법 제30조의4에 따르면, AI의 학습 단계에서 저작물에 표현된 사상이나 감정을 스스로 “향유”하는 것을 목적으로 하지 않는 경우, 저작권자의 허락 없이 이용할 수 있도록 규정하고 있습니다. 이는 정보 분석이라는 비향유 목적의 이용을 폭넓게 인정하는 것으로, 일본의 AI 개발을 지탱하는 중요한 법적 기반이 되고 있습니다.

그러나 이 규정은 어디까지나 “학습”에 대한 것이며, 생성된 것을 “이용”하는 단계에는 적용되지 않습니다. 또한, 특정 크리에이터의 작품 스타일을 그대로 출력하는 것을 목적으로 추가 학습(LoRA 등)을 수행하는 경우에는 “향유” 목적이 병존한다고 간주되어 제30조의4의 적용 대상에서 제외될 가능성이 있다는 점에 유의해야 합니다.

AI 사내 규정에서의 대책: 프롬프트와 서비스 선정

AI 사내 규정에서는 의존성 리스크를 최소화하기 위해 입력 단계에서 제한을 두는 것이 효과적입니다. 구체적으로는, 프롬프트에 특정 아티스트 이름이나 구체적인 작품명을 포함하는 것을 원칙적으로 금지해야 합니다. 또한, Image-to-Image(i2i)와 같이 기존 이미지를 업로드하여 생성하는 기능에 대해서는, 자사가 권리를 보유한 이미지나 권리 관계가 명확한 소재로 제한하여 운영을 철저히 해야 합니다.

더불어, 사용하는 AI 서비스의 선정도 중요합니다. 유료 플랜 중에는 저작권 침해 리스크를 보상하는 “저작권 면책”을 내세우는 서비스도 있지만, 그 적용 조건을 면밀히 검토하고, 사내 안전 기준에 부합하는 것을 선택하는 프로세스를 규정에 포함시키는 것이 권장됩니다.

아래 표는 저작권 침해를 회피하기 위해 사내 규정에서 정리해야 할 체크포인트를 요약한 것입니다.

리스크 2: AI 생성물에 ‘저작권’이 발생하는가? (피해자가 되지 않기 위해)

AI를 도입하여 성과물을 제작한 경우, 그 성과물이 타사에 무단으로 사용되었을 때 자사의 권리를 주장할 수 있는지가 중요한 논점입니다. 현재 일본의 법 해석에 따르면, AI가 자율적으로 생성한 것만으로는 저작권이 발생하지 않는다는 원칙이 있습니다. 기업이 생성물의 권리를 확보하고 지적 재산으로 보호하기 위해서는 일정한 조건을 충족해야 합니다.

「저작물」의 정의와 창작성의 기준

일본 저작권법 제2조 제1항 제1호에 따르면, 저작물은 “사상 또는 감정을 창의적으로 표현한 것”으로 정의됩니다. AI는 “사상”이나 “감정”을 가지지 않는 기계이기 때문에, AI가 자동으로 출력한 콘텐츠는 저작물로 인정되지 않습니다. 따라서, 누군가가 AI에 짧은 프롬프트를 입력하여 얻은 결과는 일반적으로 “창작적 기여”가 없는 것으로 법적으로 보호되지 않으며, 누구나 자유롭게 이용할 수 있는 상태(공공 영역에 가까운 상태)에 놓이게 됩니다.

저작물성이 인정되기 위해서는, 인간이 AI를 “도구”로서 잘 활용하고, 인간에게 “창작적 의도”와 “창작적 기여”가 인정되어야 합니다. 단순한 지시를 넘어서, 인간이 표현 내용을 실질적으로 제어하고 있는지가 권리 발생의 중요한 기준이 됩니다.

권리를 확보하기 위한 ‘도구’로서의 운영

구체적으로 어떤 행위가 창작적 기여로 인정되는지에 대해서는 다음 요소들이 종합적으로 고려됩니다. 먼저, 프롬프트의 내용이 구체적이고 상세해야 합니다. 단순히 “고양이 그림”이라고 하는 것이 아니라, 구도, 색상, 필치 등을 세부적으로 지정하고, 시행착오를 거치면서 이상적인 표현을 좁혀가는 과정이 필요합니다. 다음으로, AI가 생성한 출력물에 대해 사람이 가필·수정을 하거나, 여러 생성물을 조합하여 새로운 구성을 추가하는 것입니다. 이렇게 사람이 손을 댄 부분에 대해서는 일반적으로 저작물성이 인정됩니다.

기업으로서는 업무에서 작성된 AI 생성물이 타사에 의해 모방되었을 때 대항할 수 있도록, 생성 과정(프롬프트의 이력이나 수정 로그)을 저장해 두는 운영 흐름을 확립하는 것이 바람직하다고 할 수 있습니다.

업무에서 생성된 AI 생성물의 권리 귀속

직원이 업무로 AI를 활용하여 창작적 기여를 통해 저작물을 완성한 경우, 그 권리는 누구에게 귀속될까요? 일본 저작권법 제15조(직무저작)의 규정에 따르면, 법인의 발의에 따라 업무에 종사하는 자가 직무상 작성한 저작물로, 법인 명의로 공표하는 저작물의 저작자는 별도의 규정이 없는 한 그 법인이 됩니다.

AI를 이용한 경우에도 인간에 의한 창작적 기여가 인정된다면, 이 직무저작의 틀이 적용될 수 있습니다. 그러나 AI가 자율적으로 생성한(인간의 창작적 기여가 없는) 부분에 대해서는 저작권이 발생하지 않으므로, 법 제15조의 적용 대상이 아닙니다. 사내 규정에서는 AI 생성물의 권리가 회사에 귀속됨을 명시하고, 창작적 기여를 수반하는 운영을 권장하는 조항을 마련하는 것이 중요합니다.

아래 표는 AI 생성물의 저작물성이 인정되기 위한 요소와 판단의 포인트를 나타낸 것입니다.

리스크 3: 환각(AI의 거짓말)에 대한 법적 방어

생성 AI가 가진 주요 기술적 문제 중 하나는 환각 현상입니다. 이는 AI가 그럴듯한 거짓말을 출력하는 현상으로, 비즈니스 활용 시 잘못된 정보의 확산으로 인한 명예훼손이나 잘못된 데이터에 기반한 의사결정 등 심각한 상황을 초래할 수 있습니다.

환각의 정체와 비즈니스상의 실질적 피해

환각은 AI가 진실성을 검증하는 것이 아니라, 단어 배열의 확률론적 정확성을 추구하기 때문에 발생합니다. 이로 인해 존재하지 않는 판례를 조작하거나 가상의 사건을 사실로 보고하는 경우가 있습니다. 실제로 미국에서는 변호사가 생성 AI를 사용해 작성한 문서에 가상의 판례가 포함되어 법정에서 큰 문제가 된 사례가 보고되었습니다.

기업 활동에서 환각을 포함한 정보를 외부에 발신할 경우, 다음과 같은 법적 리스크가 발생합니다. 먼저, 특정 개인이나 법인의 명예를 훼손하는 내용이라면 명예훼손에 따른 손해배상 책임이 발생할 수 있습니다. 다음으로, 잘못된 시장 데이터나 재무 예측에 기반한 투자 판단을 하면, 선량한 관리자의 주의 의무(선관주의 의무) 위반이 될 수 있습니다. 또한, 고객에게 잘못된 제품 사양이나 법적 해석을 제시하면 계약상의 채무 불이행 책임이나 업무 방해로 문제될 가능성이 있습니다.

기술적 대책: RAG(검색 확장 생성)의 활용

기술적 방어책으로서 RAG(Retrieval-Augmented Generation)의 도입이 효과적입니다. 이는 AI가 답변을 생성할 때 외부의 불특정 다수의 정보가 아닌, 미리 준비된 정확한 문서나 신뢰할 수 있는 데이터베이스를 참조하게 하는 기술입니다. 이를 통해 답변의 근거가 명확해지고, 환각의 위험을 크게 줄일 수 있습니다.

그러나 RAG를 도입했다고 해서 인간의 검토가 불필요해지는 것은 아닙니다. AI가 참조 자료를 잘못 해석하거나 불완전한 요약을 할 가능성은 여전히 존재하기 때문입니다.

운영에서의 대책: 사실 확인 의무화

사내 규정에서 가장 중요한 것은 AI의 출력을 그대로 받아들이지 않고, 인간에 의한 ‘사실 확인(진위 확인)’을 프로세스로 의무화하는 것입니다. 일본 경제산업성과 총무성의 AI 사업자 가이드라인에서도, AI 이용자는 출력 결과의 정확성을 이해하고 책임을 가지고 이용 판단을 해야 한다고 명시되어 있습니다.

참고: 일본 경제산업성｜AI 사업자 가이드라인

구체적으로는, AI가 제시한 사실 관계나 숫자에 대해서는 반드시 관공서의 공식 사이트, 공적 통계, 공식 발표 등의 1차 정보와 대조하는 흐름을 구축합니다. 특히, 대외적으로 발신하는 문서나 고액 거래에 관한 자료, 법적 효력을 가지는 서류에 대해서는 AI 생성물임을 인식한 상태에서의 엄격한 이중 체크 체제를 규정에 포함시켜야 합니다.

권리와 진위를 관리하는 AI 사내 규정 예시

그동안의 리스크 분석을 바탕으로, 구체적으로 사내 규정에 포함해야 할 조항의 예시를 제시합니다. 규정은 “금지 사항”뿐만 아니라 “이용 프로세스”를 정의하여, 직원들이 안전하게 AI를 활용할 수 있는 지침이 됩니다.

프롬프트 입력 시 금지 사항 (저작권 및 보안 관련)

규정 예시:

• 이용자는 생성 AI에 입력(프롬프트)할 때 특정 개인, 유명인, 아티스트의 이름을 입력하여 그들의 작품 스타일이나 특징을 모방하도록 지시해서는 안 됩니다.

1. 1. 기존의 이미지, 문서, 소스 코드 등의 저작물을 입력하여 이를 번안·개변할 경우, 자사가 해당 저작물의 정당한 권리자이거나 AI 이용에 관한 허가를 받은 경우에 한정합니다.

1. 1. 학습용 데이터로 사용될 가능성이 있는 서비스에서 자사의 기밀 정보, 개인 정보 및 타인의 비공개 저작물을 입력하는 것을 엄격히 금지합니다.

AI 생성물의 이용 프로세스 (정확성 및 유사성 확인)

규정 예시:

• AI 생성물을 외부 자료, 홍보, 제품, 서비스 등에 사용할 경우, 담당자는 기존 저작물과의 유사성이 인정되지 않는지 Google 이미지 검색이나 시중의 복사 방지 도구 등의 객관적인 수단을 사용하여 확인해야 합니다.

1. 1. AI에 의해 출력된 사실, 수치, 역사적 배경, 법적 해석 등을 포함한 정보에 대해서는 반드시 신뢰할 수 있는 1차 정보(공적 데이터, 공식 문서 등)와 대조하여 인간이 그 진실성을 확인한 후에 사용해야 합니다.

1. 1. 중요한 의사 결정에 AI 생성물을 활용할 경우, 그 생성 과정(사용한 프롬프트, 대조한 소스)을 기록으로 보존하고, 상사 또는 전문 부서의 승인을 받아야 합니다.

상업적 이용 시 규약 재확인 절차

규정 예시:

• 생성 AI 서비스를 상업적으로 이용하거나 외부 배포 목적으로 이용할 경우, 담당자는 해당 서비스의 최신 이용 약관을 확인하고, 상업적 이용의 가능 여부 및 생성물의 권리 귀속에 문제가 없는지 사전에 확인해야 합니다.

1. 1. 서비스 제공 측이 이용 약관을 개정한 경우에는 신속히 그 내용을 검토하고, 사내 규정과의 일관성을 재평가해야 합니다.

요약: AI를 안전하게 활용하기 위한 일본 내 AI 사내 규정은 변호사와 상담하세요

생성 AI는 올바르게 제어하면 인간의 창의성을 이끌어내고 업무의 생산성을 차원이 다른 수준으로 높이는 “우수한 조수”가 될 수 있습니다. 그러나 이 조수는 때때로 저작권이라는 타인의 권리를 침해하고, 그럴듯한 거짓말을 하여 조직을 곤경에 빠뜨릴 가능성도 있습니다. 본 기사에서 자세히 설명한 리스크는 AI의 이용을 제한하기 위한 것이 아니라, 리스크의 정체를 올바르게 이해하고 적절한 “가드레일”을 마련하여 가속 페달을 최대한 밟을 수 있도록 하기 위한 것입니다.

기업이 AI 거버넌스를 구축하는 것은 이제 선택이 아닌 지속 가능한 경영을 위한 필수 조건입니다. 일본 저작권법이나 AI 사업자 가이드라인, 문화청의 최신 견해를 반영한 사내 규정을 정비하고, 인간이 최종적인 책임을 지는 “Human-in-the-loop” 체제를 확립하는 것이 AI 시대의 비즈니스 승패를 가릅니다.

당 법무법인의 대응 안내

모노리스 법률사무소는 IT, 특히 인터넷과 법률 분야에서 풍부한 경험을 보유한 법률사무소입니다. AI 비즈니스에는 많은 법적 리스크가 따르며, AI 관련 법적 문제에 정통한 변호사의 지원이 필수적입니다. 당 법무법인은 AI에 정통한 변호사와 엔지니어 등으로 구성된 팀이 ChatGPT 등을 활용한 AI 비즈니스에 대해 계약서 작성, 비즈니스 모델의 적법성 검토, 지적 재산권 보호, 프라이버시 대응, AI 사내 규정 정비 등 고도의 법적 지원을 제공합니다. 아래 기사에서 자세한 내용을 확인하실 수 있습니다.