배달음식 환불 사기부터 심각한 딥페이크 범죄까지 인공지능(AI) 생성물 악용 사례가 급증하는 가운데, 오는 22일 AI 기본법이 본격 시행됩니다.
새로운 법안은 AI 사업자에게 생성물에 대한 고지 및 표시 의무를 부과하지만, 정작 악용의 주체인 이용자는 규제 대상에서 제외되어 실효성에 대한 우려가 제기됩니다.
본문에서는 AI 기본법의 핵심 내용과 해외 주요국의 규제 동향을 비교 분석하며, 실질적인 피해자 보호를 위해 법이 나아가야 할 방향과 시급한 과제를 심층적으로 진단합니다.
인공지능(AI) 기술이 일상에 깊숙이 파고들면서 그 부작용 또한 예측 불가능한 형태로 나타나고 있습니다. 최근 해외 소셜미디어에서는 AI 이미지 생성 기술을 악용해 배달 음식 사진에 벌레를 합성하거나 덜 익은 것처럼 조작한 뒤, 이를 근거로 환불을 요구하는 신종 사기 수법이 등장해 논란이 되었습니다. 이는 AI가 만들어낸 생성물이 더 이상 가상의 영역에만 머무는 것이 아니라, 현실 세계에서 직접적인 재산상 피해를 유발하는 심각한 문제로 비화하고 있음을 명백히 보여주는 사례입니다. 이러한 상황 속에서 AI 기술의 오남용을 방지하고 이용자를 보호하기 위한 법적 장치의 중요성은 그 어느 때보다 커지고 있습니다. 이에 발맞춰 대한민국 국회에서도 관련 법안을 마련했으며, 오는 22일부터 본격적인 시행을 앞두고 있습니다. 하지만 해당 법안이 AI 생성물로 인해 발생할 수 있는 다양한 피해로부터 우리 사회를 안전하게 보호하기에 충분한지에 대한 심도 있는 검토가 필요한 시점입니다.
AI 기본법의 핵심: '사업자'에게만 부과된 고지 및 표시 의무
오는 22일 시행되는 '인공지능산업 육성 및 신뢰 기반 조성에 관한 법률', 약칭 AI 기본법은 AI 기술로 생성된 콘텐츠에 대한 투명성 확보를 최우선 목표 중 하나로 설정하고 있습니다. 법안의 핵심은 생성형 AI나 사회적 영향력이 큰 고위험 AI를 활용한 제품 또는 서비스를 제공하는 'AI 사업자'에게 사전 고지 의무와 생성물 표시 의무를 부과하는 것입니다. 구체적으로 사업자는 이용자가 서비스를 이용하기 전, 계약서나 약관 등을 통해 해당 서비스가 AI 기반임을 명확히 알려야 합니다. 더 나아가, AI가 생성한 이미지, 영상, 음성 등 결과물에는 그것이 AI에 의해 만들어졌음을 이용자가 명확하게 인지할 수 있도록 별도의 표시를 해야 합니다. 예를 들어, 이미지나 영상에는 워터마크나 특정 로고를 삽입하고, 음성 콘텐츠의 경우 시작 부분에 안내 멘트를 넣는 방식이 적용될 수 있습니다. 이러한 표시는 사람이 눈으로 식별할 수 있는 가시적 방식 외에도, 메타데이터 삽입이나 비가시적 워터마크 같은 기계 판독 방식도 허용되지만, 이 경우에도 이용자가 최소 1회 이상은 AI 생성물임을 인지할 수 있도록 명시적인 안내가 동반되어야 합니다. 하지만 이 법안의 가장 큰 특징이자 한계는 이러한 모든 의무가 AI 기술을 개발하거나 서비스를 제공하는 '사업자'에게만 국한된다는 점입니다. 즉, 사업자가 제공한 AI 서비스를 이용해 딥페이크 영상이나 조작된 이미지를 만드는 '이용자'는 해당 생성물을 표시해야 할 법적 의무가 없습니다. 결국 AI 기술의 오남용으로 인한 직접적인 피해는 대부분 이용자에 의해 발생함에도 불구하고, 정작 규제의 칼날은 최종 사용자가 아닌 서비스 제공자만을 향하고 있어 실질적인 범죄 예방 효과에 대한 근본적인 의문이 제기되고 있습니다.
해외 주요국의 AI 규제: 단순 표시를 넘어선 포괄적 접근
AI 생성물에 대한 규제는 비단 우리나라만의 과제는 아닙니다. 해외 주요국 역시 AI 기술의 투명성과 신뢰성 확보를 위해 관련 법규를 정비하고 있으나, 그 접근 방식에서는 국내법과 미묘한 차이를 보입니다. 특히 일부 국가들은 단순한 사전 고지를 넘어, 생성물이 유통되고 소비되는 전 과정에 걸쳐 보다 강력하고 포괄적인 규제 체계를 도입하고 있습니다. 이는 AI 생성물로 인한 피해가 단순히 생성 단계에서 끝나는 것이 아니라, 유통 및 확산 과정에서 증폭될 수 있다는 현실 인식을 바탕으로 합니다. 각국의 주요 규제 동향은 다음과 같습니다.
- 유럽연합(EU): 세계 최초로 포괄적인 AI 규제법을 마련한 EU는 '설계 기반 책임'을 강조합니다. 이는 AI 사업자가 서비스를 개발하는 단계부터 이용자가 AI와 상호작용하고 있다는 사실을 지속적으로 인지할 수 있도록 시스템을 설계해야 할 의무를 부과하는 것입니다. 단순히 '이것은 AI 생성물'이라고 한번 알리는 것을 넘어, 이용 과정 전반에 걸쳐 투명성을 유지하도록 요구하는 적극적인 규제 방식입니다.
- 미국 (캘리포니아주): 연방 차원의 단일 법안은 없지만, 캘리포니아주는 선도적인 규제를 도입했습니다. 이 법안은 AI 생성물 표시의 '영구성과 비가역성'을 요구하여, 악의적인 사용자가 워터마크나 표시를 쉽게 제거하거나 훼손할 수 없도록 기술적 조치를 의무화합니다. 더 나아가, 일반인이나 제3자도 특정 콘텐츠가 AI로 생성되었는지 쉽게 확인할 수 있도록 '무료 탐지 도구' 제공을 규정함으로써, 표시가 제거되더라도 사후적으로 진위를 판별할 수 있는 안전장치를 마련했습니다.
- 중국: 가장 강력하고 광범위한 규제 체계를 가진 중국은 생성 단계뿐만 아니라 생성물이 플랫폼을 통해 유통되고 전파되는 과정 전체를 관리 대상으로 삼습니다. 이는 AI 서비스 제공자뿐만 아니라, 해당 콘텐츠가 유통되는 소셜미디어나 동영상 플랫폼 사업자에게도 관리 책임을 공동으로 부과하는 방식입니다. 이를 통해 딥페이크 영상 등이 온라인상에서 무분별하게 확산되는 것을 차단하는 데 중점을 두고 있습니다.
이처럼 해외 주요국들은 표시 의무의 실효성을 높이고, 유통 과정까지 책임을 확대하며, 사후 검증 장치를 마련하는 등 다층적인 규제 설계를 통해 AI 오남용에 대응하고 있습니다.
현행법의 사각지대: '이용자' 중심 구조와 딥페이크 피해자 보호의 한계
국내 AI 기본법이 최소한의 투명성 기반을 마련했다는 점은 긍정적으로 평가할 수 있지만, 전문가들은 실제 피해자 보호 측면에서 여러 구조적 한계를 지적합니다. 가장 핵심적인 문제는 법의 보호 대상 설정에 있습니다. 현행법은 AI 제품 및 서비스를 직접 사용하는 '이용자'가 합리적인 판단을 내릴 수 있도록 돕는 데 초점을 맞추고 있습니다. 그러나 최근 사회적 문제로 대두된 딥페이크 성범죄나 명예훼손 사건의 경우, 가해자는 '이용자'이지만 실제 피해는 제3자인 '영향을 받는 자'에게 집중됩니다. 현행법은 이러한 이용자와 피해자가 분리되는 구조를 충분히 고려하지 못하고 있어, 사전 예방보다는 사후 처벌에 의존할 수밖에 없는 한계를 노출합니다. 또한, 법에서 정의하는 '중대한 영향'의 범위가 생명, 신체의 안전, 기본권 등으로 한정되어 있다는 점도 문제입니다. 딥페이크를 이용한 보이스피싱 사기나 투자 유도 등 재산적 손실을 유발하는 범죄가 급증하고 있지만, 현행법의 정의로는 이러한 경제적 피해를 포괄하기 어렵다는 지적이 나옵니다. 더불어, 법은 딥페이크 표시 방식을 정할 때 '주된 이용자'의 특성을 고려하도록 규정하고 있습니다. 하지만 현실에서는 AI 서비스의 주된 이용자보다 디지털 환경에 익숙하지 않은 고령층이나 정보 취약계층이 딥페이크 사기 범죄에 더 쉽게 노출될 가능성이 높습니다. 따라서 보호의 기준을 '주된 이용자'가 아닌 '가장 취약한 계층'에 맞춰 재설정해야 한다는 목소리가 높습니다. 마지막으로, 미국 캘리포니아주 사례와 달리 국내법에는 AI 생성물 표시가 변조되거나 삭제되었을 경우에 대한 대응 방안이 부재합니다. 표시가 없는 생성물은 오히려 진짜인 것처럼 오인될 소지를 키워 더 큰 혼란과 피해를 야기할 수 있다는 점에서 시급한 보완이 요구되는 부분입니다.
마치며
인공지능 기술의 발전은 우리에게 무한한 가능성을 열어주었지만, 동시에 그 그림자 또한 짙게 드리우고 있습니다. 곧 시행될 AI 기본법은 기술 발전과 사회적 신뢰 사이의 균형을 잡기 위한 첫걸음이라는 점에서 중요한 의미를 가집니다. AI 사업자에게 고지 및 표시 의무를 부과하여 최소한의 투명성을 확보하려는 노력은 분명 긍정적입니다. 그러나 법의 초점이 서비스를 사용하는 '이용자'에게만 맞춰져 있어, 정작 AI 생성물로 인해 고통받는 제3의 피해자를 보호하는 데는 구조적 한계를 보입니다. 또한, 표시의 변조 및 삭제에 대한 대응책 부재, 재산상 피해 등 다양한 유형의 범죄를 포괄하지 못하는 보호 범위의 협소함 등은 앞으로 해결해야 할 시급한 과제입니다. 해외 주요국들이 생성부터 유통, 사후 검증에 이르는 포괄적인 규제 체계를 구축하고 있는 것처럼, 우리 역시 법 시행 이후 현실에서 발생하는 문제점들을 지속적으로 모니터링하고, 이를 바탕으로 사회적 논의를 통해 제도를 더욱 정교하게 다듬어 나가야 합니다. AI가 인간을 위한 이로운 도구로 자리매김하기 위해서는, 기술의 발전 속도에 발맞춰 법과 제도가 가장 취약한 이들을 보호하는 든든한 안전망 역할을 할 수 있도록 끊임없이 보완해 나가는 노력이 절실합니다.
