인공지능(Artificial Intelligence)은 의료, 금융, 제조 등 다양한 분야에서 필수적인 기술로 자리 잡아가고 있습니다. 인공지능 기술이 사회적으로 받아들여지기 위해서는 신뢰성이 반드시 확보되어야 하며, 기술 발전에 발 맞춘 법적 틀이 갖추어져야 합니다. 특히 생성형 인공지능 기술은 점점 더 광범위하게 사용되고 있으므로, 개발 초기 단계부터 활용의 전(全) 과정에 걸쳐 적절한 규제가 필요합니다.
인공지능 기술 발전을 지원하고 신뢰 기반을 마련하기 위하여, 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(이하 "기본법")이 2024년 12월 26일 국회 본회의에서 가결되었습니다. 기본법 제정을 통해, 인공지능 기술의 투명성과 책임성이 강화되고 국민의 권리 보호와 인공지능 산업의 지속 가능성도 담보될 수 있을 것으로 전망합니다. 특히 기본법은 인공지능 시스템에 포괄적으로 적용될 의무를 법률로 정한 첫 시도라는 점에서 의미가 적지 않습니다.
기본법의 주요 내용 및 쟁점을 간단히 살펴보고(보다 상세한 내용은 아래 ‘인공지능기본법 지평 정리자료’를 참고하여 주시기 바랍니다), 국내 산업에 미치는 영향과 향후 과제를 말씀드리겠습니다.
Ⅰ. 기본법의 주요 내용 및 그에 관한 쟁점
1. 용어의 정의
기본법은 인공지능 기술 발전과 국민 권익 보호, 그리고 산업 경쟁력 강화를 목적으로 합니다. 기본법에서 사용되는 용어는 다음과 같이 정의됩니다. 기본법에서의 용어 정의는 향후 제ㆍ개정될 다른 법률에서도 준용될 수 있다는 점에서 의미가 있습니다.
용어 |
정의 |
인공지능 |
학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현한 것 |
고영향 인공지능 |
사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템으로서 다음 각 목의 어느 하나의 영역에서 활용되는 것
가.「에너지법」 제2조제1호에 따른 에너지의 공급
나.「먹는물관리법」 제3조제1호에 따른 먹는물의 생산 공정
다.「보건의료기본법」 제3조제1호에 따른 보건의료의 제공․이용체계의 구축 및 운영
라.「의료기기법」 제2조제1항에 따른 의료기기 및 「디지털의료제품법」 제2조제2호에 따른 디지털의료기기의 개발 및 이용
마.「원자력시설 등의 방호 및 방사능 방재 대책법」 제2조제1항제1호에 따른 핵물질과 같은 항 제2호에 따른 원자력시설의 안전한 관리 및 운영
바. 범죄 수사나 체포 업무를 위한 생체인식정보(얼굴ㆍ지문ㆍ홍채 및 손바닥 정맥 등 개인을 식별할 수 있는 신체적ㆍ생리적ㆍ행동적 특징에 관한 개인정보를 말한다)의 분석ㆍ활용
사. 채용, 대출 심사 등 개인의 권리ㆍ의무 관계에 중대한 영향을 미치는 판단 또는 평가
아.「교통안전법」 제2조제1호부터 제3호까지에 따른 교통수단, 교통시설, 교통체계의 주요한 작동 및 운영
자. 공공서비스 제공에 필요한 자격 확인 및 결정 또는 비용징수 등 국민에게 영향을 미치는 국가, 지방자치단체, 「공공기관의 운영에 관한 법률」 제4조에 따른 공공기관 등(이하 “국가기관등”이라 한다)의 의사결정
차.「교육기본법」 제9조제1항에 따른 유아교육ㆍ초등교육 및 중등교육에서의 학생 평가
카. 그 밖에 사람의 생명ㆍ신체의 안전 및 기본권 보호에 중대한 영향을 미치는 영역으로서 대통령령으로 정하는 영역 |
생성형 인공지능 |
입력한 데이터(「데이터 산업진흥 및 이용촉진에 관한 기본법」 제2조제1호에 따른 데이터)의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성하는 인공지능시스템 |
인공지능 사업자 |
인공지능산업과 관련된 사업을 하는 자로서 다음 각 목의 어느 하나에 해당하는 법인, 단체, 개인 및 국가기관등을 말한다.
가. 인공지능개발사업자: 인공지능을 개발하여 제공하는 자
나. 인공지능이용사업자: 가목의 사업자가 제공한 인공지능을 이용하여 인공지능제품 또는 인공지능서비스를 제공하는 자 |
"
고영향 인공지능"은 국민의 생명, 안전, 그리고 기본권에 중대한 영향을 미칠 가능성이 높은 시스템을 의미합니다. 다만, 이 정의가 지나치게 포괄적이어서 실무적 혼란을 초래할 수 있다는 지적이 있습니다. 예를 들어, "중대한 영향"의 기준이 명확하지 않아, 생명과 안전에 잠재적 위험을 초래하는 시스템이 어디까지 포함되는지 논란이 될 수 있습니다. 의료진단 인공지능이나 자율주행 시스템처럼 고위험군으로 분류될 가능성이 높은 기술 외에도, 상대적으로 경미한 영향을 미치는 기술까지 포괄될 위험도 존재합니다.
“
생성형 인공지능”은 대화, 이야기, 이미지, 동영상, 음악 등 새로운 콘텐츠와 아이디어를 생성할 수 있는 기술을 의미합니다. ChatGPT 혁명으로 주목받게 된 생성형 인공지능 기술은 이미 다양한 제품ㆍ서비스의 핵심 요소로 활용되고 있고, 그 확장 가능성은 더욱 커지고 있습니다.
기본법은 그 규율대상이 되는 “
인공지능사업자”에 (i) 인공지능개발사업자, (ii) 인공지능이용사업자가 모두 포섭되도록 정해 두었습니다. 유럽연합 인공지능법(EU Artificial Intelligence Act, 2024. 8. 1. 시행, 이하 “EU 인공지능법”)상 ‘Provider(제공자)’와 ‘Deployer(활용자)’의 개념과 유사한 분류입니다.
2. 인공지능사업자의 의무
기본법은 (i) 인공지능 투명성 확보 의무, (ii) 인공지능 안전성 확보 의무, (iii) 고영향 인공지능사업자에 대한 의무를 인공지능사업자에게 부여하고 있습니다.
주요 의무 |
세부 내용 |
인공지능 투명성 확보 의무
(제31조) |
- 인공지능사업자는 고영향 인공지능이나 생성형 인공지능을 이용한 제품 또는 서비스를 제공하려는 경우 제품 또는 서비스가 해당 인공지능에 기반하여 운용된다는 사실을 이용자에게 사전에 고지하여야 함
- 인공지능사업자는 생성형 인공지능 또는 이를 이용한 제품 또는 서비스를 제공하는 경우 그 결과물이 생성형 인공지능에 의하여 생성되었다는 사실을 표시하여야 함
- 인공지능사업자는 인공지능시스템을 이용하여 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상 등의 결과물을 제공하는 경우 해당 결과물이 인공지능시스템에 의하여 생성되었다는 사실을 이용자가 명확하게 인식할 수 있는 방식으로 고지 또는 표시하여야 함
(다만, 해당 결과물이 예술적ㆍ창의적 표현물에 해당하거나 그 일부를 구성하는 경우에는 전시 또는 향유 등을 저해하지 않는 방식으로 고지 또는 표시 가능)
|
인공지능 안전성 확보 의무
(제32조) |
- 인공지능사업자는 학습에 사용된 누적 연산량이 대통령령으로 정하는 기준 이상인 인공지능시스템의 안전성을 확보하기 위하여 다음 각 호의 사항을 이행하여야 함
1. 인공지능 수명주기 전반에 걸친 위험의 식별ㆍ평가 및 완화
2. 인공지능 관련 안전사고를 모니터링하고 대응하는 위험관리체계 구축
- 인공지능사업자는 이행 결과를 과학기술정보통신부장관에게 제출
|
고영향 인공지능사업자 의무
(제33조, 제34조) |
- 인공지능사업자는 인공지능 또는 이를 이용한 제품ㆍ서비스를 제공하는 경우 그 인공지능이 고영향 인공지능에 해당하는지에 대하여 사전에 검토하여야 하며, 필요한 경우 과학기술정보통신부장관에게 고영향 인공지능에 해당하는지 여부의 확인을 요청할 수 있음
(과학기술정보통신부장관은 고영향 인공지능의 기준과 예시 등에 관한 가이드라인을 수립하여 보급할 수 있음)
- 인공지능사업자는 고영향 인공지능 또는 이를 이용한 제품ㆍ서비스를 제공하는 경우 고영향 인공지능의 안전성ㆍ신뢰성을 확보하기 위하여 다음 각 호의 내용을 포함하는 조치를 대통령령으로 정하는 바에 따라 이행하여야 함
1. 위험관리방안의 수립ㆍ운영
2. 기술적으로 가능한 범위 내에서의 인공지능이 도출한 최종결과, 인공지능의 최종결과 도출에 활용된 주요 기준, 인공지능의 개발ㆍ활용에 사용된 학습용데이터의 개요 등에 대한 설명 방안의 수립ㆍ시행
3. 이용자 보호 방안의 수립ㆍ운영
4. 고영향 인공지능에 대한 사람의 관리ㆍ감독
5. 안전성ㆍ신뢰성 확보를 위한 조치의 내용을 확인할 수 있는 문서의 작성과 보관
6. 그 밖에 고영향 인공지능의 안전성ㆍ신뢰성 확보를 위하여 위원회에서 심의ㆍ의결된 사항
- 인공지능사업자가 고영향 인공지능을 이용한 제품 또는 서비스를 제공하는 경우 사전에 사람의 기본권에 미치는 영향을 평가하기 위하여 노력해야 함
|
또한, 국내에 주소 또는 영업소가 없는 인공지능사업자로서 이용자 수, 매출액 등이 대통령령으로 정하는 기준에 해당하는 해외 인공지능사업자(이하 “해외사업자”)는 국내대리인을 지정하도록 하고 있습니다(제36조). 국내대리인이 기본법을 위반하면, 해당 해외사업자가 그 행위를 한 것으로 봅니다.
3. 사실조사 및 인공지능사업자에 대한 제재
과학기술정보통신부장관은 다음의 인공지능사업자 의무와 관련하여 (i) 위반되는 사항을 발견하거나 혐의가 있음을 알게된 경우, (ii) 위반에 대한 신고를 받거나 민원이 접수된 경우,
인공지능사업자에 대하여 관련 자료를 제출하게 하거나, 소속 공무원으로 하여금 필요한 조사를 하게 할 수 있습니다(제40조 제1항).
- 생성형 인공지능에 따른 결과물 표시 의무(제31조 제2항)
- 인공지능시스템을 이용하여 생성한 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상 등의 결과물 고지ㆍ표시 의무(제31조 제3항)
- 학습에 사용된 누적 연산량이 대통령령으로 정하는 기준 이상인 인공지능시스템의 안전성 확보 조치 의무(제32조 제1항), 과학기술정보통신부장관의 조치 이행결과 제출 의무(제32조 제2항)
- 고영향 인공지능 또는 이를 이용한 제품ㆍ서비스를 제공 시 안전성ㆍ신뢰성 확보 조치 의무(제34조 제1항)
또한, 과학기술정보통신부장관은 위 조사를 위하여 필요한 경우 소속 공무원으로 하여금 인공지능사업자의 사무소ㆍ사업장에 출입하여 장부ㆍ서류, 그 밖의 자료나 물건을 조사하게 할 수 있습니다(제40조 제2항). 위 조사의 내용ㆍ방법 및 절차 등에 관하여
기본법에서 정하는 사항을 제외하고는 「행정조사기본법」에서 정하는 바에 따릅니다. 만약 조사 결과 인공지능사업자가 이 법을 위반한 사실이 있다고 인정되면 인공지능사업자에게 해당 위반행위의 중지나 시정을 위하여 필요한 조치(이하 “중지ㆍ시정명령”)를 명할 수 있습니다(제40조 제3항).
만약 (i) 고영향 인공지능이나 생성형 인공지능을 이용한 제품 또는 서비스를 제공하려는 경우 제품 또는 서비스가 해당 인공지능에 기반하여 운용된다는 사실을 이용자에게 사전에 고지하지 않거나(제31조 제1항), (ii) 해외사업자가 국내 대리인을 지정하지 않거나(제36조 제1항), (iii) 중지ㆍ시정명령을 이행하지 않은 경우(제40조 제3항),
3천만 원 이하의 과태료가 부과될 수 있습니다.
Ⅱ. 국제적 접근 방식과의 비교
유럽연합은 2024. 5. 21. 세계 최초로 인공지능을 포괄적으로 규제하는 EU 인공지능법을 최종 확정한 바 있습니다. EU 인공지능법은 인공지능을 위험의 정도를 기준으로 수용 불가능한 위험, 고위험, 제한된 위험, 저위험의 4단계로 구분하고 각 단계별로 차등화된 규제를 설정하였다는 점이 특징입니다. 우리나라의 기본법과는 달리
“수용 불가능한 위험”이 있는 인공지능을 별도로 정하고 이를 금지하고 있다는 점에 주목할 필요가 있습니다.
분류 |
내용 |
수용 불가능한 위험 |
- 인간의 잠재의식 또는 취약점을 악용할 가능성이 있는 시스템, 개인의 사회적 점수(social score)를 도출하는 시스템, 자연인의 범죄 가능성을 예측ㆍ평가하는 시스템 등으로, 이러한 인공지능의 사용은 금지
|
고위험 |
- 자연인의 생체 인식ㆍ분류, 도로ㆍ수도ㆍ가스 등 중요 인프라의 관리ㆍ운영, 교육 및 직업훈련, 고용 및 근로자 관리 등에 관한 인공지능으로, 이러한 인공지능을 제공ㆍ배포하는 자는 적합성 평가, 품질 관리 시스템 운용 등의 의무를 이행하여야 함
|
제한된 위험 |
- 사람과 상호작용하는 인공지능 시스템 중에서 딥페이크 기술과 같이 비인격화, 기만, 조작 등의 문제를 일으킬 수 있는 기술 등으로, 이러한 인공지능을 배포하는 자는 해당 인공지능으로 생성된 콘텐츠가 인위적으로 생성된 것이라는 사실을 공개할 의무를 부담함
|
저위험 |
- 위의 세 종류의 인공지능에 속하지 아니 하는 인공지능으로, 이에 대해서는 별도의 규제를 두고 있지 아니함
|
또한, 3천만원 이하의 과태료를 부과할 수 있는 우리나라의 기본법과는 다르게,
그 유형에 따라 최대 3,500만 유로 또는 전세계 매출액의 7% 수준으로 강한 제재가 부과될 수 있습니다.
미국의 경우 전반적으로 기술개발 및 산업육성에 초점을 맞추고 있으며, 인공지능 윤리에 대해서는
구글 등 주요 기업을 중심으로 자율규제를 마련하여 왔습니다. 인공지능 기술의 잠재적 위험성에 대한 인식이 확산됨에 따라 2023년 10월에는 “안정적이고 안전하며 신뢰할 수 있는 인공지능의 개발 및 사용에 관한 행정명령(Executive Order on Safe, Secure, and Trustworthy Artificial Intelligence)”을 시행하는 등 인공지능 규제를 도입하는 추세였으나(이 행정명령의 경우, 국가 안보, 경제 안보, 공공 안전 등에 영향을 미치는 인공지능 모델의 경우 훈련 단계부터 정부 검증 전문가팀의 안전성 평가를 거치도록 하였습니다), 트럼프 행정부가 이와 같은 규제를 유지할지에 대해서는 부정적 전망이 지배적입니다.
Ⅲ. 국내 산업에 미치는 영향과 향후 과제
기본법 시행에 따라, 향후 인공지능 의료기기와 자율주행 등 고영향 분야의 기업들은 규제 준수로 인한 비용 증가와 리스크 관리부담이 어느 정도는 불가피합니다. 예를 들어, 유럽연합은 인공지능 의료기기를 '고위험' 등급으로 분류하여 우리나라 인공지능 의료기기 기업들이 유럽 수출을 위해 추가적인 인증 비용과 시간 부담을 감수해야 하는 상황입니다. 우리나라 기본법은 수용 불가능한 위험에 대한 명확한 규정을 마련하지 않았고 제재 수준도 상대적으로 낮은 편이나, 유럽연합과 유사하게 생성형 인공지능과 고영향 인공지능에 대한 사전 평가 및 모니터링 의무를 둠으로써 적지 않은 사업자들에게 부담이 될 수 있습니다. 시행령 등 기본법의 하위 법령과 가이드라인을 통해 "고영향 인공지능"의 정의와 "중대한 영향" 및 "위험"의 수준을 명확히 하고, 이를 기준으로 인공지능사업자들이 기본법을 효과적으로 준수할 수 있도록 예측가능하고 상세한 지침을 마련해야 할 것으로 보입니다.
단순 민원에 따른 현장조사 권한이 과도할 수 있다는 지적도 존재합니다. 과학기술정보통신부는 자체 내규를 통해 사실조사 착수 요건을 강화하고 기업 부담을 완화하는 제도를 도입할 계획입니다. 추가로 업계 의견을 수렴하여, 현장조사 권한 남용을 방지하고 피조사자의 권리를 보호할 수 있는 조치를 마련하는 것이 필요하다고 생각됩니다.
생성형 인공지능과 관련해서는 학습 데이터의 기록·보관 및 공개 의무를 명문화하여 저작권 및 개인정보 침해를 방지해야 한다는 지적이 입법 과정에서 꾸준히 제기되었습니다. 현재 기본법에는 이러한 내용이 포함되지 않았으나, 향후 인공지능 개발자들에게 학습 데이터의 출처, 사용 목적, 처리 방식을 체계적으로 기록하도록 요구하고, 저작권 보호를 위해 데이터 열람 요청 시 사용 내역과 원저작자 정보를 제공할 수 있는 시스템 구축이 요구될 가능성도 배제할 수 없습니다.
유럽연합은 강력한 규제와 제재를 통해 신뢰성과 투명성을 확보하려는 반면, 미국은 자율 규제를 중심으로 혁신을 촉진하는 방향으로 나아가고 있습니다. 우리나라는 이들 양쪽의 접근 방식을 균형 있게 반영하여, 국내 기업이 글로벌 시장에서 경쟁력을 유지할 수 있도록 지원 체계를 마련할 필요가 있습니다.
한편, 고영향 인공지능을 개발하거나 이용하는 사업자의 경우 여러 의무사항을 준수해야 하고 위반 시 제재를 부과하는 법 개정이 향후 이루어질 수도 있으므로, 고영향 인공지능의 기준 및 의무사항에 대한 하위 법령 및 지침 제정 경과를 지속적으로 주시할 필요가 있습니다.