人工知能技術の発展を支援し、信頼基盤を構築することを目的とした「人工知能の発展と信頼基盤の構築等に関する基本法」(以下、「基本法」といいます。)が、2024年12月26日に国会本会議で可決されました。基本法の制定により、人工知能技術の透明性と責任が強化され、国民の権利保護と人工知能産業の持続可能性が確保されることが期待されます。特に、人工知能システムに包括的に適用される義務を法律で定めた初めての試みである点に大きな意義があります。
基本法の主要な内容と争点について簡単に説明し、示唆と課題を述べます。
1. 基本法の主な内容とその争点
⑴ 用語の定義
基本法は、人工知能技術の発展、国民の権益保護、産業競争力の強化を目的とします。基本法で使用される用語は次のとおりです。基本法の定義は今後制定・改正される他の法律で準用される可能性がある点において重要な意味を持ちます。
用語 |
定義 |
人工知能 |
学習、推論、知覚、判断、言語の理解等人間の知的能力を電子的な方法で実装したもの |
高影響
人工知能 |
人の生命、身体の安全及び基本権に重大な影響を及ぼし、又は危険をもたらすおそれがある人工知能システムで、次のいずれかの領域で活用されるもの
イ. 「エネルギー法」2条1号の規定によるエネルギーの供給
ロ. 「飲料水管理法」3条1号の規定による飲料水の生産工程
ハ. 「保健医療基本法」3条1号の規定による保健医療の提供。利用体制の構築及び運営
ニ. 「医療機器法」2条1項の規定による医療機器及び「デジタル医療製品法」2条2号の規定によるデジタル医療機器の開発及び利用
ホ. 「原子力施設等の防護及び放射能防災対策法」2条1項1号の規定による核物質及び同項2号の規定による原子力施設の安全な管理及び運営
ヘ. 犯罪捜査又は逮捕業務のための生体認証情報(顔・指紋・虹彩・手のひらの静脈等個人を識別できる身体的・生理的・行動的特徴に関する個人情報をいう。)の分析・活用
ト. 採用、融資審査等個人の権利・義務関係に重大な影響を及ぼす判断又は評価
チ. 「交通安全法」2条1号から3号までの規定による交通手段、交通施設、交通体系の主要な作動及び運営
リ. 公共サービスの提供に必要な資格の確認及び決定、又は費用徴収等国民に影響を及ぼす国、地方自治体、「公共機関の運営に関する法律」4条の規定による公共機関等(以下、「国家機関等」という。)の意思決定
ヌ. 「教育基本法」9条1項の規定による幼児教育・初等教育・中等教育における学生の評価
ル. その他、人の生命・身体の安全、基本権保護に重大な影響を及ぼす領域として大統領令で定める領域
|
生成型
人工知能 |
入力したデータ(「データ産業振興及び利用促進に関する基本法」2条1号の規定によるデータ)の構造及び特性を模倣して文章、音、絵、画像、映像、その他の多様な成果物を生成する人工知能システム |
人工知能
事業者 |
人工知能産業に関連する事業を行う者で、次のいずれかに該当する法人、団体、個人及び国家機関等をいう。
イ. 人工知能開発事業者: 人工知能を開発して提供する者
ロ. 人工知能利用事業者: イの事業者が提供した人工知能を利用して人工知能製品又は人工知能サービスを提供する者
|
「高影響人工知能」とは、国民の生命、安全、基本的権利に重大な影響を及ぼす可能性の高いシステムを指します。しかし、この定義が過度に包括的であり、実務上の混乱を招く可能性があるとの指摘があります。例えば、「重大な影響」の基準が明確でないため、生命や安全に潜在的な危険をもたらすシステムの範囲について議論の余地があります。医療診断の人工知能や自動運転システムのように高リスク群に分類される可能性が高い技術に加え、比較的軽微な影響しか及ぼさない技術まで含まれる可能性があります。
「生成型人工知能」とは、会話、ストーリー、画像、動画、音楽など、新しいコンテンツやアイデアを生成できる技術を指します。チャットGPT革命をきっかけに注目を集めた生成型人工知能技術は、すでにさまざまな製品やサービスの中核要素として活用されており、その応用範囲はますます拡大しています。
基本法は、その規律対象となる
「人工知能事業者」に、(i)人工知能開発事業者、(ii)人工知能利用事業者の両方を含むように定めています。欧州連合人工知能法(EU Artificial Intelligence Act、2024年8月1日施行、以下「EU AI法」といいます。)における「Provider(提供者)」と「Deployer(活用者)」の概念と同様の分類です。
⑵ 人工知能事業者の義務
基本法は、(i)人工知能の透明性確保義務、(ii)人工知能の安全性確保義務、(iii)高影響人工知能事業者に対する義務を、人工知能事業者に課しています。
主な義務 |
詳細内容 |
人工知能
透明性確保義務
(31条) |
- 人工知能事業者は、高影響人工知能又は生成型人工知能を利用した製品又はサービスを提供しようとする場合、製品又はサービスが当該人工知能に基づいて運用されるという事実を利用者に事前告知しなければならない。
- 人工知能事業者は、生成型人工知能又はこれを利用した製品又はサービスを提供する場合、その成果物が生成型人工知能によって生成されたという事実を表示しなければならない。
- 人工知能事業者は、人工知能システムを利用して実際と区別が難しい仮想の音響、画像、映像等の成果物を提供する場合、当該成果物が人工知能システムによって生成されたものであることを、利用者が明確に認識できる方法で告知又は表示しなければならない(ただし、当該成果物が芸術的・創作的表現物に該当する場合、又はその一部を構成する場合は、展示又は鑑賞等を阻害しない方法で告知又は表示できる。)。
|
人工知能
安全性確保義務
(32条) |
- 人工知能事業者は、学習に使用された累積演算量が大統領令で定める基準以上の人工知能システムの安全性を確保するため、次の各号の事項を履行しなければならない。
- 人工知能のライフサイクル全般に渡るリスクの識別、評価及び緩和
- 人工知能関連の安全事故をモニタリングして対応するリスク管理体制を構築
- 人工知能事業者は、履行結果を科学技術情報通信部長官に提出
|
高影響人工知能
事業者義務
(33条、34条) |
- 人工知能事業者は、人工知能又はこれを利用した製品・サービスを提供する場合、その人工知能が高影響人工知能に該当するかどうかについて事前に検討しなければならず、必要な場合、科学技術情報通信部長官に高影響人工知能に該当するかどうかの確認を要請することができる(科学技術情報通信部長官は、高影響人工知能の基準及び例示等に関するガイドラインを策定して普及することができる)。
- 人工知能事業者は、高影響人工知能又はこれを利用した製品・サービスを提供する場合、高影響人工知能の安全性・信頼性を確保するため、次の各号の内容を含む措置を大統領令で定めるところにより履行しなければならない。
1. リスク管理策の策定・運営
2. 技術的に可能な範囲内で、人工知能が導き出した最終結果、人工知能の最終結果導出に活用された主な基準、人工知能の開発・活用に使用された学習用データの概要等に関する説明案の策定・施行
3. 利用者保護策の策定・運営
4. 高影響人工知能に対する人の管理・監督
5. 安全性・信頼性を確保するための措置内容を確認できる文書の作成及び保管
6. その他、高影響人工知能の安全性・信頼性の確保のために委員会で審議・議決された事項
- 人工知能事業者が高影響人工知能を利用した製品又はサービスを提供する場合、事前に人の基本権に与える影響を評価するため努力しなければならない。
|
また、国内に住所又は営業所を有しない人工知能事業者であって、利用者数や売上高などが大統領令で定める基準に該当する海外人工知能事業者(以下「海外事業者」といいます。)は、国内代理人を指定しなければなりません(36条)。なお、国内代理人が基本法に違反すると当該海外事業者がその行為を行ったとみなされます。
⑶ 事実調査及び人工知能事業者に対する制裁
科学技術情報通信部長官は、次の人工知能事業者の義務に関連して、(i)違反事項を発見した場合又は違反の疑いがあると認めた場合、(ii)違反に関する通報を受けた場合又は苦情が受理された場合、
人工知能事業者に関連資料の提出を求め、又は所属公務員に必要な調査を実施させることができます(40条1項)。
- 生成型人工知能による成果物の表示義務(31条2項)
- 人工知能システムを利用して生成した実際と区別が難しい仮想の音響、画像、映像等の成果物告知・表示義務(31条3項)
- 学習に使用された累積演算量が大統領令で定める基準以上の人工知能システムの安全性確保措置義務(32条1項)、科学技術情報通信部長官の措置実施結果の提出義務(32条2項)
- 高影響人工知能又はこれを利用した製品・サービスを提供する際の安全性・信頼性確保措置義務(34条1項)
また、科学技術情報通信部長官は上記調査のために必要な場合、所属公務員に対し、人工知能事業者の事務所・事業場に立ち入り、帳簿・書類、その他の資料や物を調査させることができます(40条2項)。上記調査の内容・方法や手続等に関しては、
基本法で定める事項を除き、「行政調査基本法」の定めに従います。また、調査結果、人工知能事業者が基本法に違反した事実が認められると、科学技術情報通信部長官は当該人工知能事業者に対し違反行為の中止や是正のために必要な措置(以下「中止・是正命令」といいます。)を命じることができます(40条3項)。
次のいずれかに該当する場合、
3,000万ウォン以下の過料が課せられることがあります。(i)高影響人工知能又は生成型人工知能を利用した製品又はサービスを提供しようとする場合、当該製品又はサービスが人工知能に基づいて運用されることを利用者に
事前に告知しない場合(31条1項)、(ii)海外事業者が
国内代理人を指定しない場合(36条1項、(iii)
中止・是正命令を履行しない場合(40条3項)。
2. 国際的なアプローチとの比較
欧州連合(EU)は、2024年5月21日、世界初めて人工知能を包括的に規制するEU AI法を最終確定しました。EU AI法の特徴は、人工知能を「リスクの程度」に基づいて
受容不可能なリスク、高リスク、制限付きリスク、低リスクの4段階に分類し、各段階に応じて差別化された規制を設定している点にあります。韓国の基本法とは異なり、
「受容不可能なリスク」に該当する人工知能を明確に規定し、これを禁止している点が注目に値します。
分類 |
内容 |
受容不可能な
リスク |
- 人間の潜在意識や脆弱性を悪用する可能性のあるシステム、個人の社会的スコア(social score)を算出するシステム、自然人の犯罪可能性を予測・評価するシステムなどについては、その使用が禁止されています。
|
高リスク |
- 自然人の生体認証・分類、道路・水道・ガスなどの重要インフラの管理・運営、教育・職業訓練、雇用・労働者管理などに関する人工知能については、その提供・頒布者に適合性評価や品質管理システムの運用などの義務が課されます。
|
制限付きリスク |
- 人と相互作用する人工知能システムのうち、ディープフェイク技術など、非人格化・欺瞞・操作といった問題を引き起こす可能性のある技術を含むものについては、その頒布者に対し、当該人工知能によって生成されたコンテンツが人工的に作成されたものであることを開示する義務が課されます。
|
低リスク |
- 上記の3種類の人工知能に該当しない人工知能については、特別な規制は設けられていません。
|
また、3,000万ウォン以下の過料を課すことができる韓国の基本法とは異なり、
人工知能の種類によっては、最大3,500万ユーロ又は全世界売上高の7%に相当する厳しい制裁が科される可能性があります。
米国では、全体的に技術開発及び産業育成に焦点を当てており、人工知能の倫理については、
グーグルなどの主要企業を中心に自主規制が設けられてきました。しかし、人工知能技術の潜在的な危険性に対する認識が広がる中、2023年10月には「安定的で安全で信頼できる人工知能の開発及び使用に関する行政命令(Executive Order on Safe, Secure, and Trustworthy Artificial Intelligence)」が施行されるなど、人工知能規制を導入する傾向が見られました。この行政命令では、国家安全保障、経済安全、公共安全などに影響を及ぼす人工知能モデルについて、訓練段階から政府の検証専門家チームによる安全性評価を受けることが求められています。しかし、トランプ政権がこうした規制を維持するかについては、否定的な見通しが支配的です。
3. 示唆点と課題
基本法の施行により、今後、人工知能医療機器や自動運転など、高影響分野の企業は規制遵守に伴うコスト増加とリスク管理の負担を避けることができません。例えば、EUは人工知能医療機器を「高リスク」等級に分類しているため、韓国の人工知能医療機器企業は、欧州へ輸出するために追加的な認証費用や時間的負担を負うことになります。韓国の基本法は、
受容不可能なリスクに対する明確な規定を設けておらず、制裁レベルも比較的低いが、EUと同様に生成型人工知能及び高影響人工知能に対する事前評価やモニタリング義務を設けているため、事業者にとって少なからず負担となる可能性があります。施行令やその他の基本法に基づく下位法令やガイドラインを通じて、「高影響人工知能」の定義と「重大な影響」及び「リスク」の水準を明確にし、人工知能事業者が基本法を効果的に遵守できるよう、予測可能で詳細な指針を設ける必要があると思われます。
単純な苦情に基づく現場調査権限が過度であるとの指摘もあります。科学技術情報通信部は独自の内規を通じて事実調査の着手要件を強化し、企業の負担を軽減する制度を導入する予定です。業界の意見を反映させ、現場調査権限の濫用を防止し、被調査者の権利を保護するための措置を講じる必要があると考えられます。
生成型人工知能に関連し、学習データの記録・保管及び開示義務を明文化し、著作権及び個人情報侵害を防止する必要があるという指摘が立法過程で継続的に提起されています。基本法にこの内容は含まれていませんが、今後、人工知能開発者に学習データの出所、使用目的、処理方式を体系的に記録することを求め、著作権保護のために、データ閲覧要求時に使用履歴及び原著作者情報を提供できる体制の構築が求められる可能性も排除できません。
EUは強力な規制と制裁を通じて信頼性と透明性を確保しようとする一方、米国は自主規制を中心にイノベーションを促進する方向に進んでいます。韓国は両者のアプローチをバランスよく反映させ、国内企業がグローバル市場で競争力を維持できるよう支援体制を整える必要があります。
一方、高影響人工知能を開発又は利用する事業者は、さまざまな義務事項を遵守しなければならず、違反した場合には制裁が科される可能性がある法改正が今後行われることが考えられます。そのため、高影響人工知能の基準及び義務事項に関する下位法令及び指針の制定経過を継続的に注視する必要があります。