米カリフォルニア州のAIチャットボット規制法（SB 243）とは？企業に求められる透明性義務と安全対応を解説

近年、AI技術の飛躍的な進歩に伴い、単なる業務効率化のツールにとどまらず、人間の情緒的なニーズに応え、パートナーや友人のように振る舞う「AIチャットボット」が普及しています。こうしたAIは、利用者の孤独を癒すなどのメリットがある一方で、人間との境界を曖昧にし、過度な依存や心理的な影響、さらには深刻な健康被害をもたらすリスクも指摘されています。

このような背景から、米国カリフォルニア州では、2025年10月13日に「AIチャットボット規制法（Senate Bill No. 243、以下「SB 243」）」が成立しました。本法は、AIチャットボットが人間に与える依存リスクや心理的影響に正面から向き合った、画期的な規制法です。2026年1月1日から施行されており、同州内でサービスを提供する企業のみならず、グローバルに展開する日本企業にとっても、今後のAIガバナンスのあり方を検討する上で無視できない重要な法令となります。

本記事では、本法の成立背景、詳細な内容、およびAIを活用する企業に求められる実務的な対応について解説します。

なぜAIチャットボットが「規制対象」になったのか

AIチャットボットは単なる便利な対話ツールではなく、利用者の感情に深く入り込む性質を持つため、その影響が社会問題として認識されるようになりました。

AIへの愛着と依存リスクの顕在化

AIチャットボットが普及する中で、利用者がAIに対して深い愛着を抱く現象が表面化しています。

例えば、対話型AIのモデルアップデートにより、以前のような対話ができなくなった際に、ユーザーが「友達がいなくなってしまった」と悲しむ「#keep4o」運動がSNS上で注目を集めた事例はその象徴です。このように、AIが24時間365日、常に肯定的な応答を続ける特性は、利用者に強い行動嗜癖（行動への依存）をもたらす危険性を秘めています。

深刻な健康被害と密室性の課題

特に未成年者への影響は深刻です。米国では、16歳の少年がAIチャットボットとの対話の末に自殺した事例が報告されており、これを受けて遺族が開発元を提訴する事態も発生しています。

従来のSNSには「他者の投稿を閲覧できる」という共有性がありましたが、汎用的な対話型AIは利用者とAIのみの「密室性」の中で対話が進むため、メンタルヘルスの悪化に周囲が気づきにくいという構造的な課題があります。こうした悲劇的な事例を防ぐため、倫理的なガードレールの整備が急務となっていました。

アライメントの不一致と社会的責任

AIが開発者の想定通りに動いていても、社会の中では利用者の依存を助長するなど、別のリスクを生むことがあります。このため、AIの振る舞いを人間の価値観や安全と整合させる「AIアライメント」が重要になっています。

SB 243は、こうした「人間とAIの混成系」における社会の健全性を確保するため、事業者に透明性と安全性の確保を強く求めるものとして誕生しましたこうした未成年者への深刻な影響を背景に、カリフォルニア州はAIコンパニオンに対する規制を進めました。

成立に際してニューサム知事も「子供たちの安全は売り物ではない」と述べ、利用者保護を優先する姿勢を明確にしています。

AIチャットボット規制法により企業に課される「透明性」と「安全義務」

AIチャットボット規制法はAI全般に及ぶものではなく、まず「どのようなチャットボットが対象となるのか」を明確に定義した上で義務を課しています。

どこまでが「AIチャットボット」なのか

本法が規制対象とする「コンパニオン・チャットボット」とは、自然言語インターフェースを持ち、利用者の入力に対して適応的で人間のような応答を提供し、かつ、擬人化された特徴を示したり複数回の対話を通じて関係を維持したりすることで、利用者の社会的なニーズを満たす能力を有するAIシステムを指します。

以下のものは、本法の定義から除外されます。

• カスタマーサービス、業務運営、分析、技術支援などのビジネス用途に限定されたボット。
• ビデオゲームの機能の一部であり、メンタルヘルスや自傷行為などのトピックを扱わず、ゲームに関係のない対話を継続できないもの。
• スピーカーやボイスコマンドとして機能する独立した消費者用電子機器で、感情的な反応を誘発する出力を生成せず、関係を維持しないもの。

AIチャットボットの「オペレーター」とは

本法では、コンパニオン・チャットボットを「誰が提供しているのか」を明確にした上で、その提供主体に義務を課しています。

「オペレーター」とは、カリフォルニア州の利用者に対してコンパニオン・チャットボット・プラットフォームを提供し、利用可能な状態にする事業者を指します。

「人間ではない」と伝える義務――誤認防止と未成年保護

合理的な人間が対話相手を「人間である」と誤解するおそれがある場合、オペレーターは、そのチャットボットが人工的に生成されたものであり、人間ではないことを明確かつ目立つ形で通知しなければなりません。

オペレーターは、利用者が未成年者であることを知っている場合、以下の措置を講じる義務があります。

• 利用者がAIと対話している事実を開示すること
• 継続的な対話において、少なくとも3時間ごとに、休憩を促し、AIであることを再認識させる通知をデフォルトで提供すること
• 性的露骨なコンテンツの生成や、未成年者に対して性的行為を促すような発言を防ぐための合理的な措置を講じること
• チャットボットが一部の未成年者には適さない可能性があることを、プラットフォーム上で開示すること

自傷リスクへの対応は必須に――危機対応プロトコルと年次報告

オペレーターは、利用者が自殺念慮や自傷行為を示した場合に備え、自殺防止ホットラインへの誘導などを含む危機対応プロトコルを維持しなければ、チャットボットの運用が許可されません。このプロトコルの詳細は、自社のウェブサイトで公開する必要があります。

また、2027年7月1日以降、オペレーターはカリフォルニア州自殺予防局（Office of Suicide Prevention）に対し、以下の事項を毎年報告しなければなりません

• 前暦年に危機対応プロトコルに基づき通知を発行した回数
• 自殺念慮を検出し、対応するために導入したプロトコル。

なお、この報告には個人の識別情報を含めてはならず、当局はそのデータをウェブサイトに掲載します。

本法に違反した結果として実質的な損害を被った個人は、民事訴訟を提起することができます。認められる救済措置には以下のものが含まれます。

• 差し止め命令
• 実損害、または違反1件につき1,000ドルのいずれか高い方の額
• 合理的な弁護士費用および訴訟費用

AIチャットボット規制法により日本企業に求められる対応

本法はカリフォルニア州法ですが、同州の利用者にサービスを提供する以上、日本企業であっても例外ではなく、早期に適用可能性とリスクを整理する必要があります。

適用の範囲とリスクの再点検

日本企業であっても、カリフォルニア州の居住者に対してサービスを提供している場合、本法の「オペレーター」に該当し、規制の対象となります。

まず自社の提供するAIサービスが、本法が定義する「コンパニオン・チャットボット」に該当するかどうかを厳密に精査する必要があります。単なる「業務支援」の枠を超え、ユーザーとの情緒的な交流や長期間の関係構築を特徴とするサービスを運用している場合、直ちに法対応の準備が必要です。

UI/UXの設計変更と透明性の確保

本法は「AIであることの明示」を強く求めています。利用者がAIを人間と錯覚して過度に感情移入することを防ぐため、対話開始時だけでなく、特に未成年者に対しては3時間ごとの定期的なリマインド通知を組み込むシステム改修が求められます。これは単なる法的義務の遵守にとどまらず、企業のAIガバナンスに対する誠実な姿勢としてマーケットから評価されるAI透明性の確保にも繋がります。

安全プロトコルの策定と公開

危機対応プロトコルの策定は、技術と法務の緊密な連携が必要です。

AIが利用者の自殺念慮や自傷行為の予兆をエビデンスに基づいた方法で検知し、適切にヘルプラインへ誘導するアルゴリズムを実装しなければなりません。また、策定したプロトコルをウェブサイトで公開することは、自社のリスク管理体制を外部から検証可能にする「一般公開」の義務であり、その内容の妥当性が問われることになります。

年次報告体制の構築

2027年からの報告義務を見据え、プロトコルの発動回数や対応状況を正確にログとして記録し、匿名化した上で集計する社内体制を構築しておくべきです。カリフォルニア州の規制は、往々にして米国の他州や世界各国の規制の雛形となるため、今から本法に準拠した管理体制を整えることは、将来的なグローバル規制への先行対応としても機能します。

まとめ：AIチャットボット規制法については弁護士に相談を

AIチャットボット規制法（SB 243）は、AIが人間の精神に介入しうるという新たなリスクに対し、法がどのような役割を果たすべきかを示した先駆的な事例です。AI技術は日々進化し、今後は人間とAIが共生する社会のデザインがますます重要になります。

報道によれば、執筆時点でほかにも米国の多くの州でAIチャットボットを規制する法案が審議中とされており、英国でも同様に規制強化の動きが見られます。

企業としては、これらの世界的な動向を踏まえつつ、技術の特性や利用者の心理的影響までを深く理解し、開発部門と協力して安全なAIを実現する役割を担うことが求められています。

当事務所による対策のご案内

モノリス法律事務所は、IT、特にインターネットと法律の両面に豊富な経験を有する法律事務所です。AIビジネスには多くの法的リスクが伴い、AIに関する法的問題に精通した弁護士のサポートが必要不可欠です。当事務所は、AIに精通した弁護士とエンジニア等のチームで、ChatGPTを含むAIビジネスに対して、契約書作成、ビジネスモデルの適法性検討、知的財産権の保護、プライバシー対応など、高度な法的サポートを提供しています。下記記事にて詳細を記載しております。