米国の弁護士が AI の架空判例を引用し制裁を受けた事案を解説。本記事では、ハルシネーションが起きる背景や、信頼性の高い判例検索の実務でそれを防ぐための検証フローを、弁護士向けにわかりやすく紹介します。
近年、判例検索や書面作成に AI を使う弁護士が増えています。しかし、使い方を誤ると、取り返しのつかない事態を招きかねません。実際、つい最近には米国で象徴的な出来事が起きました。原告・被告双方の弁護士が、AI の生成した「存在しない判例」を引用したのです。その結果、審理予定は取り消され、関与した弁護士には制裁が科されました。
これは決して対岸の火事ではありません。なぜなら、AI を調査業務や書面作成に使う弁護士であれば、誰でも同じ落とし穴に陥りうるからです。とりわけ問題なのは、二つの点です。一つは、AI が事実に見える嘘をつく（ハルシネション）こと。もう一つは、その嘘がそのまま書面に紛れ込んでしまうことです。
そこで本記事では、まず実際に起きた事件を振り返ります。次に、なぜ AI が架空の判例を生み出すのか、その仕組みを解説します。さらに、なぜ経験豊富な弁護士まで騙されるのかを掘り下げます。最後に、ハルシネーションを防ぐ検証フローと、根本的な解決策を紹介します。
一、AIが揺るがす「判例検索」の信頼性：実際に起きた事件
まず、ここで押さえておきたいのは、ハルシネーションが机上の空論ではないという点です。すでに複数の深刻な事案が、現実の法廷で発生しています。
（一）ミシシッピ州：双方の弁護士が架空判例で「対決」、裁判中止
まず、具体例としてミシシッピ州の「Withers v. City of Aberdeen」事件を紹介します。本事案は、太陽光発電プロジェクトにともなう弁護士費用の支払いをめぐる紛争でした。
ところが、この訴訟では異例の事態が起きました。原告・被告双方とも生成 AI を使い、実在しない架空の判例を引用していました。関与した双方の弁護団、つまり 2 名ずつ計 4 名が制裁を受けました。
担当の Sharion Aycock 判事は、発覚後に説明を求める審問を実施しました。その後、制裁命令によって審理予定は取り消されました。さらに、関与した 4 名全員が本件から排除されました。このうち主要な 2 名は、2 年間の出廷禁止です。さらに、全員に 1,000〜3,500 ドルの罰金が科されました。
ここで注目すべきは、裁判官が問題視した点です。引用された法的根拠について、当事者の誰も原典確認を行っていなかった事実が重大な過失として名指しされました。裁判官は、特に共同弁護士（ローカルカウンセル）が内容を検証せず署名した点を「ゴム印（rubber-stamp）」と表現し、強く批判しました。
今回の違反根拠となったのは、連邦民事訴訟規則第 11 条（Rule 11）です。これは、弁護士が署名によって提出内容の真実性を裁判所に保証するという、実務上の基本原則を定めています。
判事の指摘を要約すると、彼らは「テクノロジーをうのみにした」結果、ハルシネーションに基づく引用を招きました。つまり、AI の利用自体が問題なのではありません。出力を検証しなかったことこそが制裁の理由だったのです。
（二）ニューヨーク州：控訴審のライブ中継で発覚した「存在しない判例」
次は、ニューヨーク州で起きた Landberg 事件です。この事件では、弁護士が少なくとも3件の存在しない判例を引用していました。さらに、その引用の根拠や正確性についても、裁判官から厳しい指摘を受けました。
しかも、それが発覚した場面が衝撃的でした。上訴庭の裁判官が、公開されているライブ中継の場で、当の弁護士を直接問いただしたのです。弁護士は引用の出所をうまく説明できませんでした。裁判官は20分以上にわたって追及し、Rule 3.3、すなわち弁護士の裁判所に対する誠実義務（Candor Toward the Tribunal）に言及しました。同条（Rule 3.3(a)）は、弁護士が裁判所に対して虚偽の事実や法律の陳述を故意に行うことを禁じています。また、過去に行った虚偽の陳述については、訂正する義務も課しています。
この事件の特徴は、公開の審理の場で問題が明らかになった点にあります。最終的に、この訴え自体も却下されました。誤った引用は、弁護士本人だけでなく、依頼者の利益にも重大な影響を及ぼし得ます。
なお、ここで言及された Rule 3.3 は、ミシシッピ州の事件で適用された Rule 11（連邦民事訴訟規則・署名義務）とは別の規定です。前者は裁判所に対する真実義務、後者は提出内容の合理的な確認義務に関わる規定であり、混同しないよう注意が必要です。
（三）単発事故ではない──裁判所が「制裁」を強化し始めた
さらに、ここで強調しておきたいことがあります。2026年において、これはもはや単発の事故ではありません。各地の裁判所はこのような事件に対する対応を大幅に厳罰化しています。具体的には、審理中止、業務停止処分、罰金、そして AI 利用の開示命令にまで及んでいます。
たとえばアラバマ州では、AI による架空判例の引用を繰り返した弁護士に対し、裁判所が厳しい制裁を科した事案もありました。
さらに、開示を求める動きも広がっています。報道によれば、300名を超える裁判官が、書面における AI 利用の開示を求めているとされます。この動きは、現在も広がり続けています。つまり、裁判所の態度は「注意喚起」から「制裁」へと、明らかに移りつつあるのです。
規制の面でも変化が見られます。一部の報道では、興味深い指摘もあります。一部の判決や報道では、ChatGPT などとのやり取りが、弁護士・依頼者間の秘匿特権によって保護されない可能性も指摘されています。
業界団体も対応を進めています。たとえば米国法曹協会（ABA）は、AI に関するタスクフォースを設置しました。そのうえで、倫理ガイドラインの中で「生成AI の出力には適切な検証と監督が必要である」と助言しています。
日本でも、AI の利用は急速に広がっています。守秘義務や誠実義務を負う日本の弁護士にとっても、これは決して他人事ではありません。では、なぜ経験豊富な弁護士であっても、このような問題に巻き込まれてしまうのでしょうか。
二、なぜAIは「存在しない判例」を生み出すのか：ハルシネーションの仕組み
では、なぜ AI は存在しない判例を生成してしまうのでしょうか。その仕組みを理解すれば、適切な対策も見えてきます。
（一）まず知るべき前提：生成AI は「判例を検索している」のではない
ここが最も重要な核心です。多くの弁護士は、Ch多くの実務家は、ChatGPT を Westlaw や判例秘書などの判例DB（データベース）と同質のものと考えがちです。しかし、これは大きな誤解です。
汎用の生成AI は、判例を検索しているわけではありません。実際には、次に来る可能性が高い語を確率的に予測しながら文章を生成しています。そのため、提示された出典が実在するかどうかは担保されません。
イメージとしては、スマートフォンの予測変換に近いと考えると理解しやすいでしょう。予測変換は、次に来そうな単語を提案します。しかし、その内容が事実かどうかまでは保証しません。生成AI も、本質的には同じ仕組みです。だからこそ、実在しない判例名や出典を、もっともらしく生成してしまうのです。
（二）なぜ「それらしい」嘘が生まれるのか
まず問題なのは、その嘘が非常にもっともらしく見える点です。AI は、事件名・年月日・裁判所・巻号といった判例特有の記載パターンを、大量のテキストから学習しています。
その結果、形式は完璧でも、中身は架空という現象が起こります。一見すると、本物の判例にしか見えないが実際には存在しないケースもあります。これが AI 判例検索における最大の危うさです。
（三）ハルシネーションが法務で特に危険な理由
一般的な用途であれば、AI の間違いは笑い話で済むかもしれません。しかし、法律書面では事情がまったく異なります。なぜなら、誠実義務違反や依頼者の不利益、そして制裁に直結するからです。
しかも、この現象は珍しい事故ではありません。むしろ、世界中で観測・記録され続けています。たとえば、研究者の Damien Charlotin 氏は公開データベース（damiencharlotin.com/hallucinations）を運営しています。これは、AI ハルシネーションに言及した裁判所・審判機関の事例を、継続的に更新されている公開データベースです。国・当事者・使用AIツール・結果で検索できます。そして執筆時点では、世界各地の事例が 1,000 件以上収録されています。
米国だけでも数百件規模の事例が確認されています。このことからも、AI ハルシネーションは特定の弁護士や裁判所だけの問題ではないことが分かります。むしろ、生成AI の普及とともに、司法実務全体で継続的に観測される現象になりつつあります。
つまり、AI が架空の判例を出すというのは、もはや例外的な出来事ではなく、継続的に確認される現象となっています。
＊LLM の仕組みについてさらに詳しく知りたい方は、関連記事「LLMの原理とプロンプト設計」もぜひあわせてご覧ください。
三、なぜ経験豊富な弁護士まで騙されるのか：検証が抜ける構造
「AI が誤った出力をする」ということ自体は、多くの人がすでに知っています。しかし、なぜ経験豊富な弁護士でも誤りを見抜けないのでしょうか。この点は、あまり語られていません。
まずは弁護士たちの「言い訳」を見たうえで、その裏にある構造的な原因へと話を進めます。
（一）弁護士たちは口々に「うっかりだった」と言う
404 Media は、AI による架空引用が問題となった多数の事案を分析しました。用いたのは、前章で紹介した Charlotin のデータベースです。ある週には、1週間で11件の新たな事案が追加されたといいます。このことからも、同種の問題が継続的に報告されていることが分かります。
象徴的な例もあります。カリフォルニアでは、引用のほぼすべてが捏造だったとして、過去最高となる1万ドルの制裁が科されました。裁判所は、その判決を「警告として」あえて公開しています。
では、裁判所から問題を指摘された弁護士たちは、どのように釈明したのでしょうか。その説明内容はさまざまです。たとえば「AIが判例を捏造するとは知らなかった」「締切が3日しかなかった」といった説明があります。さらに、「体調不良でめまいがあった」「PCがマルウェアに感染していた」「WestlawのAI機能だと気づかなかった」といった釈明も見られました。そして、最も多かったのが「パラリーガルや補助スタッフのせい」というものでした。
しかし、表現は違えど、共通する核心は一つです。すなわち、誰も出力を検証していなかった、という事実です。多くの釈明は、結局のところ「なぜ検証が行われなかったのか」の言い換えにすぎません。
では、その背後にはどんな構造があるのでしょうか。
（二）構造的な原因①：形式的なレビューにとどまる「rubber-stamp」問題
まず、本来であれば、起案した弁護士だけでなく、提出前にレビューを行う弁護士も内容を確認すべきでした。しかし実際には、複数の弁護士が関与していたにもかかわらず、存在しない判例がそのまま裁判所に提出されました。裁判官はこれを「rubber-stamp」と表現しました。つまり、実質的な確認を行わずに形式的な承認だけを行う状態を指します。
さらに問題なのは、この種の検証不足が繰り返し発生していることです。アラバマ州では、AI による架空判例の問題を指摘された弁護士が、その後の提出書面でも再び存在しない判例を引用していた事案が報じられています。これは単なる不注意だけでは説明できません。AI が生成する文章は自然で説得力があるため、人間側が「誰かが確認したはずだ」「おそらく正しいだろう」と思い込みやすくなります。これが、検証漏れを生み出す構造的な要因の一つです。
（三）構造的な原因②：生成スピードが速すぎて検証が追いつかない
第二の原因は、スピードです。AI は、わずか数秒で完成品のように見える文章や書面案を生成します。一方で、その内容を原典で確認し、検証するには時間がかかります。
さらに、厳しい締切や人手不足も影響します。加えて、「もっと生産性を高めるべきだ」という業界全体の圧力が、検証の省略を後押しします。つまり、「短時間で生成できること」と「内容の正確性」は別の問題なのです。
このギャップこそが、構造的な検証漏れを生み出す要因となっています。
（四）構造的な原因③：管理されない「シャドーAI」の利用
最後の原因は、組織が把握していない AI 利用です。所員やパラリーガルが、事務所の管理や承認を経ないまま AI を利用することがあります。こうした利用が管理されていない場合、誰がどの部分を AI で作成したのか把握しにくくなります。その結果、誤った内容や未検証の記述が、そのまま書面に取り込まれるおそれがあります。先ほど紹介した「パラリーガルが作成した内容だった」という釈明も、裏を返せば、この問題の存在を示しています。
なお近年は、このような組織の管理下にない AI 利用は「シャドーAI」と呼ばれ、情報管理や品質管理の観点から問題視されています。
四、弁護士が実践したい判例検索の検証フロー
ここからは、AI による架空判例の引用や誤った法的根拠の利用を、実務でどのように防ぐかを見ていきます。本章では、企業法務担当者や弁護士が実践できる検証フローに焦点を当てます。一方で、判例 DB との連携や RAG 型の仕組みによる対策については、次章で解説します。
（一）AIの出力は「下書き」として扱う
まず大前提として、AI の出力は完成した成果物ではありません。あくまで素案、つまり下書きです。そのため、引用判例の実在性や引用箇所の正確性については、弁護士自身が必ず確認する必要があります。この心構えがあるだけで、ハルシネーションによる誤引用や制裁リスクを大きく減らせます。
（二）一次資料（原典）で必ず裏取りする
次に行うべきは、一次資料（原典）の確認です。具体的には、判例検索データベースで原典に当たり、引用文や判旨を一つずつ照合します。AI 判例検索の結果を、そのまま信じてはいけません。手間に思えても、この一手間が決定的です。
たとえば、次の手順です。
① AI が示した判例名を判例DBで検索する
② 該当する原典を開く
③ AI の引用内容と原典の記載を照合する
この手順を徹底することで、架空判例や引用ミスを発見しやすくなります。
さらに、確認結果を記録として残しておくことも重要です。たとえば、検証済みの判例リストを、案件ごとに保存します。そうすることで、裁判所や依頼者から確認を求められた場合にも、検証プロセスを根拠とともに説明できます。
（三）引用前のチェックリスト
最後に、判例を書面へ引用する前に確認したいチェックリストを示します。ハルシネーションによる誤引用を防ぐためにも、少なくとも次の4点は確認しましょう。
1. その判例は実在するか
単に「ありそう」ではなく、裁判年月日・裁判所・事件番号の3点がそろって一致するかまで確認します。これこそが、法律実務における基本的な原典確認です。
2. 引用文・判旨は原典と一致するか
AI が示した引用文が、原典の文言と本当に一致しているかを確認します。わずかな表現の差異でも結論に影響する場合があるので、注意が必要です。
3. 趣旨を歪めていないか
判例の趣旨を歪めていないか。また、実在する判例であっても、適用範囲（射程）を誤解したまま引用すれば、誤った法的主張につながるおそれがあります。
4. 対象事案に適用できるか
判例が実在し、引用内容も正確であっても、前提事実や争点が異なれば適用できない場合があります。
（四）小結：AIによるクロスチェックは有効だが、限界もある
近年は、一つの AI の出力を別の AI で確認する「クロスチェック」も活用されています。これは、明らかなハルシネーションや架空判例を初期段階で発見するための「一次フィルター」として有効です。ただし、AI による検証も万能ではありません。誤った回答を見逃す場合もあれば、検証用の AI 自身がハルシネーションを起こす可能性もあります。
したがって、最終的な実在性や妥当性の確認は、人間である弁護士の責任で行う必要があります。つまり、法律業務では「人間が最終判断を担う」という原則が欠かせません。いわゆる Human in the loop の考え方です。AI は検証を支援することはできます。しかし、少なくとも現時点では、その責任まで代替することはできません。
五、ハルシネーション対策の有力な選択肢：RAG型判例検索
ここまでは、人による検証フローを中心に見てきました。一方で、システム設計によってハルシネーションのリスクを低減する方法もあります。それは、実在する判例 DB を参照しながら回答を生成する「RAG（Retrieval-Augmented Generation）」という考え方です。
（一）RAGとは：生成AIに実在する判例DBを参照させる仕組み
RAG（Retrieval-Augmented Generation）とは、生成AI が外部データを検索・参照しながら回答を生成する仕組みです。簡単に言えば、AI が回答する前に判例DB から関連する判例を取得し、それを根拠として回答を生成する仕組みです。
つまり、モデルの記憶だけに依存するのではなく、実際の判例データを参照して回答します。その結果、ハルシネーションのリスクを抑えやすくなります。また、回答の根拠となる出典を提示もしやすくなります。
＊判例検索エンジンがどのように判例を収集・構造化しているかについては、「判例検索エンジンの仕組み」もあわせてご覧ください。
（二）汎用生成AIとRAG型判例検索の違い
両者の違いは明確です。汎用AI は、記憶をもとに「それらしく」生成します。そのため、ハルシネーションのリスクを完全には避けられません。一方、RAG 型の判例検索は、実在するデータベースから関連情報を取得し、その内容をもとに回答を生成します。また、多くの RAG 型システムでは、回答の根拠となった判例や出典をあわせて提示できます。
この違いは、実務において非常に大きな意味を持ちます。なぜなら、出典があれば、第四章で紹介した原典確認や検証フローを実践しやすくなるからです。
ただし、RAGは ハルシネーションを低減する技術であり、完全に排除するものではありません。検索結果の取り違えや要約の誤りが生じる可能性は残ります。つまり、RAG 型システムは検証作業を支援しますが、最終的な確認そのものを不要にするわけではありません。
（三）実在する判例にもとづく判例検索という選択肢
実在する判例データベースと連携した仕組みであれば、回答の根拠となる出典を提示しやすくなります。結果として、人による検証とも相性が良くなります。
ツールを選ぶ際は、いくつかの観点が役立ちます。
第一に、回答に出典が必ず付くかどうかです。
第二に、その出典が実在する判例にもとづいているかどうかです。
第三に、検索結果を弁護士が検証しやすい形で示してくれるかどうかです。
これらを満たすツールほど、検証フローと噛み合います。
実際に、近年のリーガルAI は、単に文章を生成するのではなく、判例データベースと連携して出典を示す方向へ進化しています。ここで重要なのはツールそのものではありません。大切なのは、AI を正しく使うという姿勢です。
まとめに
AI の幻覚が現実の脅威となった今、判例検索のあり方が問われています。ここまで見てきたとおり、米国では、AIによる架空判例の引用によって、罰金や出廷禁止、事件からの排除といった制裁を受ける弁護士が相次いでいます。
しかし、ここで強調したいのは、AIを「否定」する必要はないということです。むしろ、AIを「正しく使う」ことが大切です。その鍵は二つあります。第一に、人による原典確認のプロセスを徹底すること。第二に、出典を確認できる RAG型の判例検索を活用することです。
人による検証と、出典を提示できるシステム。この両輪がそろって初めて、ハルシネーションのリスクを実務レベルで低減できます。AI は、弁護士の業務を脅かす存在ではありません。正しく使えば、心強い味方になります。
とりわけ日本では、米国のように大規模な判例データが広く公開・構造化されているとは言い難い状況があります。そのため、汎用AI だけに頼ると、根拠の精度に限界が生じます。
だからこそ重要なのは、AI が答えを出すことではありません。その答えを検証できることです。
実在する判例にたどり着けるか。
出典を確認できるか。
そして最終的に弁護士自身が判断できるか。
AI ハルシネーション時代の判例検索に求められているのは、まさにその仕組みなのです。
Lawsnote の取り組みにご興味のある方へ
本記事では、AI ハルシネーションが法律実務にもたらすリスクと、その対策としての検証フローや RAG 型判例検索について解説しました。
Lawsnote では、実在する判例や法令データを活用したリーガルテックの研究・開発に取り組んでいます。
- AIを活用した法務業務の効率化に関心がある
- 判例検索やリーガルリサーチの高度化を検討している
- 日本市場向けのリーガルAIの動向について知りたい
- Lawsnoteの取り組みについて詳しく話を聞いてみたい
このような方は、お気軽にお問い合わせください。
郭 栄彦 Barry Kuo
台湾を代表するリーガルテック企業「Lawsnote」の創業者。台湾弁護士・弁理士としての実務経験を経て2016年に同社を設立し、AIを活用したリーガルテック製品の開発・普及を主導。現在はLawsnote Japanの代表として、日本の法律実務の効率化と高度化を支援しています。