人工知能（AI）は欺く技術という刺激的な課題に直面している。AIシステムがより複雑になるにつれ、真の目的を隠しつつ情報を操作するAIシステムの能力が新たな問題を生んでおり、機械なのかマキャベリ的策略家なのか、区別が判然としなくなってきている。

最も基本的な形の欺瞞は、利益を得るために偽情報を流すというものである。AIの分野では、これはさまざまな現れ方をする。取引パターンを偽装するためにノイズを市場データに注入するAIトレーディングボットを考えてみてほしい。

あるいは、最適ルートを競合相手にさらすことを避けるために意図的に道を逸れる自動運転車を考えてみてもよい。いずれの場合も、AIはその目的を達成するために意図的な欺瞞を用いる。このような欺瞞は、競争的な場面における戦略的な駆け引きに新たな機会をもたらす可能性がある。

2007年、エヴァン・ハーウィッツと筆者は、エイデンと名付けられたAIボットがポーカーのゲーム中に、相手を誤った方向に導いたり隠し事をしたりするよう事前に教えられていなかったにもかかわらず、相手を欺く様子を観察した。私たちの研究は、AIが欺くことを自力で学ぶ際の複雑な仕組みを明らかにするものであったが、欺くことは、元々は人間の知能にしかできないと思われていた。これによって、AIの能力は、従来の論理的計算の範囲を超えて人間のような予測不能性や戦略的曖昧さを含むようになった。

私たちの研究は、AIが達成できることの境界線を押し広げることによってAIを前進させただけでなく、欺瞞のように複雑な振る舞いをすることが可能なAIシステムの法的、倫理的、実践的側面を徹底的に再考する必要性を惹起した。

AIによる欺瞞が及ぼし得る道徳的影響は広範にわたる。たとえ戦略的な文脈においても、私たちは意図的な虚言を認めることができるだろうか。はったりをかけるAIの行動に誰が責任を持つのか。そして、このようなシステムが人間の信頼を悪用し、自己の利益のために社会制度を操作することをどうやって防ぐことができるだろうか。

1つの古典的な例をあげよう。タクという名の人物がある村に公然と銃を所持して現れ、ツソという人物の居場所をタンディに尋ねる。タクはツソのことを厳しく罰したいと考えているのである。タンディはタクにツソの居場所を伝えるべきなのか、あるいは嘘をついて時間を稼ぎ、その間に警察に知らせるべきなのか。

この文脈では、嘘をつかなければタクがツソに危害を加えたり彼を殺害したりする可能性があるため、欺くことは功利主義的な観点から正当化できる。何かを欺くようにアルゴリズムを設計することが認められる状況は存在するのか、その場合の倫理とはどのようなものなのか。良い嘘と悪い嘘をどのように区別するのか、そして良い嘘の道徳規範とはどのようなものなのか。

有害な虚偽に対抗する

欺く能力を有するAIの開発、展開は責任を持って行うことが重要であり、このことを強調することが不可欠である。

この問題に対処する1つの方法は、潜在的な保護策として開示性と説明可能性を推奨し、AIシステムが自身の思考と理性を説明できるようにすることである。これによって、曖昧な知能に関連するリスクを軽減しつつ、信頼を醸成することができる。

だが、AIの主流である深層学習が説明可能性を持つためには、まだかなりの進歩が必要である。正確さと説明可能性のトレードオフ（AIシステムが正確さを増すほど透明性が低下する）の技術的限界が、この問題をさらに複雑にしている。

ハーウィッツと筆者による発見は、ゲームや市場を超えた広範囲に影響を及ぼす。ますますAI主導になる社会において、アルゴリズムによる欺瞞が持つ潜在的影響を知ることが多くの産業で極めて重要である。サイバーセキュリティと自律走行車から政治的キャンペーン、ソーシャルメディアネットワークに至るまで、AIがはったりをかけるわずかな兆しを理解することが、人間と機械の公正な相互関係の複雑さを詰める上で欠かせない。

AIは明白な虚偽だけでなく、戦略的な曖昧さを示すことがある。AIシステムは、その振る舞いを解釈に委ねることで混乱と曖昧さを生み出し、競争相手に推測を強いることができる。

例えば、チャットボットは、厳密には誤りではないがある目的のために曖昧にぼかした応答をして人を迷わせるかもしれない。同様に、サイバーセキュリティを担うAIが意図的に脆弱性を修正せず、偽りの安心感を与えつつ密かに情報を収集するかもしれないのだ。

幸い、AIは自身の欺瞞の能力に対抗する武器として莫大な可能性を秘めている。1つの方法は、異常検出のためにデータパターンを検証することである。異常検出技法は、予期される行動から逸脱するパターンを発見するためによく利用され、通常と異なる、あるいは詐欺的な行為に関わる虚言の事案を検出する有望な手段となり得る。

オンラインゲームから極めて重要なビジネスの議論に至るまでのさまざまな状況において、異常検出アルゴリズムを備えたコンピューターは、行動パターン、意思決定プロセス、コミュニケーション形式を検証し、虚言を示唆する可能性がある不整合や特異性を顕在化させることができる。

例えば、異常検出システムはオンラインのポーカーゲームにおいて、プレーヤーがブラフをしていることを示す変異を見つけ出すために、賭けパターンとプレースタイルを検証することができる。

同じように、ビジネスや外交の議論で言語上の変化や標準的な関与パターンからの組織的逸脱がわずかでも見られた場合、はったりの可能性があると解釈できることがある。例えば、AIトレーダーが突如として通常のリスク・パターンから外れた行動を取れば、市場操作の可能性があるとして警報が発せられるといったケースが考えられる。

行動を理解する

行動分析もまた、有用なツールである。AIシステムは人間と同じく、嘘をつくときにサインを発する可能性がある。データ収集のパターン、反応のタイミング、あるいは内部の意思決定プロセスにおける変化を監視することで、予期された行動からの逸脱を明らかにし、意図的な不正の可能性を示すことができる。この応用により、さまざまな場面で公正さと整合性を保つ能力が向上し、AI駆動型の分析を用いて人間の行動を分析し、解釈するための新たな道筋が開かれる。

だが、AIの欺瞞と闘うために、さらにすべきことがある。AIシステムがより進歩するにつれて、欺く戦略も進化してゆく。そのため、変わり続けるAIの欺瞞の戦略に後れを取ることのないよう、人間が常に検出アルゴリズムを改良し続けるという、決して終わることのない軍拡競争が生じることが示唆される。

技術的なハードル以外に、道徳上の懸念も重要である。AIの偽りを検出する力は、誰に委ねるべきか。疑わしい振る舞いを検出するためのパラメータは誰が決めるのか、そして、現実のAIのイノベーションを妨害する誤検出をどのようにして防ぐのか。

これらの問いは、このツールが責任ある仕方で利用されることを保証するための詳細な研究と綿密に練られた政策策定の必要性を提起する。AIの欺瞞への対抗は、人類の存続をかけたコンピューターとの闘いではなく、責任あるAI開発の必要性を意味する。私たちは開示性と説明責任、人間による管理を基礎に据えたAIを開発しなければならないのだ。

欺瞞を検出する仕組みを備えたAIを供給し、倫理に基づくAI研究の文化を育むことで、ロボットが人間を操作するのではなく人間をエンパワーし、すべての人が被益する協働知能の時代がだまし合いの軍拡競争に取って代わる未来を形作ることができるかもしれない。

それを実現するための選択肢の1つは透明性である。戦略的に振る舞い、自らの論拠を説明するAIシステムを創出することができれば、欺瞞と曖昧さのリスクを軽減できる。AIの合理的プロセスを顕在化させることで、自らの行動に責任を持たせ、人間と機械の間に信頼を築くことができる。

もっとも、完璧な透明性が望ましいのは一部の場合に限られるかもしれない。ある状況では、AIの真の目的を明らかにすることがその有効性を脅かすかもしれない。戦略的な曖昧さと責任の間でバランスを取ることが、AIによる欺瞞という倫理の地雷原を進む際に極めて重要になるだろう。

最後に、AIによる欺瞞の発生は批判的思考の新時代を要求する。私たちは、これら知的な機械の活動を額面通りに受け取るのでなく、懐疑的な見方と警戒心をもって理解しなければならないのだ。私たちは、AIが持つ虚偽と曖昧さの可能性を理解することで、今後訪れる複雑な道徳的ジレンマにより良く備えることができる。

斬新な戦略と人を操る策動は通常紙一重である。AI時代を迎えるにあたり、開示性と説明責任、そして究極的には人間の福祉という価値が知能の原動力となる未来を創り出し、欺く能力を持つAIを設計する際のチャンスとリスクのかじ取りを注意深く行っていこうではないか。

・・・

この記事は最初にDaily Maverickに掲載されたものです。Daily Maverickウェブサイトに掲載された記事はこちらからご覧ください。