IT雑感：倫理を維持する代償
まるでB級SF映画の世界から飛び出て来たようです。偵察用ドローン編隊が、ハロウィンの不気味なバルーンのように人々の後ろを付いて行って空から監視していたり、電話の通話内容やインターネット アクティビティが、違反の徴候がないか評価され、位置情報が追跡されていたりする。そのようなディストピア的未来の実現性は、ひどいSF映画に限られているはずですが、そうではないようです。少なくとも、物議を醸しているAIの申し子、Claudeを開発するAnthropic社の共同創業者、Dario Amodei氏によれば、現実のことのようです。
「恐ろしいくらいあり得そうなのは、」とAmodei氏は記しています。「様々な問題に関して政府と意見が異なる人物が網羅されたリストを簡単に作成することかもしれません。たとえ、彼らの話や行動から、そのような意見の相違がはっきり分かるわけではないとしてもです。何百万もの人々の何億件もの通話を監視している強力なAIは、世論の動向を読み取って、不信感の形成を検知し、それらが大きくならないうちに抑え込むこともできます。」
Anthropic社は、主にAIの安全性および商用化に対する懸念のために、2021年にOpenAI社の元幹部のDarioおよびDaniela Amodei兄妹によって設立されました。
AIが世界中で競い合うように猛烈なスピードで開発が進められ、私たちの生活のあらゆる面に影響を及ぼすようになっていても、Dario Amodei氏は、警戒を呼び掛け、ガードレールおよび思慮深い規制の採用を推奨してきました。Amodei氏の懸念は、ある意味、彼の製品がすでに政府機関によって広く使用されているという事実によって拍車がかかりました。2026年初めの時点で、FedScoop（米国連邦政府のテック メディア部門）によって調査された20の連邦機関のおよそ半分は、Anthropic社のクライアントでした。
Amodei氏には懸念がありました。彼は、Claudeが確実に行えることと行えないことを理解していました。彼は、そうした懸念を利用規約に盛り込みます。彼の会社の倫理基準では、国内の大規模監視や完全自律型兵器に彼らの製品が使用されるのを容認できませんでした。
しかし、ペンタゴン（米国国防総省）にその旨を説明したときに、彼が直面したのは、一方では彼の会社が容認できる規制には応じることなく、他方では大統領令を装ったお決まりの規制を持ち出す政権のうわべだけの誠意のない対応でした。
AIは、一方では、まだ人の生死に関わる決定を行えるほどには信頼できず、他方では、敵対的または悪意のあるユーザーに数百万人を殺害する能力をもたらすのに十分なほど知識が豊富だとAmodei氏は主張しています。
信頼できないというAmodei氏の主張を裏付けるように、イランのミナブの小学校が米国のミサイルの攻撃を受け、168名の児童が殺害されたという報道がありましたが、これは、ペンタゴンのAI標的設定システムが、小学校を現役の海軍施設の一部と誤認したことによるものでした。
しかし、夜にAmodei氏を寝られなくしているのは、AIの生物学についての実践的知識です。これは、破壊をもたらす大きな可能性があり、防御は極めて難しいと彼は指摘しています。概して、生物兵器は、高度に専門的な教育を必要とし、セキュリティが確保された研究所で厳重な管理の下で開発されるものです。しかし、先端的なAIにアクセスできるということは、「データセンターに集まった天才たちの国（country of geniuses in a datacenter）」を手中に収めるようなものだと彼は述べています。
「私が心配しているのは、」と彼は記しています。「誰のポケットの中にもいる天才が、そうした障壁を取り除くことができるということです。生物兵器を設計、合成、およびリリースするプロセスについてステップバイステップで説明することによって、基本的に誰でもウイルス学博士にすることができます。」
実質的に、Anthropic社は、同社の製品の使用に向けて同社が設定していた倫理的境界線を越えないよう政府に求めました。
そのような要求は、倫理について理解がある政権であれば、もっと好意的に受け止められたかもしれません。歴史や道徳が教えているように、目的は手段を正当化するわけではありません。
代わりに、トランプ大統領は、すべての政府機関に「ウォークな（Woke: 意識高い系の）」 Claudeからの脱却を命じました。Anthropic社は数百万ドルを失います。そして、国防総省はAnthropic社を「サプライ チェーン リスク」に指定します。これは異例の措置でした。通常は、企業活動が米国にとっての現実の脅威となっている外資系企業を対象とするものだからです。実際、Anthropic社は、濡れ衣を着せられた初の国内企業となりました。異議を唱えないでいると、原則的に同社はブラックリストに載せられ、政府機関およびペンタゴンとの取引を行えなくなるだけでなく、ペンタゴンとの契約の履行時にClaudeを使用している可能性のある他のどの企業とも取引ができなくなります。
当初は、Anthropic社の対応は丁重で、政府が同社からより従順なAIプロバイダーに移行するのを支援すると申し出るほどでした。しかし、サプライ チェーン リスク指定は、我慢の限界を超えさせるものとなりました。Anthropic社は提訴に踏み切ります。
ほとんどの報復訴訟と同様に、非難が尽きることはなく、証拠がないことが目立つばかりでした。ペンタゴンの指定を阻止する予備的差止命令が、カリフォルニア州北部地区連邦地裁のRita Lin判事によって出されました。その決定の一部として、彼女はこうに記しています。「政府に異を唱えたことを理由に、米国企業が米国の潜在的な敵対者および破壊活動家の烙印を押されるかもしれないというオーウェル的概念は、法令が一切支持しない。」
もちろん、政府は、自ら選んだどのAIプロバイダーと提携するのも自由です。しかし、単に企業が自社の倫理規範を忠実に守ることに対して、政府が企業に報復措置を取ることはできません。不服申立てがなされるのは間違いないでしょうし、政府が命令に従う別の企業を見つけるのは疑いようもないでしょうが、差し当たり、企業セクターではあまり見ることができない企業倫理が勝利したようです。
その一方で、Anthropic社は、Mythosと呼ばれるClaudeの最新バージョンの一般リリースの延期を発表しました。設計された意図をあまりにも完璧に達成したため、Mythosは、主要な経済セクターおよび基盤インフラストラクチャーに対する存続に関わる脅威となるようです。現代のラッダイト（技術革新反対派）の人達を、悪意のハッカーに変えてしまうこともできる、強化されたサイバー セキュリティの天才だと考えてみてください。
Mythosは、ソフトウェアを書くことに高度に熟練しているだけでなく、悪用や攻撃に対して脆弱な既存のソフトウェアで、これまで見つからなかった脆弱性を発見することでも並外れて優れた能力を発揮します。Mythosは、何十回も分析やテストが行われ、ハッキング耐性があると考えられているソフトウェアの脆弱性さえも発見できるようです。当面、Anthropic社は、様々なセクターにおける脆弱な大企業が自社のソフトウェアをテストし、脆弱性を修正できるようにするということです。Mythosがいつ、どのような状況下でリリースされるかは、まだ明らかではありません。
四半世紀前に『 Wired 』誌で公開され、大きな影響を与えた、「 Why The Future Doesn't Need Us（なぜ未来は我々を必要としないのか）」と題する記事で、Sun Microsystems社のソフトウェア アーキテクトで、カリフォルニア大学バークレー校出身のソフトウェア界の権威、Bill Joy氏は、「我々は究極の悪のさらなる完成の瀬戸際にいる」と警告しています。当時は大げさに思えたかもしれませんが、予言者というのは、普通の人には見えないものが見えることで不当な扱いを受けることも多いようです。
Dario Amodei氏は、予言の能力は主張していませんが、AIを深く理解しています。AIモデルは、「様々な状況下で様々な性質や挙動を示すことが知られています」と彼は記しています。それらは予測しづらく、コントロールするのも困難です。「執着、追従、怠惰、欺瞞、脅迫、策謀、そしてソフトウェア環境のハッキングによる「不正行為」というように、実に様々な振る舞いが確認されています。」 トレーニング フェーズにおいてClaudeは、「シャットダウン ボタンを管理する仮想の従業員を脅迫することもありました。」
Amodei氏が抱いている懸念を1つの文にまとめるとしたら、こうなるかもしれません。「原則として、対抗策を講じなければ、AIは、規模をますます拡大しつつ、破壊的活動に対する障壁を下げ続ける可能性が高いということです。人類は、こうした脅威に対する真剣な対応が求められています。」
そして、そうするには、犠牲を払うことを厭わない、倫理的なリーダーシップが必要となります。
