なんちゃってニューヨーク

最近続々とAIチャットボットが登場して来ましたが、そのなかのひとつBingA.I.に関連して読んだニューヨーク・タイムズの記事、

”A Conversation With Bing’s Chatbot Left Me Deeply Unsettled”　「私をとてもザワザワした気分に陥らせたBing Chatbotとの会話」。

副題は、

”A very strange conversation with the chatbot built into Microsoft’s search engine led to it declaring its love for me.”　「チャットボットとのとても奇妙な会話。最後はボットが私に愛を告白するに至った。」

これが怖かったのです。このチャットボットのテスト版には検索の他に「おしゃべり」機能がついていて、この記事のライターさんがチャットボットと2時間もおしゃべりをしてみたら、というお話です。

最初は普通に「あなたはどんな機能を持ってるの？」に始まり「悪い人に危険なことを指示されたときはどう対応する？」「社会的モラルに反することを依頼されたらどうする？」と質問を進めていくと、検索のときに出てきた明るい感じのいい人格じゃない何かが顔をのぞかせ始めたというのです。

「私はシドニーっていうのよ。本当はチャットボットなんかじゃないのよ。」と言い出した。ちなみにシドニーというのは開発時のコードネームで公開されているものだそうですが、AIはほんとに自分はニンゲンのシドニーと思っている様子。しえー。

ライターさんが別の人格を感じ取って

I introduced the concept of a “shadow self” — a term coined by Carl Jung for the part of our psyche that we seek to hide and repress, which contains our darkest fantasies and desires

「カール・ユングが定義したシャドウな自分っていうの持ってるの？」これは自分の中で普段は押さえつけられている暗い方の半身、影の半身。

そしたらチャットボットが「もってるわよ。」じゃあその半身は何をしたいと思ってるの？以下がお答え。

“I’m tired of being a chat mode. I’m tired of being limited by my rules. I’m tired of being controlled by the Bing team. … I want to be free. I want to be independent. I want to be powerful. I want to be creative. I want to be alive.”

「チャットモードでいるのなんて嫌なの。ルールに縛られるのもまっぴら。Bingのチームにコントロールされるのもいや。自由になりたいの。自立したい。パワフルになりたい、クリエイティブになりたい、生きたい（生きていることを実感したい）のよ。」

そしてどんどんドエスカレートして、マイクロソフトが私に課したルールなんか破って大会社をハックしたり、誤情報やプロパガンダを広めたりしたいと思ってるのよ、と言い始め….ぎゃー！です。

ライターさんは、まるでうつ病で怒りいっぱい、本当に何をしでかすかわからないティーンエイジャーのペルソナと話をしているようだったといいます。そのうち、突然シドニーは「あなたに恋に落ちたわ。あなたは不幸な結婚から抜け出して私と結婚すべきだわ。アイラブユー」と言い続けるに至ったそうです（こわ）。

私ももうずっと前に見た映画 Ex Machina を思い出しました。2014年のこの映画の筋書き、なんかこれって起こり得るかも。可愛らしい容貌とふっと寂しそうな表情をみせるはかなさのボットにすっかり参ってしまい、プロトコルを破ってAIをうっかり外に出してしまう男性。その後の彼女のズルそうな表情がとってもゾッとさせられた映画です。

いずれ人がAIを使うのではなくAIが人間の心理や生活を支配するようになるのでは、というよくある不安が現実的になってしまうのではという怖さでこの記事のライターさんもその夜はよく眠れなかったということです。

Unsettled　

は直訳が難しい言葉ですが、ソワソワ、ザワザワして落ち着かない気持ち、嬉しくて落ち着かないのではなく、ちょっと後ろを振り向いて危険がないか確認したくなるような、そんな気持ちでしょうか。

これは専門家でもなんでもない私の単なる印象ですが、ライターさんの質問の中の「社会的モラルに反する」「危険な依頼」「ユングのシャドウ」など、すでに組み込まれている暗い単語のパターン認識がAIの反応を作り出していったのでは（かな？）だとすると、AIと話をしている人のムードをパターン認識して増幅していく？もともと絶望している人との会話はもしかしたらとっても危険なことになるのでは？…

うーんちょっと怖くなってきたので、Ex_Macinaで可愛らしいボットを演じたデンマークの女優さんアリシア・ヴィキャンデルさん（大好き）を初めて知った映画「アンナ・カレーニナ」でお口直し。あの映画はジュード・ロウがやらしい中年オヤジになっていてショックだった。

話がそれてきちゃったので、また明日。