チャットＧＰＴ、自信満々の答えは不正解

2023年5月18日木曜日、ニューヨークで、iPhoneでChatGPTアプリを撮影した写真。この無料アプリは、木曜日に米国内のiPhoneで利用が開始され、その後、Android携帯にも提供される予定。ウェブ版とは異なり、声を使って質問することもできる。(AP Photo/Richard Drew)

By Stephen Dinan – The Washington Times – Monday, May 29, 2023

　対話型ＡＩ「チャットＧＰＴ」は現代のコンピューター工学の驚異であり、衝撃的なほど優れた英語の使用者かもしれない。ただ、それが正確かは別である。

　この人工知能言語ツールは、歴史、財政、ポップカルチャーなど、さまざまなテーマで事実を間違えて記憶しているようだ。

　現在の無料公開版であるチャットＧＰＴ3.5に、2010年に最も人気のあったユーチューブ動画は何かと尋ねると、奇妙なニュース映像の初期ソーシャルメディア音楽のリミックス「ベッド侵入者の歌」と答え、その年の再生回数は6200万回だったという。実際には、ジャスティン・ビーバーの「ベイビー」がこれを大幅に上回る再生回数４億回以上だった。

　赤ちゃんの名前の相対的な人気について尋ねると、ランキングを間違えたり、ある名前を1000位以下と言いながら、実際は何百位も上ということもあった。

　米国とメキシコの国境にある壁の全長を尋ねると、チャットＧＰＴは10年前の数字を出し、ドナルド・トランプ前米大統領が追加した分の長さは含まれていない。

　チャットＧＰＴは言語モデルの人工知能で、膨大な量のデータを消費してユーザーと関わるよう訓練されており、そのデータセットに基づいて答えを出している。

　しかし、その精度は、飲み屋の端っこに座っている知ったかぶりが自信満々に真実と懸け離れた答えを論じているのと変わらないこともある。

　もどかしかったやりとりは、1826年に当時の国務長官ヘンリー・クレイと上院議員ウィリアム・ランドルフによる決闘場所を巡る質問の答えで、チャットＧＰＴは６回も謝ってきた。決闘はチェーンブリッジ近くのポトマック川南側で行われた。

　ＡＩはまず決闘場所はケンタッキー州と答え、次にバージニア州リッチモンド、そしてリッチモンド近郊のアシュランドへと変えた。その後、北に移動し、ワシントンＤＣを越えた所にあるメリーランド州であると答えた。決闘は実際にはポトマック川の南側で行われたと言っても、チャットＧＰＴはさらに３回の不正解を繰り返し、正解にたどり着けなかった。

　技術政策研究所のナサニエル・ロビン上級研究員は、雑学的知識は言語ＡＩモデルの仕事ではないと指摘した。

　「これらのツールは、『ここに何かに関する五つの文がある。このデータを抽出して』とか、『この文をよりきれいに書き直して』というように使うのが良いと思う」と、ロビン氏は語った。「世界の現実的なモデルを持っているわけではないので、あらゆる物事の詳細をすべて記憶してはいない。次に言われるであろうトークンを予測しているのだ」

　言い換えれば、チャットＧＰＴは記憶装置に戻って正しい答えを見つけようとしているのではない。ユーザーが入力した内容を見て、次に何を言うべきかを推測している。

　「チャットＧＰＴはインターネット全体を読んでいるので物事に対する知識は持っているが、基本的に参照元の情報源は持っていない」と、ロビン氏は述べた。

　チャットＧＰＴの生みの親であるオープンＡＩにこの記事のためにコメントを求めたが、応じなかった。

　チャットＧＰＴ自身に尋ねると、「エラー」「ミス」「何らかの混乱」といった表示の後、謝罪を繰り返した。