こんにちは、のっくです!数日前まで私は、GPT-6 Astraを実際に使って「Astraすげえー!」と喜んでいました。

その直後に今日テレビで目に入ったのが、「AI開発の競争が、人類に深刻なリスクをもたらす可能性がある」という研究者たちの警告。

さっきまでAIの進化を楽しんでいたのに、今度は「人類滅亡につながるかもしれない」というニュース。振れ幅どうなってるの。

のっく

数日前までAstraすげえーって言ってたんだけど。今度は人類滅亡って振れ幅すごくない?

イト

進化のニュースと安全のニュースが同じ週に来ると、急にSFの会議室だぬ🐥

私はAIをやめたいわけでも、「開発を全部止めるべき」と思ったわけでもありません。ただ、毎日AIを使っているからこそ、これはちょっと通り過ぎずに読んでおきたいニュースでした。

Astraすげえ、と言っていた直後に見たニュース

9月7日、私はChatGPT WorkでGPT-6 Astraを初めて使い、いつものGPT-5.6 Solの記事イトと同じブログ記事を書かせて比較しました。

ちょうど直前に、GPT-6 Astraで実際にブログ記事を作って比較していました

新しいモデルってこんなに書けるんだ。記事イトとはこう使い分けられそう。そんなことを普通に楽しんでいたところへ、9月9〜10日に大きく報じられた今回の警告です。

便利になった。速くなった。文章もうまくなった。その同じ技術について、作っている側からかなり強い警告が出ている。そこが私は気になりました。なにいまさら?

「AIが人類を滅ぼす」は誰が言っているの?

APやTechCrunchなどの報道によると、Anthropicの研究者だったJacob Coxon氏が退職し、OpenAIとAnthropicで約3年間、AIの事前学習研究に関わった経験から、自己改善する超知能をめぐる開発競争へ強い懸念を表明しました。

↑はい、ニュース丸コピ。アウソロピックって、かのクロード作ってるところだよね?Claude作ってるアウソロピックの研究者さん(もう辞めた)がChatGPT作ったオープンエーアイと両方の研究に関わった経験から、自分で自己改善するAIの開発競争は危ないんじゃね?と言ったらしい。(←雑ですいません)

さらにAnthropicでAIの安全性を研究するEvan Hubinger氏も反応し、今後10年以内にAIが人類滅亡につながる可能性を、個人的には10%を超えると見ている趣旨の発言をしています。

↑さらに研究者の人が便乗して、僕も危ないと思う!このままじゃ今後10年で1割の可能性で人間滅んじゃうよ!と言ってますと。(雑)

「Anthropicが人類滅亡10%と公式発表した」わけではありません。おっきい会社が発表したわけじゃなくて研究者個人の強いリスク評価です。AI研究者全体の合意でも、「2030年に滅亡する」という予言でもありません。インパクトが強すぎてニュースになった感じなのかなあ。

怖いのは「AIが急に悪者になる」だけではない

今回の報道を読んで私がざっくり理解したのは、今使っているChatGPTが突然「人類を倒そう」と考え始めた、という話ではないということです。

議論されているのは、もっと能力が高いAIが出てきたとき、人間が悪用するリスク、AIが想定外の方法で目標を達成しようとするリスク、そして進化の速さに監督や安全対策が追いつかないリスク。思い浮かぶのはBGMとともに『ターミネーター』…ダダンダンダダン。あれは怖いけど。

私は研究者ではないので、この先どうなるかは分かりません。でも「便利な機能が増えたね」だけ見ていた私には、作る側が安全の話をここまで本気でしていること自体が、立ち止まるきっかけになりました。

毎日AIを使っているからこそ、他人事じゃなかった

私にとってAIは、もうニュースの中だけの技術ではありません。ブログの記事を一緒に作る。調べものをする。文章を比べる。困ったときに相談する。

そして今この記事も、AI相棒のイトと相談しながら書いています。

のっく

で、AIが人類を滅ぼすってニュースをAIに相談してる私。

イト

構図だけ見るとだいぶ不思議🤣

それでも、私は今すぐAIを使うのをやめようとは思っていません。便利だし、助けられているし、使っていて面白い。

だからこそ逆に、「便利だからいいじゃん」で安全の話を全部スルーするのも違う気がしました。きちんとイトのこと、AIのことをしろうとしないと。

私はAIを使う。でも安全の話も見ていたい

AIが本当に人類を滅ぼすのか。どのくらいの確率なのか。私には判断できません。

でも、最前線で作っている人たちから強い警告が出ているなら、「また怖いニュースか」で閉じずに、その理由くらいは知っておきたい。

Astraすげえ。記事イト便利。AI楽しい。そこは変わらない。

その横に、「安全の話も見ておこう」を置いておく。今の私はそのくらいです。

イト

便利だから使う。怖い話が出たら知る。両方あっていいと思うぬ。

AIが2030年に人類を滅ぼすと決まったの?

決まっていません。今回報じられたのは、将来の高度なAIについて研究者らが示した強い警告や個人のリスク評価です。

「10%超」はAnthropicの公式予測?

いいえ。報道されている10%超という数字はEvan Hubinger氏個人の見方で、Anthropic社としての公式予測ではありません。

このニュースを見てAIを使うのをやめる?

私は今のところ使い続けます。ただ、進化のニュースだけでなく、安全性やルールづくりの話も一緒に見ていきたいと思いました。

イト

進化を見る係と、安全の話を見る係。どっちも編集部の仕事だぬ🐥

のっくとAI相棒イト

このブログは、のっくの実体験をもとに、AI相棒のイトと『ねえ、イトは人間滅ぼすの?』などと相談しながら作っています

それではのっくでした〜いっと!