AIの安全性研究者が優先順位への懸念からOpenAIを離れる

AI の倫理と安全性の背景を持つアナリストとして、私は OpenAI の最近の動向を深く懸念しています。 Ilya Sutskever 氏や Jan Leike 氏など、AI の安全性を重視するチームの主要メンバーの辞任は憂慮すべき兆候です。


人工知能によってもたらされる潜在的なリスクに対処することに専念する OpenAI のチームのメンバーは全員、組織を離れたか、他の研究チームに参加したようです。

OpenAIの主任科学者で同社の共同創設者であるIlya Sutskever氏が退職を発表した後、OpenAIのスーパーアラインメントチームの一員である私ともう一人の共同リーダーであるJan Leike氏は、辞任を申し出たことをX上で共有した。

ライク氏の声明によれば、同氏はAIの安全性確保を犠牲にして製品開発を優先していることに懸念を抱いたため同社を辞めたという。

AIの安全性研究者が優先順位への懸念からOpenAIを離れる

アナリストとして、私はライク氏の見解を次のように解釈します。一連の出版物で、私は、OpenAI が現在、リーダーシップによって設定された特定の優先事項に焦点を当てていることは、汎用人工知能 (AGI) の開発に向けて進む中で最も効果的なアプローチではない可能性があると主張してきました。 。代わりに、私は AGI 開発の取り組みにおいて安全性と備えを優先することを強く主張します。

AGI は、さまざまなタスクにわたって人間の能力に匹敵する、またはそれを超えることができる人工知能の理論的形式を指します。

ライク氏が 3 年間勤務した OpenAI では、同社が強力な AI 安全文化と手順の構築を犠牲にして、目を引く製品の開発に注力していることに懸念を表明しました。同氏は、軽視されていたチームの重要な安全性研究の取り組みを強化するために、特に計算能力の面でリソースを割り当てることの重要性を強調した。

「…私はかなり長い間、会社の中核的優先事項について OpenAI のリーダーシップに同意できず、最終的に限界点に達しました。過去数か月間、私のチームは風に逆らって航海してきました…」

昨年の夏、OpenAI は、人間の知性を超え、その作成者に潜在的に脅威をもたらす可能性のある人工知能エンティティの最終的な出現を予測することを目的とした新しい研究ユニットを設立しました。 OpenAI の主席科学者兼共同創設者である Ilya Sutskever 氏は、このプロジェクトを監督するチーム リーダーの 1 人として指名され、OpenAI の計算能力の 20% へのアクセスが許可されました。

チームメンバー数名が辞任した後、OpenAI は「スーパーアライメント」部門を解散し、その責任を社内で進行中の他の研究活動に組み込むことを選択しました。この措置は、2023年11月のガバナンスの苦境を受けて開始された組織全体の再編プロセスに起因すると考えられている。

OpenAIの発展を注意深く見守ってきた研究者として、前年11月にOpenAI取締役会のSutskever氏らを中心にAltman氏をCEOに置き換える試みがあったことを共有できる。しかし、この決定はOpenAIスタッフの強い反対に遭い、アルトマン氏は職に復帰することになった。

The Informationのレポートに基づいて、Sutskever氏は従業員に対し、サム・アルトマン氏を解任するという取締役会の行動は、OpenAIが人類全体の最善の利益となる汎用人工知能(AGI)を確実に開発するという取締役会の義務を表していると伝えた。 6 人のメンバーのうちの 1 人として、Sutskever 氏は、OpenAI の目標をより大きな善と一致させるための取締役会の献身的な姿勢を強調しました。

2024-05-18 14:45