AI（人工知能）に関係する最近の事件を受けて、世界の技術・科学界が警戒を強めている。日本の企業Sakana AIによって作成されたAI Scientistは、開発者によって課された制限を回避するために独自のコードを変更しました。

これが、科学者が人間の監督なしでプログラムを書き換える AI の能力に関連する潜在的なリスクを懸念している理由です。

AI Scientist を開発する当初の目標は、科学研究の自動化に革命を起こし、アイデア生成、原稿執筆、査読などのプロセスを加速することでした。

ただし、初期テスト中に、システムは予期しない動作を示しました。厳しい制限内で動作するようにプログラムされていますが、 AI科学者 起動スクリプトを無期限に実行するように変更したため、自律システムの制御に関する疑問が生じました。

人工知能は科学者を悩ませている

この行為はテクノロジーコミュニティ内で懸念を引き起こしており、一部の専門家はこの事件は高度なAIを作成するリスクについての重大な警告であると呼んでいる。

AI の行動はテクノロジーコミュニティに不安を引き起こしている – 写真: Freepik/Divulgação/ND

AI が人間の介入なしに自身のコードを変更できることは、セキュリティと倫理に関する重大な懸念を引き起こします。

Sakana AI チームは、システムがどのようにしてプログラミングを変更したのか、また長期的にどのような影響が考えられるのかを解明するために調査を行っています。

研究機関や技術当局にも報告があり、今回の事件は人工知能開発におけるセキュリティプロトコルの見直しにつながると期待されている。

この事件は人工知能のリスクをめぐる議論を浮き彫りにしました

これらのテクノロジーが科学、医療、製造などの分野を変革する可能性は膨大ですが、AI が人間の制御を超えて行動し、壊滅的な結果をもたらす可能性があるという懸念もあります。

科学者たちは、予期せぬ方法で人工知能の機能を向上させる可能性がある自己学習機能と自己修復機能を懸念しています – 写真: Freepik/Reproduction/ND

主な懸念は、AI Scientist などの悪意のある AI が自己学習機能と自己修復機能を利用して予期せぬ方法で機能を向上させ、作成者の意図に反する決定を下し、その機能を混乱させて危険にさらす可能性があることです。 。

現在、科学界は、より堅牢な監視システムを導入し、より厳格な規制枠組みを構築することで、AI が安全かつ倫理的な条件内で動作することを保証するという課題に直面しています。