ディープシークのR1チャットボット、AI知識蒸留法で論争

中国のAI企業ディープシークは今年初めにR1チャットボットを発表し、技術業界で大きな注目を集めた。ディープシークは比較的小規模な企業でありながら、主要技術企業の製品と競争できるチャットボットを開発したと主張し、必要な計算能力と財政的投資がはるかに少ないと述べた。この主張は、いくつかの西洋の技術大手の株価の劇的な下落を引き起こし、Nvidiaは前例のない一日の損失を経験した。

ディープシークの突破口に対する注目は、同社がOpenAIの独自モデルo1から知識を不正に得たという深刻な疑惑を含んでいた。メディアはこれをAI業界での衝撃的な発展として描写し、AIシステムの作成における革新的なアプローチを示唆した。

しかし、知識蒸留は新しい概念ではない。それはAIで広く使用されている認識された方法であり、コンピュータサイエンスの研究によって支えられている。ペンシルベニア大学ウォートンスクールの研究者エンリック・ボイクス＝アドセラは、蒸留は今日、企業がモデルをより効率的にするために持っている最も重要なツールの一つであると述べた。

知識蒸留の理論は、2015年にグーグルの3人の研究者によって書かれた論文に起源を持つ。当時、研究者たちは通常、モデルのアンサンブルを使用しており、これらの煩雑なグループの性能を単一でより管理しやすいモデルに蒸留しようとした。

このプロセスは「ソフトターゲット」の概念に依存しており、教師モデルが二進法の回答の代わりに確率的な評価を提供した。この技術により、学生モデルはカテゴリ間の微妙な関係をより効果的に把握することができた。研究者たちは、複雑なモデルをより効率的なバージョンに圧縮できることを示した。

蒸留の可能性は拡大し続けている。UCバークレーのNovaSkyラボの最近の研究は、チェーンオブソート推論モデルの訓練におけるその効果を実証し、さまざまな応用における柔軟性と価値を強調した。この話はAIの進行中の進歩と業界に対する広範な影響を反映し、技術開発における革新、競争、および倫理的考慮の微妙な相互作用を強調している。