人工知能とアートの世界が衝突しています。あなたは予想しないかもしれませんが、これはSecondmindでの私たちの仕事に影響を与え、明日の車両をより効率的に設計する自動車エンジニアを支援するという私たちの使命をサポートする可能性があります。

機械学習の分野で働くことの素晴らしい点の一つは、あなたが一員となる研究コミュニティです。すべての人が、私たちの機械学習ツールの背後にあるさまざまな技術を改善するために協力しています。そして、それに伴い、多くの場合、アプリケーション、業界、機械学習プロセス間にクロスオーバーがあります。

論文は、Vincent Dutordoirが率いるSecondmind Labsの研究チームによって執筆され、GoogleのZoubin Ghahramaniとの共同作業において、ICML 2023に受理されました。この論文では、著作権のある高品質な画像（DALLE-2およびStable Diffusion）を合成するために使用される生成AI技術が、エンジニアが機械学習を使用して新しい車を設計・開発する方法など、データサイエンスのさまざまな側面を革命化するために活用できることを説明しています。

データのためのDALL-E

機械学習を何らかの形で使用する多くのオンラインアートツールが利用可能です。1つの例はDALL-E 2で、ここに説明的なテキストをオンラインプログラムに入力すると、リアルな画像が生成されます。これは楽しいツールですが、機械学習の広範な分野には深刻な影響があります。

DALL-E 2やStable Diffusionなどの画像生成モデルは、複雑で豊かな確率分布を保持するための拡散モデルの素晴らしい可能性を示しています。拡散モデルが強力な結果を提供できる他の多くのアプリケーションがある可能性があります。最近のケンブリッジ大学の研究者との共同論文では、ベイズ推論が拡散モデルが優れる領域の1つであることを示しました。このアプローチを「データのためのDALL-E」と呼ぶことにしています。

DALL-E 2に類似した基盤技術を使用し、入力テキストに基づいて画像を生成することで、入力データポイントに基づいて数値予測を生成する方法を示します。言い換えれば、DALL-E 2が言葉を入力し、それによってインスパイアされた画像を出力するのに対し、こちらは数値を入力し、その数値に一致する関数を出力します。

これにより、特に高次元のデータを分析する際の重要な課題を克服できます。それは時間がかかり、モデリング時に多くの労力が必要です。

代わりに、このプロセスは、過去に学習した内容に基づいてデータに適合する関数の実現を生成します。これにより、ガウス過程の挙動を再現するようにトレーニングされることができますが、ガウス過程とは異なり、私たちのプロセスは各データセットに一致するようにトレーニングされる必要がなく、時間と計算リソースの両方で大きな節約を実現します。

したがって、データが受信されると、モデルはそのデータから学習するために多くの時間を費やす必要はありません。その代わりに、私たちの新しいプロセスを使用すると、モデルは過去にすでにトレーニングされており、再学習する必要はありません。

ニューラル拡散プロセスの紹介

ガウス過程（GP）は、関数の確率分布を定義するための強力なフレームワークであり、まばらなデータでも一貫した予測を提供します。

ニューラルネットワーク（NN）ベースの生成モデルも、関数の分布を学習することができ、実質的にGPを模倣し、トレーニングプロセス中に必要な計算リソースを削減します。

そのようなモデルはすでに多く存在しており、ニューラルプロセス（NP）やガウスNPが含まれます。この作業の目標は、既存の最先端のNNベースの生成モデルを拡張することで、これらの方法を改善することでした。

私たちの新しいモデルはニューラル拡散プロセス（NDP）と呼ばれ、拡散モデルの使用ケースを確率過程に拡張し、関数上の豊かな分布を記述できるようにします。

実際、私たちのNDPはガウス過程を模倣し、GPの背後にある数学をより効率的に実行します。それはニューラルネットワークの力とガウス過程を組み合わせています。

私たちはNDPをテストするためにいくつかの実験を実施しました。これらのすべては論文に記載されています。しかし、特に注目すべき結果は、NDPが高次元の問題に使用できることです。

3Dおよび6Dの最小化問題を評価する際、NDPはこの種のタスクにおけるゴールドスタンダードモデルであるGPRのパフォーマンスにほぼ匹敵することを発見しました。GPRとNDPの重要な違いは、NDPがベイズ最適化ループ中にトレーニングを必要としないのに対し、GPRは毎回再トレーニングが必要であることです。

結果は以下の図に示されています：Hartmann 3D、Rastrigin 4D、Ackley 5D、およびHartmann 6D問題におけるThompson samplingに基づくベイズ最適化で使用される異なる確率モデルの悔恨。 不確実性の推定は、異なるランダムシードで実験を五回繰り返すことに基づいています。

私たちのNDPはSecondmindのツールキットにワクワクする追加要素であり、機械学習ツールをさらに最適化し、エンジニアにより迅速で正確な予測を提供します。私たちの取り組みや、機械学習研究者や自動車エンジニアに適切なソリューションを見つける手助けをしている方法についてもっと知りたい場合は、こちらをクリックしてください。