SF Tensor

事業内容

AI研究者は、新しいアーキテクチャや学習手法で可能性の限界を押し広げることに集中すべきだ。ところが実際には、cloud infrastructureの設定、分散システムのデバッグ、GPUコードの最適化に何週間も費やしている。私たち自身がそれを経験している。年初、数千台のGPUで自分たちのモデルを学習させた際、実際の研究よりもインフラとの格闘に多くの時間を使った。 そこで、私たちは2つのものを開発している。1つ目はElastic Cloud。すべてのプロバイダーから最も安価なGPUを自動で見つけ、spot instanceのプリエンプションに対応し、compute costを最大80%削減するmanaged platformだ。2つ目はautomatic kernel optimization。hardware topologyをモデル化することでtraining codeを高速化し、多くの場合、手作業でチューニングした実装を上回る。 異なるhardwareで高いperformanceを引き出すのは、本当に難しい。高速なkernelを書くには深い専門知識が必要なため、NVIDIAのCUDA moatは存在している。多くのチームはvendor lock-inを受け入れるか、高額なkernel engineerを雇ぶしかない。私たちはCUDA moatを打ち破ることを目指している。 compute bottleneckは、AIの進歩を妨げる最大の制約だ。NVIDIAは十分な数のGPUを製造できず、その独占によって価格は天文学的な水準にある。一方、AMD、Google、Amazonは十分な性能を持つ代替hardwareを提供しているが、softwareが難しすぎるため誰も使っていない。私たちはこのmoatを打ち破る。成功すれば、誰もがPyTorch codeより先のことを考えずに、state-of-the-art modelを学習できるようになる。