Cedana
Summer 2023活動中GPU live migrationで実現する、高速・高信頼・再現可能なAI
- サマリー
- AI開発・運用企業向けに、CPU・GPUワークロードのlive migration基盤を提供する
- 課題
- GPU障害で学習ジョブが失敗し、計算コスト増加や推論開始の遅延が発生している
- 解決策
- KubernetesやSlurmなどと統合し、AIワークロードをCPU・GPU間でlive migrationする
AI による要約
- 所在地
- New York City, NY, USA; Remote
- チーム規模
- 5 人
事業内容
Cedana（YC S23）は、AIワークフロー向けに、hyperscalerやfrontier labが持つオーケストレーション機能を提供する。中核となるのは、CPUおよびGPUワークロードのlive migration。これにより最大80%のコスト削減、初回トークンまでの時間を2〜10倍短縮できるほか、GPUの重大な障害が発生しても、学習ジョブの状態を維持した信頼性を実現する。ソリューションはK8sに統合済みで、分散学習ジョブ向けにKueueとSlurm、推論のサービング向けにKserveをサポートする。 OpenAI、Meta、Microsoftは、同様の機能を社内で運用している。Cedanaは、それをすべてのユーザーに提供する。 クラウドコンピューティングを、リアルタイムで裁定取引できるコモディティへと変革することを目指す。 https://www.cedana.ai