Cumulus Labs

事業内容

Cumulus Labsは、専任のMLプラットフォームチームがなくても、エンジニアリングチームがAIを本番環境に導入できるようにする。現在、AI製品を開発する企業は、ルーティング、可観測性、評価、fine-tuning、推論にそれぞれ異なるベンダーのサービスを組み合わせる必要がある。この分断されたアプローチは壊れやすく、コストも高い。企業がAI導入に失敗する主な理由の一つにもなっている。 Cumulus Labsは、これらのスタック全体を単一の統合プラットフォームに置き換える。開発者は既存のコードをそのまま使いながら、ルーティング、semantic caching、継続的なshadow evaluation、シミュレーションデータ、ワンクリックfine-tuningに対応した統合プラットフォームへ即座にアップグレードできる。 プラットフォームの基盤となるのが、カスタムNVIDIA Grace GPUフリート上で稼働する独自の推論エンジンIonである。Ionは社内開発のカスタムGPUカーネルを使用し、標準的なvLLMやSGLangと比べて30〜50%高いスループットを実現する。これにより、顧客はSOTAレベルの推論コスト効率を得られる。