Robocurve

事業内容

Robocurveは、ロボットが現実世界の仕事をどれだけこなせるかを測定する、オープンソースのツールと独立したベンチマークを構築する。Frontier labが公開する検証されていないデモ動画に頼るのではなく、誰もが信頼できる再現可能なベンチマークでモデルを評価する。 現在、適切に運用された標準化済みのrobotics benchmarkは存在しない。各labは自社内で評価を行っており、継続的なbenchmarkingをサービスとして担う独立した組織もない。その結果、他社のモデルがどれほど優れているのか、実際のfrontierがどこにあるのかを正確に把握できていない。 優れたbenchmarkには、物理ハードウェアと現実世界の環境を運用・保守する必要がある。simulationだけでは限界がある。simulation上では高い性能を示すモデルでも、現実世界に導入すると大きな性能差が生じることがある。現実世界のbenchmarkを構築するには、業務領域の専門家、evals engineering、実地のroboticsを同時に連携させなければならない。 Frontier labは2028年までに汎用roboticsの実現を目指している一方で、robotics evalsの分野はほとんど存在していない。ロボットの能力を測る信頼できる基準を構築した者が、誰もが頼るリファレンスになる。私たちはAI evalsとroboticsの両方のバックグラウンドを生かし、この分野をできるだけ速く立ち上げ、発展させている。すでにオープンソースframeworkのInspect Robots v1をリリースし、実際のロボット上でfrontier modelを評価する最初のpilotも実施した。