Atla
Summer 2023停止AIエージェントを改善するエンジン
- サマリー
- AIエージェントを開発するチーム向けに、改善点を特定する評価・監視基盤を提供する
- 課題
- エージェントのトレースを手作業で確認するため、重大な失敗の特定に時間がかかる
- 解決策
- LLM judgeが実行手順を評価し、エラーパターンの検出と具体的な修正案の提示を自動化する
AI による要約
- 所在地
- London, England, United Kingdom
- チーム規模
- 10 人
事業内容
エージェントの最も重大な失敗を、数日ではなく数時間で見つけて修正する。 Atlaは、トレースを手作業でレビューする時間を削減する。AtlaのLLM judgeがエージェントの処理をステップごとに評価し、複数回の実行にまたがるエラーパターンを明らかにするとともに、具体的な修正案を提示する。何を、なぜ修正すべきかを正確に把握できる。 Atlaは、LangChain、CrewAI、OpenAI Agentsなど、チームが構築に利用する主要なエージェントフレームワークに対応する。リアルタイムモニタリング、自動エラー検出、プロンプトの実験機能により、エージェントシステムを安心してリリースするために必要な可視性と制御を提供する。 私たちは、研究者、エンジニア、起業家、オペレーションリーダーで構成されるチームである。評価(evals)に関する専門知識は、専用に開発したLLM Judge「Selene」と「Selene Mini」のトレーニングを通じて培ってきた。両モデルはオープンソースで公開され、累計ダウンロード数は60,000回を超える。