The Token Company
Winter 2026活動中LLMの出力を改善するCompression middleware
- サマリー
- LLMを利用する企業向けに、コンテキストを圧縮するmiddlewareを提供する
- 課題
- コンテキストの肥大化により、LLMのコスト増加やエンドツーエンドの遅延が発生する
- 解決策
- 数ミリ秒で不要なコンテキストを削除し、LLMの出力改善とコスト・遅延削減を実現する
AI による要約
- 所在地
- San Francisco, CA, USA
- チーム規模
- 2 人
事業内容
数ミリ秒でコンテキストの肥大化を取り除くCompression middleware。コストを削減し、エンドツーエンドのレイテンシーを改善する。 自然言語のワークロードで特に高い効果を発揮する。顧客の1社と実施したブラインド形式のLLM arenaのケーススタディでは、リクエストを圧縮することでユーザーからの選好度が高まり、コストが下がり、購入数が5%増加した。