Sentient OS

事業内容

真にプロアクティブなAIは、これまで存在しなかった。ユーザーの人生全体を対象に推論を実行する必要があるからだ。クラウドでこれを行うと、コストが途方もなく高く、プライバシー面でも大きな問題になる。しかし、自分のチップ上で実行すれば話は変わる。 毎晩、SentientのオンデバイスLLMがMacを起動し、メール、メッセージ、ファイル、Granolaの文字起こしなど、ユーザーの生活に加わった新しい情報をすべてローカルで理解し、ナレッジベースにまとめる。 朝起きると、仕事の準備がすでに整っている。自分のコンテキストをもとに、返信し忘れていたメールの下書きができている。ほとんど使っていないサブスクリプションが翌日更新されることを検知している。グループチャットで約束したレポートが送信できる状態になっている。すべてワンクリックでcomputer useによる実行に移せるが、クリックするまで何も実行されない。 Macのnotchをいつでもクリックして、「これを代わりに終わらせて」と指示することもできる。Sidekickが独自のカーソルで作業を引き継ぐので、その間に別のことを進められる。 この規模のオンデバイス推論は不可能だと思われていた。デバイスは遅すぎ、モデルは賢くなかったからだ。そこで私たちはスタックを自社で構築した。カスタムしたLiteRT-LM forkに、KV-cache reuse、speculative decoding、custom k-quantsを組み込み、8 GBのMac上で毎晩実行できるようにした。計算処理の約90%はユーザーのハードウェアで行い、残りはユーザー自身のChatGPTまたはClaudeのサブスクリプションでまかなう。そのため、限界費用は約0ドルで、サーバーには何も保存しない。 7月下旬、Redditに1件投稿するだけでソフトローンチした。マーケティング費用は0ドルだったが、48時間でr/macappsのトップに入り、2,000人以上のユーザーを獲得した。コンシューマー向けは無料かつオープンソースで提供し、同じエンジンをSlack、Granola、Linear、Notionなどのワークスタックで展開することで、エンタープライズ事業へとつなげる。