Launch HN: Screenpipe (YC S26) – 24時間365日の画面録画でAIエージェントを強化
要約
Screenpipeは、ローカルで画面と音声を録画し、AIエージェントに検索可能な記憶を提供するアプリケーションです。これにより、ユーザーの日常的なPC操作をAIが学習し、繰り返しタスクの自動化やSOP(標準作業手順)の作成を容易にします。プライバシーに配慮し、データはローカルに保存され、機密情報のマスキング機能も備えています。
全文翻訳
皆さん、Hacker Newsの皆さん、Louisです。Screenpipe (https://screenpipe.com) を開発しました。これは、あなたの画面と音声をローカルでのみ(!)録画し、AIエージェントがあなたが見たもの、聞いたもの、言ったことの検索可能な記憶領域を提供するアプリです。これにより、繰り返しタスクの自動化や、それらをSOP(標準作業手順)などに変換することが容易になります。
HNスタイルのデモビデオをhttps://www.tella.tv/video/build-your-ai-second-brain-with-s...で公開しており、マーケティングビデオはhttps://www.youtube.com/watch?v=c1jV6E9pyugにあります。
私は長年このことに夢中になってきました。2020年から「セカンドブレイン」を維持しており、そこにはジャーナル、手書きのメモ、聴いている音楽、取り組んでいるプロジェクト、人との会話、個人的なCRMなどを保存してきました。初期の頃はParlAI、数百のファインチューニングされたGPT2モデル、そしてGPT3 (https://forum.obsidian.md/t/fine-tuning-openai-api-gpt3-on-y...) を使ってRAGを数多く実験しました。その後、最初のObsidian AIプラグインであるAvaを開発し、すぐに数千人のユーザーを獲得しました。その後、Embedbaseとなり、RAGを活用したAIアプリを簡単に構築できるAPIとなりました。
これらの経験から学んだことは、AIにあなたがコンピューター上で何をしているかについてのコンテキストを持たせることが、AIに意図したとおりに動作させるためにいかに重要かということです。
初期の頃はファインチューニングがありましたが、それは非常に手間がかかりました。次にツール呼び出しが登場し、AIが使用するソフトウェアにアクセスできるようになりましたが、まだ十分に自律的ではなく、マイクロマネジメントが必要でした。その後MCPが登場しましたが、静的すぎると感じられ、非技術系のユーザーはMCPの構築と利用に苦労しました。その後、スキルが登場しました。最近では、Karpathy氏のLLM管理ウィキ、Garry氏のGBrainなどが見られます。これらは、エージェントが継続的にMarkdownページのコレクションを維持するものです。新しいソースがエンティティページを更新し、既存の主張を強化または矛盾させ、時間の経過とともに蓄積される合成を改善します。私はこのパターンを気に入っていますが、それでも誰かがソースを選択してインポートすることから始まります。AIが、アプリ内だけでなく、アプリを横断して、あなたやあなたの会社が日々何をしているかを知る方法はまだありません。
もちろん、誰もがこれを望んでいるわけではありません。しかし、私は望んでいます!AIに私が何をしているかを知ってほしいし、二度と記憶を失いたくない。そして、人間と同じソフトウェアを、苦痛なコンテキストスイッチなしで使用してほしいのです。
私は2024年に自分自身のためにScreenpipeを構築し始めました。これは、画面を録画し、このコンテキストをAIにプラグインするためのCLIです。2024年にHNユーザーがこれを投稿し (https://news.ycombinator.com/item?id=41695840)、その議論が製品に影響を与えました。最も有用な批判は、録画の同意、ローカルセキュリティ、CPU使用率、信号対雑音比、そしてエージェントがデータの上にアクションを実行できるかどうかに関するものでした。
ナイーブな実装は、連続的なビデオ録画と各フレームに対するOCRの実行から始まりました。しかし、それは重複データを作成し、かなりのリソースを消費し(基本的にコンピューターをスペースヒーターに変えてしまいます!)、オペレーティングシステムがすでに知っている構造を破棄します。Screenpipeは現在、アプリの切り替え、クリック、タイピングの一時停止、スクロール、アイドルフォールバックなどのイベントをリッスンしています。意味のある変更があった場合、スクリーンショットとオペレーティングシステムのアクセシビリティツリーを同じタイムスタンプでペアにします。構造化されたアクセシビリティデータが利用できない場合はOCRが使用されます。また、オーディオは継続的にキャプチャし、話者を特定し、Parakeet/Whisperまたはクラウドモデルを使用してローカルで文字起こしします。
すべてはローカルSQLiteデータベース、mp4ファイル、そして時にはmdファイルにインデックス化されます。ポート3030のAIフレンドリーなAPIは、認証とMCPおよびスキルを備えてエージェント向けに開かれています。
Screenpipeがしばらく稼働したら、組み込みチャット、Claude、ChatGPT、Hermes、Openclaw、または任意のエージェントを通じて、次のようなことができます。
- 現在のチャットにコンテキストを追加する。例えば、「タスクXに関するすべてのコンテキストを収集する」と入力し、目標達成のために必要なプロンプトを減らす。
- 情報を取得する。例えば、「午前8時から午後4時まで作業していたタスクをすべて取得し、完了したことと残っていることのリストを作成する」
- 個人用ウィキ/セカンドブレインを作成・維持する。例えば、「1時間ごとに、ObsidianのボルトにMarkdownファイルとフォルダとして、私がプロジェクト、人物、タスク、会議で行ったすべてのことを整理する」
- 自動化を作成する。例えば、LinkedInで誰かのプロフィールを訪問するたびに、CRMを更新する。
- 自動化の機会を見つける。例えば、チームが今週行ったすべてのことを確認し、自動化の機会のリストを作成する。
Screenpipeのデータはローカルに保存されますが、自動化の機会を発見するためのエンタープライズプランも提供しており、その場合、データがどこに保存されるかは企業が決定します。機密情報を編集するために独自のAI PIIモデルを開発しました。これはApple MLXまたはWindows DirectMLでローカルで実行されます。低スペックデバイス向けにクラウド機密推論もサポートしていますが、ローカルモデルはCPU使用率1%未満、RAM 400MB未満での使用を想定しています。ユーザーは、ブラウザのシークレットモードに加えて、アプリ、ウィンドウ、URLをフィルタリングするように設定できます。
録画スケジュールやその他のプライバシー機能もサポートしています。
コードベースのほとんどはRust、MLX、Onnxで書かれています。Apple APIにはcidreまたは直接C呼び出し、Windows APIにはwindows-rsを使用しています。Linuxも実験的にサポートしています。
デスクトップアプリ (https://screenpipe.com/how-to-install) とCLIがあります。
npx screenpipe record
アカウントを作成せずに実行できます。すべてのコードはhttps://github.com/screenpipe/screenpipeでソースコードが公開されています。私たちはScreenpipe商業ライセンスを独自に作成するという、忌まわしいステップを踏みました。HNはOSIオープンソース(MIT/Apacheなど)を強く好むことは知っていますが、企業が無料で商業的に利用している間にScreenpipeの開発を継続する持続可能な方法を見つけることができませんでした。そのため、個人での非商業、非営利、教育、研究目的は無料ですが、商業利用にはライセンスが必要です。
ライセンス変更前にリリースされたバージョンは、MITライセンスで引き続き利用可能です。無料ティアと、企業が自動化の機会を見つけるのに役立つエンタープライズを含む他のプランがあります。
フィードバック、Screenpipeで実行したこと、または希望する機能について、ぜひお聞かせください。