Launch HN: Screenpipe (YC S26) – 24時間365日の画面録画でAIエージェントを強化

Hacker Newsの皆さん、こんにちは。Louisです。Screenpipe（https://screenpipe.com）を開発しました。これは、画面と音声をローカル（のみ！）で録画し、AIエージェントに見たもの、聞いたもの、話したことの検索可能な記憶を提供するアプリです。これにより、繰り返しタスクの自動化やSOP（標準作業手順）の作成などが容易になります。 HNスタイルのデモ動画をhttps://www.tella.tv/video/build-your-ai-second-brain-with-screenpipe-e1j7で公開しており、マーケティング動画はhttps://www.youtube.com/watch?v=c1jV6E9pyugにあります。 私は長年これに夢中になってきました。2020年から「セカンドブレイン」を維持しており、ジャーナル、手書きメモ、聴いている音楽、取り組んでいるプロジェクト、人との会話、パーソナルCRMなどを保存してきました。初期の頃はParlAI、数百のファインチューニングされたGPT2モデル、GPT3（https://forum.obsidian.md/t/fine-tuning-openai-api-gpt3-on-your-second-brain-obsidian/21849/4）で多くのRAGを実験しました。その後、最初のObsidian AIプラグインであるAvaを構築し、数千人のユーザーを獲得しました。その後、RAGを活用したAIアプリを容易に構築するためのAPIであるEmbedbaseになりました。 これらの経験から学んだことは、AIに意図したとおりに動作させるためには、ユーザーがコンピューター上で何をしているかについてのコンテキストがどれほど重要かということです。 初期の頃はファインチューニングがありましたが、手間がかかりすぎました。次にツール呼び出しが登場し、AIが使用するソフトウェアにアクセスできるようになりましたが、まだ十分に自律的ではなく、マイクロマネジメントが必要でした。次にMCPが登場しましたが、静的すぎると感じられ、非技術ユーザーは構築や使用に苦労しました。その後、スキルが登場しました。最近では、KarpethyのLLM管理ウィキやGarryのGBrainなどが見られます。これらは、エージェントが継続的にMarkdownページの永続的なコレクションを管理するパターンです。新しいソースがエンティティページを更新し、既存の主張を強化または矛盾させ、時間の経過とともに蓄積される合成を改善します。このパターンは気に入っていますが、それでも誰かがソースを選択してインポートすることから始まります。AIが、アプリ内だけでなく、毎日、アプリを横断して、あなたやあなたの会社が何をしているかを知る方法はまだありません。 もちろん、誰もがこれを望んでいるわけではありません。しかし、私は望んでいます！AIに自分が何をしているかを知ってほしいし、二度と記憶を失いたくない。そして、苦痛なコンテキストスイッチなしに、人間と同じソフトウェアを使ってほしいのです。 私は2024年に自分自身のためにScreenpipeを構築し始めました。画面を録画し、このコンテキストをAIに接続するためのCLIです。あるHNユーザーが2024年にこれを投稿し（https://news.ycombinator.com/item?id=41695840）、その議論が製品に影響を与えました。最も役立った批判は、録画の同意、ローカルセキュリティ、CPU使用率、信号対雑音比、そしてエージェントがデータの上にアクションを実行できるかどうかに関するものでした。 単純な実装は、連続的にビデオを録画し、すべてのフレームに対してOCRを実行することから始まりました。しかし、これは重複データを作成し、かなりのリソースを消費し（基本的にコンピューターをスペースヒーターに変えてしまいます！）、オペレーティングシステムがすでに知っている構造を破棄します。Screenpipeは現在、アプリの切り替え、クリック、タイピングの一時停止、スクロール、アイドルフォールバックなどのイベントをリッスンしています。意味のある変更があった場合、スクリーンショットとオペレーティングシステムのアクセシビリティツリーを同じタイムスタンプでペアにします。構造化されたアクセシビリティデータが利用できない場合はOCRが使用されます。また、オーディオを継続的にキャプチャし、話者を識別し、Parakeet/Whisperまたはクラウドモデルを使用してローカルで文字起こしします。 すべてがローカルSQLiteデータベース、mp4ファイル、場合によってはmdファイルにインデックス化されます。ポート3030でAIフレンドリーなAPIがエージェント向けに公開されており、認証とMCPおよびスキルが利用可能です。 Screenpipeがしばらく稼働したら、組み込みチャット、Claude、ChatGPT、Hermes、Openclaw、または任意のAIエージェントを通じて、次のようなことができます。 - 現在のチャットにコンテキストを追加する。「タスクXに関するすべてのコンテキストを収集する」など、目標達成のためにプロンプトを少なくする。 - 情報の取得。「午前8時から午後4時までに取り組んでいたタスクを取得し、完了したことと残っていることのリストを作成する」など。 - パーソナルWiki/セカンドブレインを作成・維持する。「1時間ごとに、Obsidianボルトにプロジェクト、人物、タスク、会議に関するすべてをMarkdownファイルとフォルダとして整理する」など。 - 自動化を作成する。LinkedInで誰かのプロフィールを訪問するたびに、CRMを更新する。 - 自動化の機会を見つける。チームが今週行ったすべてのことを確認し、自動化の機会のリストに変換する。 Screenpipeデータはローカルに保存されますが、自動化の機会を発見するためのエンタープライズプランも提供しており、その場合、データがどこに保存されるかは企業が決定します。機密情報を編集するために独自のAI PIIモデルを構築しました。これはApple MLXまたはWindows DirectMLでローカルに実行されます。低スペックデバイス向けにクラウド機密推論もサポートしていますが、ローカルモデルはCPU使用率1%未満、RAM 400MB未満を想定しています。ユーザーは、ブラウザのシークレットモードに加えて、アプリ、ウィンドウ、URLをフィルタリングするように設定できます。 録画スケジュールやその他のプライバシー機能もサポートしています。 コードベースの大部分はRust、MLX、Onnxで書かれています。Apple APIにはcidreまたは直接C呼び出し、Windows APIにはwindows-rsを使用しています。Linuxも実験的にサポートしています。 デスクトップアプリ（https://screenpipe.com/how-to-install）とCLIがあります。 ``` npx screenpipe record ``` アカウントを作成せずに実行できます。すべてのコードはhttps://github.com/screenpipe/screenpipeでソース公開されています。Screenpipe商業ライセンスを独自に作成するという、忌み嫌われるステップを踏みました。HNはOSIオープンソース（MIT/Apache/その他）を強く好むことは承知していますが、企業が無料で商用利用している間にScreenpipeの開発を継続するための持続可能な方法を見つけることができませんでした。そのため、個人、非営利、教育、研究目的での利用は無料ですが、商用利用にはライセンスが必要です。 ライセンス変更前にリリースされたバージョンは、MITライセンスで引き続き利用可能です。無料ティアと、企業が自動化の機会を見つけるのに役立つエンタープライズプランを含むその他のプランがあります。 フィードバック、Screenpipeで行ったこと、または希望する機能について、ぜひお聞かせください。