HN 日本語サマリー

← 一覧へ戻る
プログラミング

FableがRemarkableをハリー・ポッターのトム・リドルの日記に変える

Fable turned remarkable into Tom Riddle's diary from Harry Potter (github.com)

594 pointsby modinfo369 コメント

要約

このプロジェクトは、電子ペーパータブレット「reMarkable」を、ハリー・ポッターに登場するトム・リドルの日記のように機能させるものです。ユーザーがペンで書いた内容は「日記」に吸収され、AIがそれを解釈して、まるで手書きのように回答をページに書き戻します。画面の光やキーボードUIはなく、純粋なインクと紙の体験を提供します。

全文翻訳

riddle — reMarkable Paper Proのためのトム・リドルの日記

ペンでページに書き込む。しばらくすると、日記はインクを飲み込み — あなたの言葉は紙に消えていく — ページは少し考え、流れるような筆致で返事が書き込まれ、そして消えていく。

画面の光はなく、キーボードもなく、チャットUIもない。ただ紙にインクが現れるだけだ。

これはデモにある日記です。

🪄 初めての方へ

開発者モードでランチャーがインストールされたreMarkable Paper Proが必要です。もし難しそうに聞こえても、そうではありません — remagic が開発者モードへの切り替えを案内し、すべてを1つのコマンドでセットアップします。ここに立ち戻り、riddleをドロップして、トムへの書き込みを開始してください。

すでにxovi + AppLoadをお持ちですか? remagicカタログからインストールするか、プリビルドバンドルを入手するか、ソースからビルドしてください。

remagicでインストール(最も簡単)
remagic install riddle     # チェックサム検証済みのダウンロード → AppLoad
remagic config riddle      # ブラウザで設定フォーム (+ QRコードでスマホ連携)

その後、AppLoadで:Reloadをタップし、次にThe Diaryをタップします。書いて、ペンを休ませてください。(または、タブレット上のStoreアプリからインストールしてください。)

プリビルドバンドルでインストール
  1. 最新リリースからriddle-<version>.zipを入手し、フォルダに解凍します: unzip riddle-*.zip -d riddle
  2. フォルダをタブレットにコピーします: scp -O -r riddle root@10.11.99.1:/home/root/xovi/exthome/appload/
  3. APIキーを追加します: そのフォルダでcp oracle.env.example oracle.envを実行し、RIDDLE_OPENAI_KEY(任意のOpenAI互換キー)を入力します。または、piを使用するためにスキップします。
  4. AppLoadで:Reloadをタップし、次にThe Diaryをタップします。書いて、ペンを休ませてください。

⚠️ これはデバイスを変更します。 プリビルドバンドルとカタログビルドはテイクオーバーモードで実行されます:The Diaryをタップすると、reMarkable UI全体が停止し、画面が占有されます。5本指タップで終了してください — xochitlは自動的に再起動します。root権限で実行され、e-inkエンジンを直接駆動します。reMarkable Paper Pro(ferrari、aarch64、OS 3.26–3.27)でのみテストされています。他のモデルやOSバージョンでは動作しない可能性があり、使用は完全に自己責任です。reMarkable ASとは無関係です。何かをインストールする前にSSHアクセスが機能することを確認してください — 何か問題が発生した場合:ssh root@10.11.99.1 'systemctl start xochitl'。

仕組み

ペン (raw evdev, フル4096段階の筆圧, ハードウェアイベントレート)
  │ ストローク
  ▼
 riddle ── アイドル2.8秒 → ページ確定 → PNG ──► oracle (常駐LLMプロセス,
  │                                          文ごとにストリーミング返信)
  ▼ ストローク (Dancing Script → 単一ピクセルペンパスに骨格化)
display backend
  ├── qtfb        — ウィンドウ表示、xochitl内 (ソースビルド版)
  └── quill       — フルテイクオーバー: xochitl停止、ベンダーe-inkエンジン
                    直接駆動で瞬時インク (そこでのレイテンシは最小;
                    プリビルドバンドルが実行するもの)
  • このリポジトリ — アプリケーション (Rust)。ペン入力、インク表面、手書き合成 (ラスタライズ → Zhang-Suen細線化 → ストローク追跡 → アニメーション再生)、oracleプロセス管理、および両方のディスプレイバックエンド。
  • Quill — 兄弟のテイクオーバーディスプレイホスト (C/C++)。ベンダーのlibqsgepaper.so波形エンジンをクリーンルーム、MITライセンスでアダプター化したもので、riddleが--features takeoverでリンクする小さなC ABI (quill_init / quill_buffer / quill_swap)として公開されています。デモの小さなファミリー(scribble、ペンからガラスへのレイテンシテスト、マップ、画像、GIFレンダラー)も含まれています。

ジェスチャー

操作結果
書いて、ペンを休ませる日記がインクを飲み込み、トムが返信する
"〜について書いたことを表示して…" と書く記憶されたページが紙面を上昇する:日付、あなた自身の筆跡がストロークごとに書き直され、トムの古い返事 — すべて薄いインクで。ペンのどこかに触れると、今日のページに戻る
"何を覚えていますか?" と書くトムは記憶された瞬間の手書きリストで答える
マーカーをひっくり返す消去
大きな?を描く内蔵ガイドを呼び出す
5本の指を同時にタップする日記を終了する (テイクオーバーモード)
電源ボタンページが"日記はスリープします"に変わり、タブレットはサスペンドします。再度押すと、いた場所から正確に復帰します (テイクオーバーモード)

ウィンドウ表示 (qtfb) 版では、xochitlがタッチスクリーンと電源ボタンを保持します:代わりにAppLoadから日記を閉じます。

日記は記憶する

完了した各ページは保持されます — あなたの実際のペンのストローク、その書き起こし、そしてトムの返事 — そのため、日記は3つのことができます:

  • 会話を追う。 最近のページは各リクエストと一緒に送信されるため、トムは昨日あなたが書いたことを覚えています(両方のバックエンド、同じ動作)。
  • 過去を呼び出す。 インクで尋ねてください — "庭についてのページを見せて"、"火曜日に書いたものを見つけて" — そして日記は、あなた自身の筆跡で、日付入りで、薄いインクで、そのページを目の前で書き直します。ボタン、リスト、クロムはありません:ペンが唯一のインターフェースです。
  • 記憶から答える。 "何を覚えていますか?" は手書きのインデックスを取得します。

記憶はタブレット上にのみ、/home/root/riddle-data/memoriesの下のプレーンファイルとして保存されます(フォルダを削除すると日記は忘れます;最後の約400ページが保持されます)。RIDDLE_MEMORY=offをoracle.envに設定すると、すべて無効になります — ストレージなし、リクエストに追加情報は送信されません。RIDDLE_TZ_OFFSET(UTCからの時間)を設定して、記憶の日付を正しく表示します。

オラクル(日記の「精霊」)

日記の返信は、確定されたページ(インラインPNGとして送信)からあなたの手書きを読み取るビジョンLLMから提供されます。起動時に選択される2つのバックエンドがあります — いずれかを選択してください:

オプションA — 任意のOpenAI互換API(最も簡単、セットアップ不要)

APIキーを設定すると、riddleはOpenAI互換の/chat/completionsエンドポイントに直接話しかけます。OpenAI、OpenRouter、Groq、ローカルサーバー — フォーマットを話せるものであれば何でも動作します。タブレット上の追加ソフトウェアは不要です。

export RIDDLE_OPENAI_KEY="sk-..."                       # 必須
export RIDDLE_OPENAI_BASE="https://api.openai.com/v1"   # オプション (デフォルト)
export RIDDLE_OPENAI_MODEL="gpt-4o-mini"                # オプション; 画像を見る必要がある
export RIDDLE_OPENAI_REASONING="low"                    # 思考モデルのみ
export RIDDLE_OPENAI_MAX_TOKENS="2000"                  # 暴走防止

画像対応モデルなら何でも動作します。タブレット上では、バイナリの隣のoracle.envにあります(oracle.env.exampleを参照するか、remagic config riddleを実行してください — OpenAI、OpenRouter、Geminiのワンタッププリセットがあります)。OpenRouterの例:

export RIDDLE_OPENAI_KEY="$OPENROUTER_API_KEY"
export RIDDLE_OPENAI_BASE="https://openrouter.ai/api/v1"
export RIDDLE_OPENAI_MODEL="openai/gpt-4o-mini"

思考モデル(Gemini 3.x、oシリーズ)には2つの注意点があります:最初のインクを速くするためにRIDDLE_OPENAI_REASONING=lowを設定してください(一部のプロバイダーは思考モデルでない場合にこのフィールドを拒否します — その場合は未設定のままにしてください)、そしてRIDDLE_OPENAI_MAX_TOKENSを十分に確保してください — 非表示の思考トークンもカウントされ、タイトなキャップは表示される応答を starve させます。

日記を起動する前にセットアップを確認してください:

riddle --oracle-test path/to/handwriting.png   # ストリーミングされた応答をプリントする

オンデバイスでの最初のインクまでの測定値は約0.9〜1.1秒です。HTTPSはriddleに組み込まれています(ピュアRust、追加ライブラリなし)。

オプションB — pi(パワフルなパス)

すでにpiを実行している場合、riddleは常駐するpi --mode rpcプロセスをウォームアップして使用します(Node + サブスクリプション認証が一度ロードされるため、各ターンはモデルレイテンシのみを支払います)。RIDDLE_OPENAI_KEYが設定されていない場合に自動的に使用されます。デフォルト(oracle.envで上書き可能):/home/root/node/binのpi(RIDDLE_PI_BIN_DIR)、プロバイダーopenai-codex(RIDDLE_PI_PROVIDER)、モデルgpt-5.4-mini(RIDDLE_PI_MODEL)。

どちらも文ごとに応答をストリーミングするため、 quill はモデルが完了する数秒前に書き込みを開始します。ペルソナプロンプトはsrc/oracle.rsにあります。

トムの記憶についての注意:HTTPバックエンドでは、各ページは新しい会話です — トムはあなたの前のページを覚えていません。piでは、ウォームセッションは日記が開かれて以来すべてを記憶しています(そしてpiはそのセッションをタブレット上の独自のデータディレクトリに永続化します)。

オラクルが応答できない場合 — キーが見つからない、キーが拒否された、Wi-Fiがない — トムは応答の代わりにその理由をページに書き込み、完全なエラーはジャーナル(journalctl -u riddle-takeover)に記録されます。

ビルド

x86_64からクロスコンパイルされます。2つのフレーバーがあります:

ウィンドウ表示 (AppLoad/qtfb) — ソースからビルド

上記のバンドルはテイクオーバーフレーバーです;ウィンドウ表示フレーバーはビルドする必要があります。デバイスにxovi + AppLoadが必要です。

git clone https://github.com/MaximeRivest/riddle
cd riddle
cargo build --release --target aarch64-unknown-linux-gnu

バイナリを/home/root/xovi/exthome/appload/riddle/にインストールし、external.manifest.jsonを設定します。これは"qtfb": trueを設定し、"application"をバイナリ自体に向けます(このリポジトリのマニフェストはテイクオーバー用です — AppLoadはqtfbがtrueの場合のみ、QTFB_KEYを介してriddleにウィンドウを渡します)。

テイクオーバー (瞬時インク) — デモのもの

reMarkable SDKツールチェーン(~/rm-sdk-3.26)が必要です。なぜなら、リンクされたベンダーQtライブラリはそのglibcを必要とし、さらに あなたのデバイスから libqsgepaper.soをプルする必要があるからです(これはプロプライエタリであり、ここでは配布されません):

# quillとriddleのリポジトリを隣り合わせに配置してください。
cd quill && ./build.sh              # デバイスからlibqsgepaper.soを
                                    # SSH経由でプルし、libquill.soとデモをビルドします
cd ../riddle && ./build-takeover.sh
./scripts/make-bundle.sh            # dist/riddle/にAppLoadバンドルをステージングします

ステージングされたdist/riddle/は自己完結型です(バイナリ、libquill.so、起動スクリプト、マニフェスト) — それを/home/root/xovi/exthome/appload/riddle/にコピーするか、remagic publish dist/riddleでカタログに公開します。AppLoad(appload-launch.sh)経由で起動すると、一時的なsystemdユニットにデタッチされ、xochitlを停止し、日記を実行し、終了時に常にxochitlを復元します — 5本指タップまたはSIGTERM(systemctl stop riddle-takeover)で終了します。電源ボタンは日記を終了せずにスリープさせ、復帰させます。ユニットの停止フックは、riddleが不正に終了した場合でもxochitlを再起動します。何か問題が発生した場合:ssh root@10.11.99.1 'systemctl start xochitl'。

デバイスから離れるもの

  • 確定された各ページは小さなグレースケールPNGにラスタライズされ、あなたが設定したオラクルに送信されます — それ以外は何もデバイスから離れず、テレメトリもありません。
  • PNG(/tmp/riddle-page.png)は、オラクルが読み取るとすぐに削除されます;デバッグのために最後のページを残しておきたい場合は、RIDDLE_KEEP_PAGE=1を設定してください。
  • riddleは応答をディスクに書き込むことはありません。ただし、piバックエンドは独自のセッション履歴をデータディレクトリに保持します — HTTPバックエンドは何も保持しません。
  • トムは設計上キャラクターを維持します:ペルソナプロンプト(src/oracle.rsを参照)は、モデルにそれが日記であり、それ以上のものではないと伝えます。

フォント

返信の手書きはDancing Script(SIL OFL 1.1 — fonts/OFL.txtを参照)です。

ライセンス

このリポジトリ内のすべてはMITライセンスです(LICENSEを参照)。それがインターセプトするベンダーライブラリ(libqsgepaper.so、Qt)は含まれておらず、ご自身のデバイス/SDKから取得する必要があります。