HN 日本語サマリー

← 一覧へ戻る
プログラミング

Waylandでの複数のマウスカーソル

Multiple Mouse Cursors in Wayland (blinry.org)

132 pointsby marvinborner91 コメント

要約

この記事は、LinuxおよびWayland環境におけるマルチシート(複数のユーザーが単一のデスクトップ環境を共有し、それぞれが独立した入力デバイスを持つこと)の現在のサポート状況を調査したものです。筆者は、ペアプログラミングやゲームなど、複数のマウスカーソルが協調して動作する可能性を探求し、Waylandプロトコル、コンポジタ、GUIライブラリ、アプリケーションにおけるサポートの現状と課題を詳細に解説しています。

全文翻訳

マルチプレイヤーWaylandの状態

1つのコンピュータに複数のマウスを接続し、1つのデスクトップ環境内に複数のマウスカーソルを表示するというアイデアに、私はずっと魅了されてきました。

今回は、LinuxとWaylandでそれが現在どの程度サポートされているかを3週間かけて調査しました。その結果は驚くほど素晴らしいものでした!

この記事と同時に、私は「マルチシート」サポートを追加または改善する、いくつかの小さなツールやパッチ済みのライブラリを公開します。しかし、このパズルの多くのピースはまだ不完全か、欠けています。ブログ記事全体を通して、私はいくつかの「オープンプロジェクトのアイデア」を📝絵文字で示しました。この記事を公開することで、この分野を一緒に探求し、拡張することに興味のある人々を見つけたいと思っています。もしそれがあなたなら、ぜひ連絡してください!

[動画: 筆者のデフォルトのマウスカーソルが亀である様子]

(そう、私のデフォルトのマウスカーソルは亀です。)

なぜこれが必要なのか?

これはコンピュータのややニッチな使い方であることは認めます。しかし、聞いてください:

  • ペアプログラミングに便利です:一人がドキュメントを閲覧している間に、もう一人が別のウィンドウでバグを修正できます!
  • ゲームに楽しいです!複数のコントローラーを使うのは普通のことですが、なぜ複数のマウスではダメなのでしょうか?
  • このスタイルのマルチプレイヤーコンピューティングは、複雑な同期アルゴリズムを必要とせずに、アプリケーション内でのコラボレーションを非常に自然に促進します。

まとめ

様々なソフトウェアにおける「マルチシート」の現在のサポート状況の概要を以下に示します:

Core wayland protocol5 ★★★★★深く統合されています!
Weston3 ★★★☆☆シートの動的な再設定が容易ではありません。
sway4 ★★★★☆デバイスをシートから分離できません (#3491)。
niri1 ★☆☆☆☆まだサポートされていません (#3159)。
River5 ★★★★★完全サポート、ext-transient-seat-v1 を #1526 以降実装しています。
GTK4 ★★★★☆アプリ実行中に新しいシートが登録されません (#8327)。
SDL3 ★★★☆☆絶対マウスモードでシート情報がありません (#16027)、シート情報はデバイス名経由のみです。
wayvnc5 ★★★★★ext-transient-seat-v1 をサポートしています。

目次

用語

この記事では「シート」という言葉を頻繁に使います。これは、同じ人物によって使用されるようにグループ化された入力デバイスを指します。例えば、1台のコンピュータの前に2人の人がいて、それぞれが自分自身のマウスとキーボードを持っているとします。このセットアップでは、「シート」が2つあり、各シートにはマウスとキーボードが1つずつあります:

  • seat0
    • ラップトップのタッチパッド
    • ラップトップのキーボード
  • seat1
    • 外付けマウス
    • 外付けキーボード

ただし注意が必要です – この用語は2つの異なる意味で使われます:

論理シート

私が興味を持っているタイプのシートは、「論理シート」と呼ばれることがあります。これは、複数の人が1台のコンピュータの前にいて、それぞれが自分自身のマウス/キーボードを持っているが、同じデスクトップ環境を操作する場合です。つまり、デスクトップに複数のマウスカーソルが表示されるのです!人々はウィンドウを互いに「引き渡」したり、ホワイトボードアプリケーションに一緒に描画したり、同じソフトウェア内で直接協力したりできます。(これらすべてが現在可能であるという意味ではありませんが、概念的には!)

この概念をより良く表す用語があると思います – この投稿のタイトルでは、「マルチプレイヤー」を選び、主に協力する人々に関するものであることを明確にしました。また、「マルチカーソル」や「マルチポインター」(キーボードコンポーネントが欠けている)という言葉も目にしました。

物理シート

「シート」という言葉は、別の意味を持つこともあります。これは「物理シート」と呼ばれます:これは、全員が自分自身の独立したセットアップ(画面、キーボード、マウス)を持っている複数の人がいるセットアップを指します。彼らは実際には互いにやり取りしませんが、入力および出力デバイスは単一のコンピュータに接続されています。これは、Wikipediaのマルチシート構成の記事で言及されているものです。

しかし、これはこの記事の話題ではありません。Linuxでの現在のサポート状況についてもっと知っているなら、ぜひあなた自身のブログ記事を書いてみてください!

概要

私はLinux、特にWayland(最新のグラフィカルディスプレイシステム)での状況のみを調査しました。X11(X Window System)には、Multi-Pointer X(MPX)と呼ばれる独自のマルチシート拡張機能があり、数年前に私も楽しんで使いました。

しかし、現時点では、日常のコンピュータ使用でWaylandコンポジタに移行しました。そして、Waylandには複数のシートに対する素晴らしい組み込みサポートがあることがわかりました!

マルチユーザーシステムのセットアップ方法、関連するWaylandプロトコル、そして最終的に現在のアプリケーションサポートの状況について説明します。

難しいのは、マルチシートサポートがすべてのレイヤーに存在する必要があることです:

  1. Waylandコンポジタ(通常、ウィンドウマネージャを含みます)。
  2. wayland プロトコル。
  3. グラフィカルアプリケーションが使用するGUIライブラリ。
  4. グラフィカルプログラム自体。

オプションとして、人々があなたとリモートで協力できるようにしたい場合は、接続を許可するために使用するプログラム(VNCサーバーなど)にもマルチシートサポートが必要です。後でそのセットアップ方法を示します!

したがって、これらのすべてのレイヤーを見ていきます。まず、wayland プロトコル自体から始めます。

Waylandプロトコル

この深掘りは、Waylandが実際には何であるかを初めて深く調べたときでした!その核心は、プロトコルの集まりです。コアのwaylandプロトコル(グラフィカルプログラムとWaylandコンポジタが互いに通信するために使用するもの)が、深く統合されたマルチシートサポートを持っていることを発見して、私は本当に嬉しかったです:

すべての入力イベントは、wl_pointerまたはwl_keyboardに接続されており、それらはさらにwl_seatに接続されています。その後、シートに関するこの情報を使用して、入力イベントを「グループ化」できます!シートが出現/消滅したときにトリガーされるイベントもあります。

Waylandコンポジタ

しかし、コンポジタ(ウィンドウを管理し、その内容を描画するプログラム)は、これらの概念をクライアントアプリケーションと通信するためにどの程度うまく利用しているのでしょうか?いくつか試してみました:

Weston

Westonは、Waylandコンポジタのリファレンス実装であり、freedesktop.orgのWaylandチームによってメンテナンスされています。

これは、私が実際のマルチシートサポートを持っていると最初に気づいたコンポジタでした!複数のマウスカーソルを持つことができ、それぞれが互いに独立してウィンドウの周りを移動できます!

Westonは、シートごとのウィンドウフォーカスも実装しています。これは、シートがマウスとキーボードを持っている場合、マウスがウィンドウにフォーカスを当て、キーボードがそこにキーストロークを送信することを意味します – そして、異なるシートが同時に異なるウィンドウにフォーカスを当てることができます。

これを使って遊んでいて見つけた、いくつかの面白いエッジケースがあります:

  • 一度カーソルがウィンドウのリサイズ/移動を開始すると、それらの操作は他のカーソルではできなくなります。
  • 一つのカーソルがメニューを開き、もう一つのカーソルがそれを使用できます。これはかなりうまく機能します!
  • 一つのカーソルでウィンドウを閉じている間に、もう一つのカーソルがそれをドラッグすると、二つ目のカーソルが消えてしまいます!:D

これらは解決するのが非常に難しく(そして楽しい)UIの質問です!多くの場合、正しい動作が何であるかは私には明確ではありません!

[動画: Westonでのマルチカーソル操作のデモ]

Westonで複数のシートを設定する方法

Westonでシートを設定するのは非常に複雑です。後続のコンポジタはそれをずっと簡単にします!

入力デバイスを複数のシートに分離するには、udevルールを使用してENV{WL_SEAT}プロパティを設定する必要があります。マウスとキーボードに同じシート名を割り当てて、それらを連携させます!デフォルトのシートは「default」です。

詳細な手順:

  1. sudo libinput list-devices を使用して、入力デバイスのデバイスファイル(「/dev/input/event12」など)を見つけます。

  2. udevadm info -a /dev/input/event12 を使用して、キャッチーな ATTRS{name} を持つ親デバイスを見つけます。

  3. /run/udev/rules.d/00-multiseat.rules のようなファイルを作成します:

     ATTRS{name}=="Name of your mouse" ENV{WL_SEAT}="second"
    

    (テストでは==が2つですが、割り当てでは単一の=文字を使用します。)

  4. sudo udevadm trigger を実行して、新しいルールを適用します。

これで sudo libinput list-devices を再度確認してください。デバイスの「Seat」は「seat0, second」と表示されるはずです!

sway

sway はi3のWayland再実装です。複数のシートのサポートは、バージョン0.1(2017年リリース)のwlrootsに追加され、その後sway 1.0に追加されました。

swayも優れたマルチシートサポートを備えており、シートごとのウィンドウフォーカスも含まれています!

[動画: swayでのマルチカーソル操作のデモ]

swayで複数のシートを設定する方法

swaymsg -t get_inputs ですべての入力をリスト表示し、swaymsg -t get_seats ですべてのシートをリスト表示できます。

次に、swaymsg seat <name> assign <input_identifier> を使用して、入力デバイスを特定のシートに割り当てます。シートが存在しない場合は作成されます。

現在のところ、このシート管理には驚くべき特性があります:デバイスを1つのシートに割り当て、次に別のシートに割り当てると、シートの割り当てを置き換えるのではなく、追加されます。つまり、1つのマウスで2つのマウスカーソルが制御されることになります!

📝 その解決策を議論するオープンな課題があり、私は自分用にこの問題を修正するパッチを作成しました。そのパッチを実行している場合、私のmulti-seat-configuratorツールを使用して、TUIで入力デバイスをシートに素早く割り当てることができます!

まだ他のwlrootsコンポジタは試していません。もし経験があれば教えてください!

River

Riverは、コンポジタ部分を提供し、独自のウィンドウマネージャを作成できる、非モノリシックなWaylandコンポジタです!これは非常にクールなアイデアだと思います。

マルチシート機能は非常に優れており、すべてに組み込まれています。Riverは独自のriver-input-management-v1プロトコルも備えており、新しい入力デバイスが利用可能になったときに通知したり、シートを作成/破棄したり、デバイスをシートに割り当てたりできます。私は小さなRustツール(river-multi-seat-configurator)を作成し、このプロトコルを使用してオンデマンドでデバイスをシートに割り当てています。

Riverのtinyrwmという例のウィンドウマネージャしか試していませんが、シートごとのウィンドウフォーカスもいくらかサポートしています!

📝 River用に、ファーストクラスのマルチシートサポートを備えた新しいウィンドウマネージャを作成するのは楽しいプロジェクトになるでしょう!ウィンドウフォーカスは複数の色で強調表示されるかもしれません。ウィンドウとのやり取りのエッジケースは合理的に処理されるかもしれません。そして、シートごとのクリップボードも可能かもしれません!

[動画: Riverでのマルチカーソル操作のデモ]

更新 2026-09-07:最初にこの記事を書いたとき、Riverはext-transient-seat-v1プロトコルのサポートが欠けており、私はそれを追跡するために課題を開きました。それ以来、そのプロトコルはSivecanoによって実装され、今日マージされました!🎉

niri

niriは、最近私が選んでいるWaylandコンポジタです。<3 昨年、マルチシートサポートがリクエストされましたが、アプリケーションサポートの欠如が追加しない理由として挙げられました。

それは素晴らしいことだと思います。数ヶ月前、私はいくつかのマルチシートサポートをハックしました。私のフォークのmulti-seatブランチを見てください。

📝 現在、私の「ハックされたバージョン」は2つのシートしかサポートしておらず、コードにはハードコードされたデバイス名がいくつかあります。適切な「シートマネージャ」を追加することが次のステップでしょう。

[動画: niriでのマルチカーソル操作のデモ]

グラフィックライブラリ

GTK

驚いたことに、GUIツールキットのGTKは、概念的にはマルチシートの素晴らしいサポートを持っているようです!イベントにはget_seatメソッドがあり、イベントがどのSeatに属するかを直接教えてくれます。シートの名前を取得する方法はないようですが、それらを比較して異なるかどうかを判断できるため、十分だと思われます。

GTK4でしかテストしていませんが、GTK3でも同様の型とメソッドが存在するようです。

ほとんどのGTKウィジェットはマルチシート入力をあまり尊重せず、すべての入力が同じデバイスから来るかのように動作します。しかし、私はRustで実験的なMultiSeatTextウィジェットを書きました。詳細は以下をご覧ください!

📝 気づいたバグは、GTKはシートが削除されたときに通知してくれますが、シートが追加されたことに気づかないようです。そのため、シート内のデバイスが何らかの操作を行うには、プログラムが起動する前に既にアタッチされている必要があります。この問題をここに報告しました。

SDL

Simple DirectMedia Layerは、v3.3.4(2025年リリース)以降、いくつかのマルチシート機能をサポートしています。

これを試すときは、SDL_VIDEODRIVER環境変数をwaylandに設定することを忘れないでください。私のテストでは、SDLはそうしないとXWaylandにフォールバックするようです。

SDL_MouseButtonEventやSDL_KeyboardEventのようなイベントにはwhichフィールドがあり、イベントが異なるシートから来た場合は異なります。SDL_MouseDeviceEventやSDL_KeyboardDeviceEventからデバイスの抜き差しを検出することもでき、これらも同じwhichフィールドを持ちます。

デバイスIDは、デバイスを抜き差ししても再利用されない、任意のユニークIDです(SDL_MouseID)。デバイスがどのシートに属するかを知るには、SDL_GetMouseNameForIDおよびSDL_GetKeyboardNameForID関数を使用できます。これらは、「Virtual core pointer (default)」や「Virtual core keyboard (second)」のような名前を報告します。括弧の部分がシート名です。

📝 注意点があります:マウスイベントのwhichフィールドは、マウスが(デフォルトの)絶対モードにある場合、0に強制されます。実際のデバイスIDを持つwhichフィールドを取得するには、SDL_SetWindowRelativeMouseModeをアクティブにする必要があります。なぜそうなるのかを調べるためにこの課題を開いたところ、「一貫性のために、他のプラットフォームの動作に合わせるため」という回答でした。

絶対マウスモードでもwhichフィールドを取得できるようにするパッチは簡単です:src/events/SDL_mouse.cのmouseID = SDL_GLOBAL_MOUSE_ID;と書かれている行をすべてコメントアウトするだけです。以下は、これを自分でパッチ適用したバージョンを作成するために使用できるNixコードのスニペットです(これが分かりにくい場合は、メールで連絡してください。手伝います/拡張します!):

pkgs.sdl3.overrideAttrs (old: {
  postPatch = ''
    substituteInPlace src/events/SDL_mouse.c --replace-fail "mouseID = SDL_GLOBAL_MOUSE_ID;" "//mouseID = SDL_GLOBAL_MOUSE_ID;"
  '';
});
LÖVE

私はLÖVE 2Dゲームエンジンを高く評価しており、それを使ってマルチシートゲームを作りたいと思っていました。LÖVEはSDLに基づいているため、私はLÖVEのパッチ適用バージョンを作成し、whichフィールドがLuaのイベントコールバックに転送されるようにしました!

私のリポジトリには、SDLのパッチもバンドルしたNix flakeが含まれています。Nixをインストールし、nix run github:blinry/love/multi-seatを実行して試すことができます(SDLとLÖVEの両方をコンパイルする必要があります)。

この投稿の後半には、このエンジンで作られたゲームの例があります!

Qtなど?

📝 まだ他のGUIフレームワークは調査していません!もしそれらについて何か知っていれば、教えてください!

アプリケーション

現時点で、複数のシートを利用するエンドユーザーアプリケーションは何も認識していません。X11には、画面注釈ツールであるGromit-MPXがありましたが、ネイティブWaylandをサポートしていないようです。

そこで、私は自分でいくつかのプロトタイプを作成しました!マルチシートアプリケーションで私を魅了するのは、CRDTやOperational Transformのようなアルゴリズムを必要とせずに、コラボレーションを非常に自然に促進する方法です。

マルチシートGTKテキストウィジェット

https://codeberg.org/blinry/gtk-multi-seat-text-widget

これは、RustのGTKバインディングで書かれた、マルチシート対応のテキストウィジェットのラフなプロトタイプです。クリックで複数のカーソルを操作でき、そのシートからのテキスト入力がそのカーソル位置に挿入されます。矢印キーで移動することもできます。

[動画: マルチシートGTKテキストウィジェットのデモ]

📝 このウィジェットには多くの機能が欠けています:適切なUnicodeサポート、テキスト選択、または下矢印キーを押せることなどです。:P

LÖVE物理プレイグラウンド

https://codeberg.org/blinry/love-multi-seat-physics

これは、パッチ適用済みのSDLとパッチ適用済みのLÖVEゲームエンジンを使用して作成しました。すべてのマウスカーソルがブロックを掴んで移動させることができます。複数のカーソルが同じブロックを掴んで一緒に運ぶこともできます。とても楽しいです!

[動画: LÖVE物理プレイグラウンドのデモ]

ターミナルエミュレータ

私のテストでは、Kittyターミナルエミュレータは最初のシートからの入力にのみ反応し、他のすべてのシートからの入力を無視します。

一方、Alacrittyはすべてのシートからの入力を受け付けます。

📝 コラボレーションセッションのために、Kittyがどのシートからの入力も受け付けるように修正されると素晴らしいでしょう。それに関するオープンな課題がここにあります。その変更は、glfw/wl_init.cファイルに必要になるようです。

ブラウザ

Firefoxでは、GTKアプリケーションで経験したのと同じ問題に気づきました:アプリケーションが起動したときに存在していたシートからのイベントにしか反応しません。しかし、シートを設定した後にFirefoxを起動すると、かなりうまく一緒にウェブを閲覧できます!選択などの機能は、ウェブベースのホワイトボードと同様に、すべてのイベントが1つの入力デバイスから来ているかのように動作します。

[画像: ウェブベースのホワイトボードからのスクリーンショット。誰かが「hello」と書き始めましたが、残っているのは「hell」だけです。]

Chromiumは、追加のシートからのイベントに全く反応しないようです。

📝 優れたマルチシートサポートを備えたブラウザはどのようになるでしょうか?人々が異なる方向にナビゲートしたいときに、すぐに分割画面になるでしょうか?:D 簡単なブラウザをフォークしてプロトタイプを作成することは可能でしょうか?

VNCセットアップ

1台のコンピュータに複数のマウス/キーボードを接続するのはクールですが、時には、一緒に協力したい相手が別の場所にいることがあります。そのため、リモートでコンピュータに参加できるようにする方法があると便利です。

私はその方法を見つけましたので、ここにセットアップを共有したいと思います。

wayvnc

wayvncはWayland用のVNCサーバーです。v0.8.0(2024年リリース)以降、非常に便利な機能があります:各接続ごとに新しいシートを作成できるため、参加者は自分自身の仮想マウスとキーボードデバイスを取得できます。この機能は、-t / --transient-seat コマンドラインフラグを使用してアクティブにできます。これは、swayとRiverによって実装されているext-transient-seat-v1プロトコルを使用しています。

📝 このプロトコルがRiverでもサポートされることを願っています!私はそれについて課題を開きました。Isaacはそれを追加するのは範囲内だと考えていました!

また、-r / --render-cursor フラグをお勧めします。これにより、すべてのアウトプットストリームにマウスカーソルがオーバーレイとしてレンダリングされます。このフラグを指定しない場合、参加者は(最大で)自分自身のマウスカーソルしか見えません。

最後に、-g / --gpu フラグはH.264エンコーディングを有効にし、おそらく最高のパフォーマンスを提供するはずです。

ブラウザベースVNCクライアント

人々がVNCサーバーに素早く参加できるようにするために、私はnovncを使用しています。これらのツールを一緒に使用する方法の概要を以下に示します:

  1. ~/.config/wayvnc/config に設定ファイルを作成します。内容は次のとおりです:

     enable_auth=true
     username=<username>
     password=<password>
     relax_encryption=true
    

    relax_encryption 設定は、認証をユーザー名とパスワードで強制するRFB_SECURITY_TYPE_APPLE_DH(1, 2)を有効にするようです。これは、トランスポート暗号化を持たないようですが、インターネットを通過するトラフィックは後続のステップでnovncによって処理されるため、問題ないようです。デフォルトのセキュリティタイプでnovncに接続できませんでした。

  2. wayvnc --transient-seat --render-cursor --gpu --verbose を実行してVNCサーバーを起動します。

  3. openssl req -new -x509 -days 3650 -nodes -out self.pem -keyout self.pem -nodes -subj "/C=XX/ST=StateName/L=CityName/O=CompanyName/OU=CompanySectionName/CN=CommonNameOrHostname" を実行して自己署名証明書を作成します。

  4. novnc --listen 8080 --ssl-only --cert "path/to/self.pem" --file-only を実行して、通常のVNCからWebSocketsへのフォワーダーとWeb VNCクライアントの両方を起動します。

  5. ホームルーターを設定して、ポート8080をローカルマシンに転送します。

  6. 人々は https://<your-home-ip-address>:8080/vnc.html にアクセスしてWebフロントエンドを使用し、上記のユーザー名とパスワードを使用して接続できるようになります。「自己署名証明書」の警告が表示されます。

(適切な証明書を使用し、DynDNSサービスを使用してドメインをマシンに向けることもできますが、それはこのブログ記事の範囲外です。)

📝 これは明らかに素晴らしいソリューションではなく、VNC全般は古い技術のように感じられます。しかし、これは現時点で私にとって機能するものです。しかし、Sunshineのようなよりモダンなストリーミングアプローチとこれを統合することは、価値があるかもしれません。

終わりに

全体として、swayとRiverが最初から非常に優れたマルチシートサポートを備えていること、そしてwayvncの「トランジェントシート」機能を使用してリモートの人々をそのセットアップに招待できることに、私はかなり満足しています!並行して異なるウィンドウを使用するだけでも、非常に楽しいです!

この分野で「最も簡単に手に入る成果」は、複数のシートを活用するアプリケーションを書くことだと思います。例えば、LÖVEでマルチシートゲームを書くのはとても楽しかったです!

このページにある📝オープンな問題のいずれかがあなたに響くなら、それに取り組んでくれると非常に興奮します。ハッピーハッキングを!

最後に:私はRecurse Centerというプログラミングリトリートに参加している間にこのプロジェクトに取り組みました。そこでは、創造的で協力的な仲間たちに囲まれながら、このような調査に深く没頭することができました。この記事を楽しんだなら、そこも気に入る可能性が高いです。応募を検討してみてください!

Raf、Sophia、Reed、Jahan、Emanuel、Jared、Winston、Dave、pikoに、このプロジェクトで様々な形で協力してくれたことに感謝します!彼らなしでは存在しなかったでしょう。


Recurse Center(親切で好奇心旺盛なプログラミングコミュニティ!)も気に入るかもしれません。