HN 日本語サマリー

← 一覧へ戻る
プログラミング

手書き認識の未来へ

Back to the Future of Handwriting Recognition (jackschaedler.github.io)

32 pointsby at1as8 コメント

要約

この記事は、1960年代にRAND社が開発したGRAIL(Graphical Input Language)システムとその手書き文字認識アルゴリズムを再訪するものです。当時のGRAILは、マウスやキーボードを使わず、ペン型の入力装置のみで自然な対話を実現しており、現代のインターフェースと比較しても洗練されていると評されています。本稿では、Gabriel Gronerが開発したリアルタイム手書き認識プログラムの仕組みを、インタラクティブなデモを交えながら解説します。

全文翻訳

50年前、RANDコーポレーションはGraphical Input Language(GRAIL)ソフトウェアシステムを開発しました。1966年のRANDのメモランダムでは、GRAILの目的は「ユーザーが問題に直接、自然に、そして容易に対処できる方法を調査すること」と述べられていました。ユーザーはペン状の機器とタブレットを使用してGRAILと通信していました。GRAILにはマウスもキーボードもボタンもなく、現代のコンピューティングで一般的に連想されるような周辺機器も一切ありませんでした。ユーザーが画面上にボックスを必要とするとき、彼らはボックスを描画しました。ユーザーが画面上にテキストを必要とするとき、彼らはテキストを手書きしました。今日、このシステムのデモを見ると、それは依然としてエレガントで魔法のように感じられます。Tony Hoareの言葉を借りれば、GRAILは多くの点でその後のほとんどのシステムよりも優れています。

「この認識スキームは、ユーザーが自然にコンピューターと通信できるようにするという主要な目的を達成しています。ユーザーは操作上のメカニズムに気を取られることなく、むしろ[自分の]問題に集中できます。」

  • Gabriel Groner (1966)

上の画像は、1960年代のある時点で、Tom Ellisが画面上の画像と対話するためにRANDタブレットを使用している様子を描いています。EllisはRANDタブレットとGRAILソフトウェアシステムの発明者およびプロジェクトリーダーの一人でした。この画像や他の多くの画像は、Computer History Museumでオンラインで見つけることができます。

このアクティブなエッセイでは、Gabriel Groner氏のGRAILプロジェクトへの貢献を再訪します。Groner氏は、手書きの文字、数字、句読点、幾何学的図形を認識する、驚くほど巧妙なプログラムを開発しました。このプログラムは、IBM System/360コンピューターでリアルタイムに実行できるほど効率的であり、初めて使用するユーザーが描いた記号の90パーセントを正しく識別できるほど堅牢でした。Groner氏は、その方法を1966年のRANDのメモランダム手書き文字のリアルタイム認識に記録しました。このエッセイを読み終える頃には、Groner氏の手書き認識スキームがどのように機能するかを正確に理解できるようになるはずです。より正確には、Groner氏の方法がどのように機能するかを見て、その様々な操作と段階についての直感的な理解を深めることができるでしょう。このエッセイは、Groner氏の元のメモランダムの動的な伴侶として読むのが最善です。Groner氏がアルゴリズムやヒューリスティックについて説明するとき、このエッセイはあなたが探求できるインタラクティブな実装を提供します。Groner氏のメモから逐語的に取られたテキストは、代替フォントで表示されます。元のメモランダムに記載されている認識スキームは、幅広い種類の記号、形状、数字、文字、さらには句読点を認識することができました。このエッセイでは、大文字の数字と文字のみを識別できるGroner氏の認識装置の簡単なバージョンを紹介します。このエッセイのすべてのソースコードはGithubで公開されています。バグ、タイポ、提案は、issue trackerに送信してください。この件について質問やコメントがあれば、Twitterで私に連絡してください。

実際、彼はIBM 360アセンブリで書いたGroner氏のプログラム全体のソースコードを読むことができます。

「現在のユーザーとコンピューターのインターフェースメカニズムは、最適とは程遠い通信を提供しており、コンピューターまたはユーザーの能力のどちらかが十分に活用される可能性を著しく低下させています...水平な表面、紙のパッドのようなものの上で、ペン状の自由な機器に対する人間の既存の器用さを探求することが有益であると感じられました。」

  • M.R Davis and T.O. Ellis (1964)

人間はRANDタブレットを使用してGRAILと対話していました。システムへのすべての入力は、ペン状の機器を使用してRANDタブレットの表面に描画されました。10.24インチ×10.24インチのタブレットは、1インチあたり100本の線の解像度を持ち、100万以上の離散的なペンの位置を正確にデジタル化することができました。ペン先には感圧スイッチが取り付けられており、ユーザーは画面上にマークを付けたいときにいつでもペンを筆記面に押し付けることができました。スタイラスの位置は、4ミリ秒ごとに(x, y)座標のペアとしてGRAILに報告されました。

以下に、描画や落書きができる仮想タブレットを示します。RANDタブレットと同様に、この仮想タブレットの表面は離散化されています。これは、筆記面がグリッドに分割されており、すべてのペンの位置がグリッド上の座標として報告されることを意味します。RANDタブレットの解像度は1インチあたり100本でしたが、私たちの仮想タブレットの解像度は約20本/インチとかなり低いです。したがって、私たちの仮想タブレットは、RANDタブレットの小さな部分を約500%に拡大したものと想像するのが最善です。タブレットに書き込む際は、これを念頭に置いてください。文字や数字は、タブレットの利用可能な高さの約70%を占めるように描画してください。大きく描きましょう!

描画を開始するには、ポインターをタブレットの上に移動し、マウスボタンを押します。これは、スタイラスをタブレットの表面に押し付ける行為をシミュレートします。マウスボタンを離さずに、ポインターをタブレットの表面に移動させてマークを作成します。マークに満足したら、マウスボタンを離します。ペンを画面から離さずに完了できる数字(2、3、6)や文字(C、M、S)をいくつか描いて、タブレット上での作業の感触をつかんでください。仮想タブレット上での落書きや描画に慣れたら、次のセクションに進んでください。

「ユーザーはRANDタブレットと、カソードレイ管(CRT)ディスプレイと組み合わせてコンピューターと通信します。タブレットのハードウェアは、水平な10インチ角の筆記面とペン状の筆記具で構成されています...

ペンをタブレットの筆記面に押し付けると、ペン内のスイッチが閉じ、これにより中央処理装置(CPU)に「ペンダウンアクション」が通知されます...

ペンが持ち上げられると、ペンスイッチが閉じられ、CPUに「ペンアップ」アクションが通知されます...ペンが筆記面を移動するにつれて、認識スキームには4ミリ秒ごとにその位置が通知されます。」

器用さに関して:Bret Victorのインタラクションデザインの未来に関する短いrantを参照してください。

これは1963年としては非常にクールな技術でした。設計と実装の詳細に関するRANDのメモランダムはこちらで読むことができます。RANDタブレットに関するより逸話的な情報に興味がある場合は、Alan KayがRANDタブレットについて語っているこのビデオをご覧ください。

ここでは、最適とは言えない用語を使用しています。なぜなら、あなたがこのエッセイを読むためにどのようなデバイスを使用しているのか全く分からないからです。もしそうでなければ、マウスやクリックといった言葉が、キャリッジリターンと同じくらい時代遅れに感じられるようになると確信しています。つまり、トラックパッド、タッチスクリーン、タブレットのようなマウスを使わないものを使用している場合は、その場で翻訳する必要があります。

タブレット上で作成したマークが、画面に表示される際に醜い小さな摂動やジャギーを伴って表示されることに気づいたかもしれません。これは、タブレットが離散的なグリッド上にのみ配置されたペンの位置を報告できるために発生します。これは、滑らかに描かれた曲線でさえ、タブレットによってキャプチャされた後、必然的に小さな隆起や角が含まれることを意味します。これらのジャギーは醜いですが、より重要なのは、ペンの位置のリストに不要なノイズを追加することです。このノイズを除去するために、Groner氏はタブレットの出力を平滑化することにしました。

「スキームは、新しく到着したデータポイントを以前に平滑化されたデータポイントと平均化することによってデータを平滑化し、それによってタブレットによって測定されたペンの位置の離散性によるノイズを低減します。」

Groner氏が離散性によるノイズと呼んだものを、あなたはピクセル化と呼ぶでしょう。下の図は、滑らかに描かれたストロークに対するピクセル化または離散化の効果を体験するのに役立ちます。描画ボタンを押して、滑らかな曲線を描く際にペンが取った「実際の」経路を確認してください。曲線が描画されたら、スナップボタンを押して、各点を離散グリッド上に強制的に配置する効果を確認してください。離散化が、以前は滑らかだった曲線に多くの小さな隆起、角、平坦なセグメントをどのように導入するかを観察してください。

幸いなことに、私たちはタブレットの出力を平滑化して、これらの点を固定グリッドの制約から解放することができます。平滑化操作は、各量子化されたデータポイントの位置を、最後に平滑化されたデータポイントの位置と平均化することによって実行されます。この平均化は、各量子化されたデータポイントと最も最近の平滑化されたデータポイントの間に直線を描くことによって幾何学的に実行できます。次に、ポイントをこの線に沿って以前の平滑化されたポイントに向かってスライドさせます。ポイントをスライドさせるほど、平滑化の効果が強調されます。以下の視覚化を使用して、この平滑化アルゴリズムの直感を養うことができます。量子化されたデータポイントは青で描画され、平滑化されたポイントは黒で描画されます。3つのボタンは、各ポイントがガイドラインに沿ってどれだけスライドするかを指定できます。パーセンテージが高いほど、曲線はより滑らかになります。

この単純な平滑化スキームにより、ストロークの全体的なジェスチャーを維持しながら、不要な隆起やジャギーをデータから除去できます。ただし、平滑化は破壊的なプロセスであることに注意してください。ペンの小さな装飾は平滑化によって消去されます。このため、適切な平滑化係数を選択することが非常に重要です。

以下のタブレットで描画して、この平滑化スキームがより興味深い入力にどのように影響するかを確認してください。視覚化の右側にあるスライダーをドラッグして、各ストロークが平滑化される度合いを変更できます。文字、数字、単純な図形を描画してタブレット上で試してみてください。まず、タブレットの左下から右上に向かって直線を描くことから始めることをお勧めします。それが完了したら、スライダーをゆっくりとドラッグして、平滑化の量を変えるとストロークがどのように変換されるかを確認してください。

平滑化は、以下の式に基づいています。

XSi = XSi-1 + XRi
YSi = YSi-1 + YRi

XRi,YRi = i番目の生の点の座標
XSi,YSi = i番目の平滑化された点の座標

平滑化係数:

この種のノイズは量子化ノイズと呼ばれます。量子化とは、連続値を離散値のセットで近似するプロセスです。連続値がそれを表すために使用される離散値と一致しない場合、量子化の行為によってエラーまたはノイズが導入されます。場合によっては、このエラーは実際により多くのランダムノイズを導入することによって相殺されます!これはディザリングとして知られるプロセスです。Groner氏はタブレットの出力をディザリングせず、代わりに単純に平滑化することを選択しました。

Groner氏は、ピクセルベースのグラフィックスが1960年代後半に発明されるまで発明されていなかったため、これらのストロークを「ピクセル調」に見えるとは言わなかったでしょう。Groner氏は、Ivan SutherlandがSketchpadシステムを構築したときと同様に、ピクセル以前の世界で活動していました。

この平滑化スキームの背後にある数学についてさらに深く掘り下げたい場合は、これが無限インパルス応答フィルターの応用であることを知っておくと役立ちます。正確な式は、次の視覚化でインタラクティブに表示されます。

この視覚化は、この平滑化スキームの驚くべき特性を明らかにしているため、私はこれを気に入っています。大きな平滑化係数で曲線を平滑化すると、曲線は急速に自己収縮し始めます。数式を読むことに慣れているなら、平滑化係数が100%の場合にこの「ブラックホール効果」を容易に予測できるかもしれませんが、平滑化係数が80%を超えるとこの効果が急速に加速すること理解するには、「コンピューターをプレイする」という優れた能力を持つ誰かが必要でしょう。私はこの特性に驚きました。なぜなら、人間は再帰的なプロセスを理解するのが得意ではない(少なくとも私ではない)からです。洞察力のある読者は、ブラックホール効果を考慮するためにスライダーが非線形にスケーリングされていることに気づくでしょう。

タブレット上を非常にゆっくり移動すると、特に多くのデータポイントを生成できることに気づいたかもしれません。各ストロークの全体的な形状のみに関心があるため、これらのデータポイントのほとんどは実際には不要です。Groner氏は、これらの不要なポイントを削除するために非常に単純な間引きスキームを採用しました。これは幾何学的に次のように説明できます。最初のデータポイントの周りに正方形を描きます。この正方形の内側にある後続のすべてのポイントは破棄されます。次に、正方形が正方形の外側にある次のポイントの周りに再配置され、プロセスが繰り返されます。正方形のサイズは、ストロークの間引きの積極性を決定します。この間引きスキームは以下で視覚化されます。

「間引きは、ペントラックから一部のデータポイントを削除するプロセスです。これは、新しい平滑化されたデータポイントの位置と、間引きされたトラックの最後のポイントの位置を比較することによって行われます。これらのポイントが十分に離れている場合、分析スキームは平滑化されたポイントを間引きされたトラックの一部として受け入れます。それ以外の場合は破棄されます。間引きはトラックの小さな摂動を排除し、データポイントの数を劇的に減らすことによってデータ処理要件を削減します。」

次のタブレットでは、任意の入力に対してこの間引きスキームを試すことができます。生のデータポイントは青で描画され、間引きされたポイントは黒で描画されます。「間引き正方形」は、最後に間引きされたポイントの周りにピンクで描画されます。タブレットの右下にあるスライダーをドラッグして、間引きの積極性を変えることで、シンボルを描画することから始めてください。ほとんどのストロークの基本的な形状を、かなり積極的に間引きしても維持できることに気づくはずです。Groner氏は、生のデータポイントの約70パーセントを破棄しても満足のいく結果が得られることを見出しました!

間引きは、次のように記述されます。

XTj = XSi, YTj = YSi

次のいずれかが真の場合

|XSi - XTj-1| >=
|YSi - YTj-1| >=

XTj,YTj = j番目の間引きされた点の座標

間引きサイズ =

「曲率は、位置とサイズに依存しない最も明白なトラック特性でありながら、トラックの形状を記述します。Freemanは、曲率の有用な近似は、間引きされたトラックのポイントによって生成される量子化された方向セグメントのシーケンスであると示唆しています。KuhlとBernsteinは、この近似を文字認識スキームで使用しています。Bernsteinは実際、各量子化された方向の持続時間を使用する必要はないと見なし、単にリストアップしました

変化

量子化された方向の。KuhlとBernsteinはどちらも8つの可能な方向を使用しましたが、ここで説明する認識スキームは4つしか使用しません。4つの方向は、他の特徴と組み合わせて使用すると、認識に十分な記述を提供しますが、8つの方向よりも少ないシンボルバリエーションになります。」

長方形は縦長よりも横長であり、前の点よりも右側にあるため、割り当てられた方向は右です。

平滑化と間引きの後、各データポイントには方向が割り当てられます。驚くべきことに、Groner氏は、ストロークの曲率を記述するには、基幹方向のみを考慮すれば十分であることを見出しました。したがって、各ポイントは、上、下、左、または右に向かう動きの結果として考慮されます。この方向は、ポイントとその前のポイントによって記述される長方形を考慮することによって決定できます。この長方形が幅よりも高さが高い場合、ポイントは左または右への移動を表す必要があります。長方形が幅よりも高さが高い場合、ポイントは上または下への移動の結果である必要があります。右側の視覚化を使用して、基幹方向の決定の感触を得ることができます。2番目のポイントを固定された中心点に対して移動するには、クリックしてドラッグします。2つのポイント間の接続長方形は灰色で描画されます。

以下のタブレットで描画して、任意の入力に対して曲率がどのように計算されるかを確認してください。特に、8や6のような非常に曲線的な文字を入力したときのシステムの動作に注意してください。

新しいポイント(j番目)が間引きされたトラックに受け入れられると、これらの不等式を使用して量子化された方向が計算されます。

if |XTj - XTj-1| >= |YTj - YTj-1|

右 if XTj - XTj-1 >= 0
左 if XTj - XTj-1 < 0

if |XTj - XTj-1| < |YTj - YTj-1|

上 if YTj - YTj-1 >= 0
下 if YTj - YTj-1 < 0

すべての単一ポイントに基幹方向が割り当てられていますが、Groner氏の文字認識装置では方向の変化のみが使用されます。これにより、冗長なデータポイントを破棄し、ストロークの曲率の非常にコンパクトな表現を実現できます。たとえば、Lは2つの方向セグメント▼▶で記述でき、描き方によっては、Oは5つの▶▼◀▲▶で記述される場合があります。以下のタブレットで描画して、方向の変化のみが記録された場合に曲率がどのように表現されるかを確認してください。このタブレットでは、方向の変更は黒で描画され、冗長な方向は明るい灰色でレンダリングされます。

同じ方向が連続して2回発生し、最後の方向シーケンスと同じでない場合、それはリストに追加されます。それ以外の場合は破棄されます。

Kuhl、Bernstein、Freemanのこれらの作品へのリンクを提供したいのですが、学術的なペイウォールに何度もぶつかります。これらの作品の書誌参照は、興味があればGroner氏のメモで入手できます。

各ストロークの曲率を使用してユーザーの意図について情報に基づいた推測を行うことができますが、方向情報のみを使用しては区別できないシンボルがいくつかあります。たとえば、「5」と「S」は、どちらも同じ方向セグメント◀▼▶▼◀を生成するように描画できます。同様に、円と長方形はどちらも▶▼◀▲▶を生成する可能性があります。Groner氏は、角の有無を使用してこれらの種類の曖昧さを解決することにしました。たとえば、「5」は通常、シンボルの左側に1つまたは2つの角が描画されますが、「S」は通常、角なしで描画されます。同様に、角の有無を確認することで、長方形と円を区別できます。

角検出は比較的簡単な方法で実装されます。入力ポイントに基幹方向を割り当てるのと同じ方法で、Groner氏は各ポイントにいわゆる「16方向」も割り当てます。角は、ペンが同じ16方向で2つのセグメント移動し、方向が少なくとも90°変化し、その後さらに2つのセグメント同じ16方向で移動した場合に検出されます。

以下のタブレットで数字、文字、基本的な図形を描画して、角検出アルゴリズムの動作を確認してください。認識装置は角をピンクの十字✚でマークします。右側のスライダーを使用して、90°以外のしきい値を試すことができます。角が区別的な特徴となる文字(5、S、C、G、箱、円)を描画し、その後スライダーをゆっくりと調整してみてください。

角は、ペンが少なくとも2つのセグメントで同じ方向に移動し、方向が少なくとも°変化し、その後新しい方向で少なくとも2つのセグメント移動した場合に検出されます。

方向の変化は、即座に、または1セグメントのターンを介して発生する必要があります。

円を16個の等しいスライスに分割すると、これらのスライスのエッジがGroner氏のいわゆる16方向です。

Groner氏は、これらの16方向に基づいて線分を連結することによって、ユーザーの「インク」トレースを画面にレンダリングしました。彼は、これらの16の角度が、出力をうまくレンダリングするのに十分なカバレッジを提供することを見出し、角検出スキームへの入力としてまったく同じデータを使用しました。このエッセイでは、ストロークを画面にレンダリングするために16方向を使用していませんが、角検出プロセスへの入力としてのみ使用しています。

別のメモランダムで、Groner氏は角を検出する代替方法について言及しています。これは、ユーザーのペンが角を通過する前に停止して加速するため、データポイントが角に蓄積する傾向があるという観察に基づいています。したがって、通常の蓄積よりも多くのデータポイントを間引き前にチェックすることで角を検出できます。このアプローチは実装していません。

タブレット上のすべてのマークはストローク記述にパッケージ化されます。ストローク記述は、ストロークを囲む仮想的な境界ボックスに対するストロークの顕著な特徴を記録する表現です。この記述により、「ユーザーはこのシンボルを描画するのを左上から開始し、右下で停止しましたか?」のような質問に簡単に答えることができます。この質問に対する答えが「はい」の場合、ユーザーは2またはZを描こうとした可能性が高いです。「描画を開始した場所の非常に近くでペンを画面から離しましたか?」もしそうなら、それはOまたは8のような閉じられたストロークを描こうとした可能性があります。ストローク記述は、ストロークの幅、高さ、アスペクト比などの単純な特徴もキャプチャします。これらの特徴により、「シンボルを太いまたは細いと表現できますか?」のような質問に答えることができます。この質問への答えは、7と1を区別するのに役立つかもしれません。

「ストロークが描画されるにつれて、そのx(水平)およびy(垂直)の極値は継続的に更新されます。ペンが持ち上げられ、ストロークの完了が示されると、分析スキームはこれらの極値を使用して、シンボルのインチあたりの高さと幅、アスペクト比(高さと幅の比)、およびタブレットの原点に対する中心を計算します。シンボル極値によって定義される長方形領域を4x4グリッドに分割します。開始点(ペンダウン)と終了点(ペンアップ)、および角の位置は、それぞれこれらの16領域のいずれかに位置するものとしてエンコードされ、シンボルに対するそれらの位置が特定されます。」

以下の仮想タブレットに文字や数字を描画してください。描画を開始した位置は青い円でマークされ、描画を停止した位置は青い四角でマークされます。ペンを離してすぐに、ストローク記述がタブレットの右側に表示されます。

「シンボルの識別は、データ依存のテストシーケンスに基づいています。意思決定プロセスの各ステップで、いくつかの潜在的な識別があります。それらのいくつかは、トラックの主要な特徴をテストすることによって排除されます。各ステップで適用される特定のテストは、そのステップで可能な識別のセットと、すでに検査されたトラックの特性に依存します。したがって、意思決定スキームはツリー構造を持っています。その元の設計は、4人のユーザーの手書きの検査に基づいていました。著者は、追加のシンボルバリエーションに対応するために、経験が増えるにつれてその構造を変更します。」

認識装置は、ストロークの最初の4つの基幹方向に基づいて、潜在的な文字のリストを生成することから始まります。これらの最初の4つの方向で描画できない、または通常は描画しないストロークは、直ちに考慮から除外されます。場合によっては、最初の4つの方向で文字を正確に識別するのに十分な情報が得られます。たとえば、下、右、そして停止するストローク▼▶は、直ちにLとして識別できます。同様に、▶◀▶◀で始まるストロークの唯一の可能な一致は文字3です。通常、最初の4つの方向では直ちに識別できず、潜在的な文字のリストが残ります。たとえば、▶▼◀▲で始まるストロークは、O、2、または3になる可能性があります。以下の画像をクリックして、各ストロークがどのように描画されるかを確認してください。3つすべてがまったく同じように始まることに注意してください。

これらの種類の曖昧さは、ストローク記述の他の側面をテストすることによって解決できます。たとえば、ストロークがシンボルの右下の角で終わる場合、2を識別できます。ストロークがシンボルの左下の角で終わるかどうかを確認することで、3を識別できます。開始点と終了点がどちらもシンボルの上部で互いに近接していることに注意することで、Oを識別できます。実際には、意思決定プロセスは、多数のif文を記述することによって実装されます。このプロセスに「魔法」はなく、意思決定ツリーは、特定の文字の新しい予期しない書き方に出会ったときに、改善と変更をいとわない勤勉で洞察力のあるプログラマーによって手作業でコーディングされる必要があります。

このエッセイで紹介している認識装置は、大文字と数字を単一ストロークで識別できます。つまり、各文字はペンを筆記面から離さずに、全体を描画する必要があります。Groner氏の元の認識装置は、ユーザーが完全に自然な方法でテキストを入力できるようにする複数ストロークの文字を識別できました。Groner氏の目標は、ユーザーの既存の能力を活用し、ユーザーがソフトウェアシステムのニーズに合わせて自分の書き方を適応させる必要をなくすことでした。実際、Alan Kayは、このシステムの主な動機の一つは、タイピングインストラクションの必要性をなくすことだったと主張しています。私の目標は、Groner氏が採用した基本的な方法論を説明することであり、はるかに野心的ではないため、認識装置のより単純な単一ストロークのバリアントを実装することにしました。複数ストロークの識別は、単一ストロークの識別ほど複雑ではありませんが、少し複雑です。興味があれば、Groner氏の元のメモにアプローチが明確に記載されています。

各文字を描画する際に一般的な形状に従う必要があることは必要ですが、Groner氏の方法は、文字を描画する際の多くのバリエーションや不注意さにも対応できるほど堅牢です。たとえば、次のすべてのストロークは数字の3として識別されます。

以下のタブレットで認識装置を試してみてください。まずゆっくりと3を描くことから始めることをお勧めします。潜在的な文字のリストがゆっくりと絞り込まれ、一致が自明になるか、最終的な区別が意思決定ツリーの参照によって行われるまで、注意深く観察してください。意思決定ツリーが参照されるたびに、識別の根拠がテキスト形式で出力されます。

私の認識装置は、あなたの入力の一部で失敗する可能性が非常に高いです。これが起こった場合、Groner氏の方法を責めるべきではありません。メモには、初めてのユーザーが彼の認識装置を使用した際の成功率が90%であったことが明確に記載されています。私の意思決定ツリーは私自身のものです。そして、それは私自身の筆記スタイルに偏っています。しかし、私がGroner氏よりも優れている点は、継続的な改善のプログラムをクラウドソーシングできることです!誤った識別が発生し、それが気になる場合は、そのスクリーンショットをGitHubのプロジェクトissuesページに投稿してください。

Groner氏の認識装置を使用して、フローチャートや構造化された図を作成し、これらの図に基づいて実行可能なプログラムを作成したことを覚えておいてください。テキスト入力のキーボードベースの代替手段を提供するだけではありませんでした。テキスト入力は、人間とコンピューターの相互作用のための、はるかに大きなビジョンの一部でした。

Groner氏のスタイルで独自の文字認識装置を作成することにした場合、ラテン文字の書き方には非常に多くのバリエーションがあることにすぐに気づくでしょう。8を上下に積み重ねられた2つの円として描く人もいます。ある人は鋭い対角線移動で右上から左下へ始め、その後逆向きのSを描きます。他の人はまずSを描き、その後右上への素早い対角線移動でストロークを終えます。他の人はSの中心から始まり、緩やかな数字の8を描きます。ラテン文字には標準的なストロークシーケンスがない(または、皆が忘れてしまったように見える)ため、英語の手書き認識は少し難しいタスクになります。一方、中国語には各文字の標準的なストローク方法があります。このため、人間とコンピューターの相互作用の初期において、中国語の文字認識プログラムは非常に成功裏に使用されました。実際、Groner氏は、翻訳タスクの補助として中国語の言語入力を適用するための、彼の認識スキームの応用に関する別のメモランダムを執筆しました。本質的に、Groner氏は1967年に中国語のGoogle翻訳のフリーハンド入力機能の機能的なプロトタイプを持っていました。

これを、1990年代に設計・実装されたPalm Graffitiの語彙と比較してください。

私の認識装置をばかげた識別をさせるようにだますのは非常に簡単です。このものがどのように実装されているかを考えると、ぐちゃぐちゃな落書きでも3または5として自信を持って識別される可能性があります。この裏にある何らかの深遠な人工知能を見つけようとしていたのであれば、これはあなたを失望させるかもしれません。しかし、常識的な知性の欠如はそれほど大きな問題ではないと考えています。この認識装置は単純なツールであり、他の単純なツールと同様に扱われる必要があります。

2016年に、なぜまともな人が半世紀前の中古の手書き文字認識アルゴリズムを気にする必要があるのかを問う価値があると思います。Groner氏のメモランダムの発表から50年が経過しましたが、GRAILは主流のプログラミングおよびHCIコミュニティの規範からはほとんど姿を消しています。ほとんどの現代のコンピューターユーザーは熟練したタイピストであり、スタイラスでのテキスト入力は、高度に最適化された自動補完アルゴリズムの支援を受けたタッチタイピングよりも遅いでしょう。なぜ誰かがGroner氏の元の論文、ましてやこのエッセイを読み直す時間を費やす必要があるのでしょうか?

私にとって、Groner氏の作品は、テキストをコンピューターシステムに自然に通信できるからではなく、人間が描画という高帯域幅のメディアを通じてコンピューターとインターフェースできるから興味深いのです。このエッセイでは、Groner氏の元の作品の主な焦点であったため、テキストに焦点を当てましたが、この技術の、絵画的および類推的なジェスチャーの認識と処理には、はるかに説得力のある応用があると考えています。描画は、コミュニケーションの非常に強力な形式であり、描画がパーソナルコンピューターとのコミュニケーションの主要または補完的な方法として機能できるという考えが大好きです。Ken PerlinのChalktalkはこの原則の素晴らしい例であり、テキスト認識以外のタスクへのGroner氏の方法の応用について懐疑的であれば、彼のデモを見ることを強くお勧めします。

描画や手書き認識への関心とは別に、初期のインターフェースデザインの歴史について学ぶのは非常に楽しかったです。1960年代と70年代はコンピューティングの歴史において魅力的な時代であり、Gabriel Groner氏とGRAILチームの作品は、文献への素晴らしい入り口となります。RANDのGroner氏による出版物のアーカイブを読んでみてください。1969年に、「運動化学システムの研究」のためにインタラクティブグラフィックスプログラムを作成していたことを知ったときは、本当に驚きました。Groner氏の「人間を強化するディスプレイ端末のガイド」を1時間読んで、コンピューティングの素晴らしい時代を感じてください。この種のものに興味があるなら、Ivan SutherlandのSketchpadシステム、XEROX Parcについて学び、Richard Hammingの講義を見ることを強くお勧めします。このエッセイのタイトルは、Alan Kayの講義「ソフトウェア開発の未来へ」のもじりです。これも素晴らしいです。

素晴らしいd3.jsライブラリは、このページ上のすべてのインタラクティブグラフィックスをレンダリングするために使用されています。Tangleライブラリは、一部の記号数学的公式を動的に更新するために使用されています。

  • Jack Schaedler

ベルリン、2016年

追記:Groner氏の認識装置は、フローチャートや構造化された図を作成し、これらの図に基づいて実行可能なプログラムを作成するために使用されました。テキスト入力のキーボードベースの代替手段を提供するだけではありませんでした。テキスト入力は、人間とコンピューターの相互作用のための、はるかに大きなビジョンの一部でした。