Leap Motion で日本語の文字入力・文字認識

Leap Motion を利用して、空中で指やペンで日本語の文字を入力し、同時に手書き文字認識をするプロトタイプを作成しました。
一見、書道アプリですが。

その様子を撮影した動画を投稿しました。
まずはこちらをご覧ください:
Japanese Calligraphy and Handwriting Recognition in the Air

 

以下では、上記の動画について補足していきます。

書道で「鎧武」を書く元ネタはこちら:
【仮面ライダー鎧武】幼稚園児「書き初めで『ガイム』書きたい」書道家「?」の後日談がとっても素敵

鎧武

 

ほとんどの文字を行書で書いていますが、問題なく文字認識されています。
実際には、楷書のほうが認識率は高いと思います。

京都

一部の文字は草書も認識されます。

日本

 

犯人はヤス。
ひらがなとカタカナの例です。

犯人はヤス

 

タイムアタック。

  • 京王八王子: 3"31
  • 四八(仮): 3"44
  • 雪風: 1"93
  • 漣: 1"72
  • 纐纈: 5"75

京王八王子

 

Leap Motion では、指のほかに、ペンなどの棒状のものも使えます。
「龍驤」を書くときには、割り箸を使っています。

龍驤

龍驤

 

三次元空間上で文字を書くには、ユーザー側にも多少の練習が必要になります。
コツは、本当に紙の上で書いていると脳に錯覚させて、普段紙の上で書いているときの動作をすることです。

参照
Japanese Calligraphy and Handwriting Recognition in the Air (Vimeo)
Japanese Calligraphy and Handwriting Recognition in the Air (Youtube)
Text recognition in the air, for Yukikaze and Sazanami.

【仮面ライダー鎧武】幼稚園児「書き初めで『ガイム』書きたい」書道家「?」の後日談がとっても素敵
Vision-Based Handwriting Recognition for Unrestricted Text Input in Mid-Air (PDF)
Ring : Shortcut Everything. by Logbar inc. — Kickstarter
Leap Motion で「つまむ」操作

コメント / トラックバック1件 to “Leap Motion で日本語の文字入力・文字認識”

  1. 芽衣 Says:

    発展途上人 でリブログしてコメントを追加:
    この文字入力をProcessingで実現できないものか


コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中

%d人のブロガーが「いいね」をつけました。