(出典:サイエンスZERO|NHK)

 

サイエンスZEROで、世界最高レベルのCGキャラクターであるSayaが、NHKが開発する手話CG自動生成システムにより「手話」に挑戦しました。

 

このシステムが完成すれば、さまざまな分野でCGキャラクターによる手話が利用可能となります。

 

つまり、聴覚障害者にとっても、より暮らしやすい未来が到来することになるでしょう。

 

 

CGキャラクター「Saya」とは

 

2月29日生まれ

将来の夢:人間同士みたいに、みんなと喋ったり友達になること

チャームポイント:左目の下のホクロ

好きな映画:まだ見たことありません。

好きなアーティスト、音楽:まだよく分かりません。

好きな本:ソフィーの世界

「これだけは人に負けない!」というもの:負けず嫌いなところ

人生でこれだけは経験しておきたい」こと:ちょっと先だけど、東京オリンピックを楽しみたい!

好きな言葉:幸せ!

(出典:ミスiD)

 

 

Sayaとは、CG制作ユニットTELYUKA(テルユカ)によって製作された、CG女子高生キャラクターです。

 

上の画像がそうなのですが、まさに人間そのものですよね。

 

カクカクしていませんし、ゲームっぽさもありません。

 

ここまでくると、もはやCGって言われても信じられないレベルです。

 

手話CG自動生成技術って何?

NHKが、聴覚障害者のために研究しているのが「手話CG自動生成システム」です。

 

以下の動画でもわかるとおり、なんとCGキャラクターが文章に合わせて手話を行っています。

 

 

仕組みはおおよそ次のとおりです。

 

〇〇の××が△△した」というような文章のテンプレートを様々な状況ごとに用意しておきます。

 

〇〇や××の中には、たとえば”天気”や”晴れ”といったキーワードが入ります。

 

そして、このテンプレートに対応する動き・ジェスチャーを手話として作成しておくわけです。

 

実用段階では、ニュースなどで読み上げるテキストデータを即座に解析し、上のテンプレートに当てはめていき、用意しておいたジェスチャー(手話)を行うというものです。

 

今では、7000もの言葉を手話で表現できるそうです。

 

手話CG自動生成技術にも課題が・・・

手話では、手の動きだけでなく、表情も非常に大切な要素みたいです。

 

顔の向き、目線、表情の変化で伝えることが大切となります。

 

そこで、世界最高レベルのリアルCGであるSayaにスポットライトがあたったそうです。

 

Sayaが「手話」に挑戦!

(出典:サイエンスZERO|NHK)

 

人間の手や指先の動きをコンピュータで読み取り、それをSayaに適用します。

 

手だけでなく、人間の表情をカメラで解析し、Sayaに適用します。

 

こうすることで、ある程度は被験者と同じ表情、同じ手の動きをSayaにさせることができます。

 

 

ただ、まだまだ課題はあるそうです。

 

手話するときの手の細かい動き、指と指の間隔など細かいところの修正が必要となるとのことです。

 

番組では、データをとったあとに人間が手作業で修正している段階でした。

 

後々は、人間が手作業で修正することなく、すべてコンピューターで自動化できれば、実用化は近くなるかもしれませんね。

 

手話通訳士の不足を解消できる!

現在、手話通訳士が不足していると言われています。

 

手話通訳士はテレビ放送や裁判などで活躍します。

 

手話通訳士が減少していってしまうと、聴覚障害者が困ります。

 

しかし、CGキャラクターが手話通訳士とまでいかずとも、ある程度完成した手話ができるようになれば、明るい未来が待っています。

 

そのためにも、ぜひ技術の進展を期待したいところです。

 

聴覚障害者の生活が充実するかも!?

 

これは私の希望ですが、やがては様々なものに応用されていくことと思います。

 

むしろどんどん展開していってほしいです。

 

そうなると、ニュース、バラエティー、ドキュメンタリーなど様々な番組で利用可能となる可能性もあります。

 

聴覚障害があって、これまでテレビを思う存分楽しめなかった人たちも、カワイイ、またはカッコいいCGキャラクターたちが手話で説明してくれたら、それだけで楽しいひと時を過ごすことができそうですよね。

 

CG手話が不要な場合は、テレビのリモコンなどで操作して非表示にできたりすれば、利便性が上がります。

 

最近は、人工知能によるCGキャラクターとの会話なども実現できてきています。

 

これに組み合わせることで、人工知能のCGキャラクターと手話で会話することもできるようになるかもしれませんね。

 

まとめ

NHKが開発している手話CG自動生成システムと、CGキャラクターのSayaについてご紹介しました。

近い未来に、表情豊かなCGキャラクターを通して、手話を学べる日がくるかもしれませんね。