ホームに戻る学会からのお知らせリンクお問い合わせ
 日本赤ちゃん学会未来を育む赤ちゃん研究
日本赤ちゃん学会とは?学術集会国際シンポジウム公開シンポジウム学会誌

 心が通う身体的コミュニケーションシステム E-COSMIC

岡山県立大学情報工学部教授 渡辺 富夫

 ここでは、「心が通う」、「思いが伝わる」ためには、身体から身体に伝わることが非常に大事だということをお話したいと思います。

 通常のコミュニケーションにおきましては、話し手と聞き手の間でうなずく動作や瞬きといったもの、あるいはそういった言葉によらないノンバーバルな情報だけではなく、呼吸や心拍の変動といったものが、相互に引き込むリズム同調が起こります。このコミュニケーションにおけるリズム同調を引き込みと言います。引き込みは通常1対1の場合には必ず起こるわけですが、こういう講演会にきますと自分だけに話してもらっているわけではありませんから、非常に反応が少ない。逆にいいますと、みなさんがこれは自分に話しかけてくれているんだと思って、ひとりひとりがしっかり反応してくれますと、私としては非常に話しやすい。話しやすいということはいい講演が聞けるということですね。ですから、いい講演を聞くためには、みなさんが相当がんばらないといけないということです。

 逆にいいますと、皆さんががんばって非常にいい反応をしていると、後ほどその講演の録画ビデオを見た方々は、非常にいい講演だと思います。みなさんがいい講演だと思うと自ずとその場に溶け込みやすくなり、いい講演になるし、そう思えるわけですね。それが非常に大事だということで、この引き込み原理を情報機械を介してシステムとして構築することによって合成的にコミュニケーションを調べようというのが私の研究です。

 そのために研究開発しているシステムが「心が通う身体的コミュニケーションシステム E-COSMIC、Embodied Communication System for Mind Connection 」です。心をつなぐということであって、mind controlではありません。心をつなぐための身体化されたコミュニケーションシステムということですが、これは大きく2つのシステムから成り立っています。1つはコミュニケーション解析および理解を行うことですが、身体的バーチャルコミュニケーションシステムと呼んでいます(図1参照)。

 これはバーチャルアクターといって、相手が話しているのに対して頷いたりしますから、自分の代理だなとすぐわかるわけです。自分が動くと動きますし、手を挙げると手を挙げます。例えば、頷きそのものの重要性を調べようというときに、実際の人を対象とした実験では不可能なわけですね。ところが、このシステムですと、例えば頷きしかさせないことができます。実際にはきちんと体全体が動いていても、このバーチャル上では頷きしかさせないとか、左右の動きを変えてみるとか、音声を少し遅らせてみるとか、自由に情報を加工することによってコミュニケーションそのものを調べることができます。

このページのトップへ戻る

 これはバーチャルウェーブと言いますが、頭部の動きを波に抽象化したもので、コミュニケーションはリズムであると言われるように、コミュニケーションの本質を解析するためにつくりました。またこのシステムを用いますと、お互いに笑ったりすると、非常に同調がとれる、インタラクションがよく見えるというわけで、それだけで場合によっては十分なコミュニケーションができます。

 いろいろ調べてみますと、実は私たちのコミュニケーションは自分がどう振舞っているかということと、相手とのインタラクションがわかるということが非常に大事なことがわかりました。ですから、このコミュニケーションの中で、初め自分が映っていると非常に奇異に感じるのですが、そのうち自分自身がいないとさびしいと感じるようになります。インタラクションでお互いの関係がわかることが大事だということが、このシステムを通すと理解できます。

 もちろん、2人ではなくて、3人としたときにどのようにコミュニケーションがなされるかという集団コミュニケーションについてもわかります。

 ここでのコミュニケーション結果に基づいて、次は音声に基づく身体的インタラクションシステムといいますが、今度は音声だけからコミュニケーション動作を自動的に作り出すというものをご紹介します(図1参照)。

<図1 心が通う身体的コミュニケーションシステム>

 図中にロボットがあります。インタラクションするロボットでインタロボットと呼んでいます。インタロボットは人の代役です。インタロボットに語りかけますと、ちゃんと頷いてくれる。必ず全身で聞いてくれる。決して居眠りせずに聞いてくれる。だから非常に話しやすい。ちょうど電話機が身体反応をもったようなものです。電話機に対して話をする。ちゃんと聞いて話せる。向こうから声が聞こえてくると、今度は手振り、身振りを交えて話をしてくれる。

 一方、電子のメディアとして同じことをやらせてみる。もうひとつ、電子のメディアをインタアクターといいますが、これ自身をいくつも並べることによって、仮想的な教室、ホールを作りだすことができるわけです。私の声を携帯電話で私の研究室に飛ばしますと、「あっ、渡辺先生、今必死で話をされてるな」というのがわかるわけですね。それに対して、周りが熱心に聞いている画像をかぶせた方が聴講者にとって望ましいシステムができるということです。

 ですから、私自身が作っているロボットは、あくまでも人の声に対してきっちり反応する。するとその声はネットワークを介して、今度は声から話している人の動作を作り出して、その人の思いをきっちりこの人に伝えることになります。今度はそれに答えて、相手がロボットに話しかけると、ロボットはきっちり反応してくれる。だからこの声はネットワークを介して相手側の前のロボットにいって、その声と身体動作を共にリズム同調で相手に伝えることになるのです。あくまでも情報を発するのも受けるのも人であって、このロボットというのは音声からコミュニケーション動作をつくり出すだけです。

このページのトップへ戻る

 別にこれを知能化してロボットと話をしたいと思っているわけではありません。もし本当にロボットとコミュニケーションできたときには、私たちはもはやロボットにはかないません。ですから、私の研究は非常に安全ですね。あくまでも、情報を発するのも受けるのも「人」ですから。先ほど浅田さんの発表に実際にロボットをつくって実証していく構成論的アプローチが示されましたが、ここで一例を見ていただきます。

 <図2 インタロボット>

 このロボットは山形県の山形県産業科学館に受付ロボットとして入っています。3階にはこれを剥き出し状態にしたロボットが、最先端の技術として紹介されています。これは受付ロボットですから、いろいろなアナウンス、「今日は何時に来てください」「ありがとうございました」ということを手振り身振りでやります。そうすると、きちんと思いが伝わるというわけです。一方、図中に受話器が二つありますが、これらを用いて、こちらと向こう側の人とコミュニケーションができる。こちらで話をするときちんと聞いてくれますし、あちらから声が聞こえてくると、話し手としての振る舞いをするわけです。

 このロボットは山形県の山形県産業科学館に受付ロボットとして入っています。3階にはこれを剥き出し状態にしたロボットが、最先端の技術として紹介されています。これは受付ロボットですから、いろいろなアナウンス、「今日は何時に来てください」「ありがとうございました」ということを手振り身振りでやります。そうすると、きちんと思いが伝わるというわけです。一方、図中に受話器が二つありますが、これらを用いて、こちらと向こう側の人とコミュニケーションができる。こちらで話をするときちんと聞いてくれますし、あちらから声が聞こえてくると、話し手としての振る舞いをするわけです。

 <図3 うなずき君>

 実際の人のコミュニケーション動作を非常に簡略化したのが、この「うなずき君」です(図3)。今年8月に発売される予定です。これはあるパラメータで反応が固定されています。お母さんも複雑です。赤ちゃんも複雑です。ですから、いろいろな動作があっても、ある程度こちら側を固定するときちんと反応してくれる。あるパラメータの場合に、0歳児、2歳児、3歳児というものがこれとどう関わるのかということを見てもらうためにも、ぜひ研究にお使い下さい。

 音声から豊かなコミュニケーション動作を自動的に創り出す電子メディアがインタアクターです。複数のインタアクターを使って生徒と先生の役にしたて、バーチャルな仮想教室を作ることによって、コミュニケーションを支援していくということです。例えば、手をついて不真面目な態度で聞く人もいれば体を乗り出してまで聞く人もいる。こちらはふんふんと話している。そのうちに、ある人はちゃんと聞き始める、ちゃんとノートをとりだす、などと自由にパラメータを変えることによって、どうしたときどういう効果があるかがわかるのです。

このページのトップへ戻る

 生徒がちゃんと反応すると先生が非常に話しやすい。逆に生徒の側からみると、前の人がしっかり聞いていると良い講義だと思うものです。予備校にしても、わざわざ電車賃まで使って行かなくても自分の家で勉強すればいいのですが、一応こういう雰囲気を買うためにそこに行ってちゃんと講義を受けるということですね。そういう仕組みを遠隔システムに入れることが大事だと思うのです。今メディアには、まさに決定的にこの引き込みが欠けているといえます。何十万回、何百万回、何千万回という語り掛けに対して、手足をバタバタしながら言葉という文化を習得してきた以上、語りかけに対して、ちゃんと反応があるかないかというのが、情報のやり取りにおいては決定的です。

 例えば、音声は一緒にしてインタアクターの効果を見る実験を行いました。消費税5%をもっとあげないと駄目なのではないかという話をする。それに対して、イエスという反応をインタアクターがした場合とノーという反応をした場合で、それを見た人の反応がどう違うのかを調べました。看護学科の学生50人のうち25人は肯定反応だけを見て聞き、もう片方の25人は否定反応だけを見て聞くと設定しました。

 これは肯定反応です。みんな必死に聞いて、そうだ(イエス)というのを学生が見ているわけです。自分が首を振るわけではなく、見ているだけです。一方のグループは、いや(ノー)といっている様子を見る。これが否定反応です。

 イエスを見たグループは25人の平均6.92%、約7%がイエスだった。ノーというのは5.48%。もちろん、肯定グループのほうを見せられても、自分は絶対消費税は0%だと信念を持っている人もいますし、否定反応でもちゃんと話は聞いていて、そうだな10%と書く人もやっぱりいるわけですね。しかし統計的に見たときには、有意な差が出ています。

 ところが、ここでもノーと言いながら、話を聞いてくれています。今度は、話を聞かない、居眠りしたり向こうを見たり落ち着きがないように、インタアクターにさせることによって効果が全然違うだろうと考えました。そこで、私としてはこれをロボットとして作る、今作っているわけですが、先生ロボットと先ほどの生徒のロボットが6体あって、これをこういう場で見せたいということですね。

 子どもや先生に「みなさん元気ですか。システム工学というのはこういうものですよ」と話をして、それに対してインタアクターの手振り身振りを交える。それをちゃんとみんなが聞いている。すごいなあ、ちゃんと話を聞かなくてはと、子どもたちが思うわけですね。先生も話をちゃんと聞く。当たり前のことを当たり前にする。授業中、この子よくできるなと言っても、よそ見をしていては駄目だと、それは周りに悪影響を与えていることをみんなに見てもらって、ちゃんと話を聞くようにいう。手を後ろで組みながら話を聞くというのでは駄目で、ちゃんとインタラクションをとって聞くことが大事なのですね。

 小学校低学年であれば、親や先生の言葉を全部体ごと受け止める。それが情報を受ける、思いを伝える際に大事です。例えば、私は大学で信号処理の講義をしていますが、「この信号処理が大事だ」ということに、ちゃんと頷きながら反応すると、大事だという気持ちが伝わる。気持ちが伝わることが、まず大切なのです。よし信号処理をマスターするぞ、と本人がその気になることが大事です。教師としては動機付けができれば、仕事の8割は終わっているわけですから、その人の思いを伝えるという、まさにE-COSMICがここにあるということです。

このページのトップへ戻る

<ビデオ音声より>
 こちらがインターロボット、次世代のコミュニケーションロボットです。人間の音声に反応していかにも聞いているような動きをします。ちょっとやってみましょう。「こんにちは、ゴウスケ君、スーパーニュースの取材できました。よろしくね」。このロボットは岡山県立大学知能システム工学の渡辺富夫教授の研究室で製作されたものです。人間の話す言葉に応じて、頷く、瞬きする、首をかしげる、手を動かすなどの動作をします。ロボットはあくまで人間のしゃべるリズムに合わせて反応しているだけで話す内容は理解しているわけではありませんが、会話の途中で話を合わせるかのように頷くなど、まるで中身を理解しているかのような錯覚さえ生まれます。


 理解はしないのですが、非常に話しやすくなりますから、このシステムを音声認識と一緒にすると、音声認識のための構文解析とか信号処理をしなくても、そのまま認識率を飛躍的に高めることができる、実用的に使えるというわけですね。

<ビデオ音声より>
 聞き手ばかりでなく、話に合わせて口を動かす話し手にも切り替わります。さらに渡辺教授の研究室ではこんなものを開発しました。インタロボットと同じ理論を応用して、コンピュータの画面上で会話が円滑にいくようにコミュニケーション支援を行うキャラクターです。こちらも会話のリズムに合わせて動きます。例えば、音声が続いている間はときおり瞬きをしたり、音声が途切れると話が終わったと判断して即座に頷きの動作に入るというわけです。このシステムはネットワークを介して音声を送り、相手から送られてきた音声から話し手としての身体動作を…。

 別の部屋にあるパソコンから音声を送ってみました。何もない画面に向かって話すのに比べて格段に話しやすい環境になり、遠距離通信の会話にも適しています。このソフトは携帯電話や一般のパソコンにも組み込むことが出来るため、応用範囲が広く、エンターティメントや福祉の分野にも利用が考えられています。


 教育福祉、エンターティメントと人に関わる分野というのは、すべて身体性メディア技術と呼びたいと思っているのですが、こういう技術は人と人とのコミュニケーション支援に役立つと考えています。

このページのトップへ戻る

<ビデオ音声より>
 さらに画面上のキャラクターも多種多様に変えることもできるため、アニメタイプを導入することも可能で、商品化に向けた動きも出ています。人間の心を和ませ、会話を助けるロボットが本格的に導入される日もそう遠くなさそうです。

 現在、こういう形でビッグサイトなどの展示会に自由に利用されています。声だけからコミュニケーション動作をつくり出しますから、インタロボット役は寝ながら対話しても大丈夫です。精一杯リズム同定で話しますし、きちんと頷いて聞いているわけです。リアルタイムでアドリブ的にすべてやれるということです。頷きとの関係に基づいて、腕の動きの関係も作れますから、勝手に腕が動いているわけではありません。聞いている人の体全身の反応が表現されています。こういうものを、ぜひいろいろな実験に使っていただけたらと思います。そして何よりもコミュニケーションにおいて身体性を共有することの重要性を感じていただければ幸いです。



前のページに戻る このページのトップへ戻る
Copyright(c)2001-2016, Child Research Net and The Japanese Society of Baby Science, All rights reserved.このサイトに掲載する文章、イラスト、画像等の無断転載を禁じます。
チャイルド・リサーチ・ネットのホームページへ
日本赤ちゃん学会サイトは、チャイルド・リサーチ・ネットが運営を応援しています。