研究テーマ

 研究テーマとしては,大きく分けて3つのカテゴリーから構成されています.基礎的研究として人間のコミュニケーションから共創の原理を学ぶもの,それをインタフェースやメディアにおいて表現する技術,そして,社会において共創を実践する活動です.
 第1のカテゴリーである共創の原理を学ぶアプローチでは,コミュニケーションを主観的領域から捉え,それがインターパーソナルに共有されるプロセスを認知神経科学的に研究します.特に,主観的時間の生成と共有における身体的インタラクションの役割に注目します.
 第2の共創を表現するアプローチでは,上記の研究成果を共創コミュニケーションを支援する技術に応用します.具体的には,対話コミュニケーションやリハビリテーションにおける主観的時間(「間(ま)」)の生成と共有に注目し,人間を内側から支援するシステムについて研究します.
 第3の共創を実践するアプローチでは,上記の支援技術を共創の場づくりに活用します.歩行リハビリテーションのコミュニティや企業におけるイノベーションの現場を取り上げ,共創コミュニケーションに基づくデザインとしてのインクルーシブデザインの可能性を探ります.

■共創の原理を学ぶアプローチ: コミュニケーション科学と認知神経科学

 社会的ネットワークにおける共創場の可視化
 内的観測に基づく共創コミュニケーションモデルの構築
 主観的な時間知覚と身体的インタラクションの関係
 共創コミュニケーションにおける主観的時間の生成と共有
 脳機能イメージングを用いた主観的時間の神経基盤の解明
 合意形成の対話における情報統合プロセスの分析
 対話における発話と身振りのタイミング制御モデル

■共創を表現するアプローチ: 共創コミュニケーションの支援システム

 共創型ロボットWalk-Mateによるリハビリテーション支援
 遠隔会議システムにおける「間」の共有支援
 ヒューマン・ロボット・インタラクションにおける発話と身振りの「間」
 対話コミュニケーションにおける「間」のクウォリティ
 音楽アンサンブルにおける共感空間の創出
 事象関連電位ERPを用いた相互適応型ブレイン・マシン・インタフェース

■共創を実践するアプローチ: 共創的コミュニティーのデザインへ向けて

 社会的ネットワークにおける共創的イノベーションの場づくり
 インクルーシブ・デザインに基づく共創型ロボットWalk-Mateの開発





●コミュニケーション科学と認知神経科学


■社会的ネットワークにおける共創場の可視化

 共創的コミュニケーションにおいては,意識化される明在的なチャネルだけでなく,身体的インタラクションを介する意識下の暗在的チャネル(「場」)も重要です.特に,主観的領域をインターパーソナルに接続し集団としての一体感を創出する上で後者の暗在的チャネルは不可欠と考えられています。みなさんも会話が盛り上がったときに頷きなど身振りが揃う経験はあるのではないでしょうか.そこで本研究では,企業組織における身体運動の集団的ライフログデータを用いて,日常生活における共創的コミュニケーションを可視化する方法論を開発しています.

 われわれの先行研究から,「間」の合うコミュニケーションにおいて身振りなどのタイミングが同調することが既に明らかになっており,それを組織内で上記のセンサネットワークを用いて計測し分析します.首からかける名札型の計測デバイスを用いて,数100人規模で数か月という長期間にわたり個々人の身体運動と対面状態に関するビッグデータを収集します.このデータから,組織全体としての対面ネットワークの構造を複雑ネットワークの観点から分析するだけでなく,そのダイナミクスとしての身体運動の同調性についても解析します.

 最近では,この手法を用いて,コミュニケーションを介して生成する共創的ネットワークと,組織編成上の部や課という管理上のネットワークの関係を調べることも開始しました.これらの研究は組織におけるコミュニケーションの質を計測することにもつながり,組織のデザインを評価する測度として役立つ可能性があります.このような研究は,実社会において共創コミュニケーションを可視化する最初の取り組みです.(本テーマは日立製作所中央研究所との共同研究)


■内的観測に基づく共創コミュニケーションモデルの構築

 コミュニケーションの当事者の視点において前もって共有された客観的な時間や空間は存在しません.それぞれの人間はそれぞれの固有の主観的時間と空間を生きているからです.そして,それらが共有され協調してゆくプロセスこそが共創コミュニケーションとして捉えられるでしょう.しかし,このプロセスを単純にモデル化しようとすると,集団においてアプリオリに共有される物理的な時空間が最初に仮定されます.そして,その時空間の中における状態の時間発展として共創が表現されてしまいます.これでは共創の創出的側面を扱うことができません.そこで本研究では,このような限界を少しでも克服すべく,個における状態とそれを包摂する空間の相互規定関係を,非局所相互作用(“拡がり”)を導入することによって関係論的にモデル化します.たとえば下図のような積分項をもつ反応-拡散系としての表現です.これは個と個の相互乗り入れの「場」を表現することになっています.

 本テーマでは細胞間コミュニケーションをモデル系として用います.細胞が組織として統合された形態を維持できるためには,組織内の各細胞がどのように分化するかを規定できる必要があります.しかし,個々の細胞が何に分化するかはあらかじめ定まっておらず,それは他の細胞との相互作用の中で共創的に決定されます.つまり,ある部分系を規定する情報は,その部分系と他の部分系の相互関係から自己言及的に確定されるのです.具体的には,細胞のガン化現象が細胞間コミュニケーションとの関連から取り上げられます.特に,ガン細胞は非局所相互作用を持たず,共創に向けての細胞間コミュニケーションに参加できない状態とみなされ,幹細胞が正常細胞とガン細胞に分化する過程や,ガン細胞が脱ガン化する過程をモデル化します.これらは細胞集団においてコミュニケーションが共創される過程とみなされるものです.これによって時間と空間の共創プロセスのコミュニケーションモデルを構築することをめざしています.


■主観的な時間知覚と身体的インタラクションの関係
    (作成中)


■共創コミュニケーションにおける主観的時間の生成と共有

 人間の意識状態(state of being conscious)は社会的コミュニケーションの中から生じる一種の共創プロセスと捉えることが可能です.たとえばサッカーのような人間の協調作業においては,個々の選手に意識化される時間や空間が互いに共有できなければ,相互の「間(ま)」を合わせ連携プレーを実現することはできないでしょう.本テーマでは,このような問題へ向けての第一歩として,人間の主観的時間を取り上げ,その創出過程を認知と身体の循環的な作用関係の中から捉え直すことを進めています.現状では,意識化される「いま」という主観的時間が,物理的時間に先行して未来の領域に創出されることを明らかにしました.つまり,人間はコミュニケーションを介して未来という時間を共創する形式で協調しているものと考えられます.

 具体的には同期タッピング課題を取り上げます.これは周期的に提示されるリズム音に同期してボタンを押すものですが,このとき非常に興味深い現象が観察されます.それは提示している物理的な音刺激と指運動のタイミング同期と,被験者に経験される認知的な同期の間にズレが生じることです.下図を見て下さい.これは横軸が時間であり,Tone onsetで示した時刻が音の発せられたタイミングです.縦軸はボタンを押した時刻の度数が示されています.明らかにボタン押しのタイミングは音の出るタイミングとずれています.しかも指の動作タイミングの方が,音の発生に先行しています.この現象は負の非同期現象と呼ばれますが,これは主観的時間と物理的時間の間にはズレがあり,主観的「いま」は音刺激に先行して予測的に顕れることを意味しています.

 われわれは,このような同期タッピングに顕れる主観的時間の創出機構を認知神経科学的に解析してきました.結果として,脳高次機能が関与する認知的過程と,それが関与しない身体的過程(身体性)として,時間の創出機構が二重化されていることを明らかにしました.さらに,両過程に対応するダイナミクスの時系列解析も進め,前者がリミットサイクル的なアトラクター,後者がフラクタル的なアトラクターから構成されることを示しました.また,これらの研究成果を踏まえて,人間2人の協調タッピングにおいて主観的時間の共有プロセスを計測し,それに基づいてモデル推定することもめざしています.現状では下図のように,個における主観的領域(図中の青色)が,身体的インタラクションとしての相互引き込みによってインターパーソナルに繋がれる構造(図中のピンク色)が明らかになっています.これは主観的時間の共創過程であり共創コミュニケーションの基礎的モデルとなるものです.


■脳機能イメージングを用いた主観的時間の神経基盤の解明

 「間(ま)」を合わせることは人間同士の協調作業において不可欠です.しかし,「間」が合うことは物理的な同調とは異なることに注意しなければいけません.既に,周期的音刺激に合わせてタップする同期タッピング実験において,人間の主観的な同調感覚は音刺激に数十ミリ秒先行してタップする状態に対応することが明らかにされているからです.このことは主観的な「いま」は未来としての予測的領域に創出されており,物理的な現在とは異なることを意味します.そして,このような時間の創出機構が,意識化された状態の関与する認知的プロセスと,それが関与しない身体的インタラクションを介するプロセス(身体性)として,二重化されていることをわれわれは発見しました.さらに時系列解析から,それらのダイナミクス上の特徴も明らかにしてきました.

 このような主観的時間の創出に脳システムが関与していることは明らかです.そこで本テーマではf-MRIや光トポグラフィーという脳イメージング技術を導入し,その神経基盤を明らかにすることをめざします.下図はわれわれが計測に用いているf-MRIの装置です.また脳波計測を用いたトポグライックマッピングや 事象関連電位の解析も進めています.既に,下図のように認知的プロセスの創出過程としての前頭前野の関与,および身体的プロセス(身体性)としての小脳や基底核の関与を仮定して解析を進めつつあります.この延長上として,主観的時間の創出機構の神経基盤の解明が可能になるだけでなく,様々な脳疾患とコミュニケーションの関連も明らかになるものと期待されます.


■合意形成の対話における情報統合プロセスの分析

 コミュニケーションを介して人々のあいだで情報が統合されるには,記号化された情報の交換だけではなく, そのような情報を統合するためのコンテクストを生む「場」や「間」が人々の間で共有される必要があります. そこで本研究では,人間の対話をモデル系として「間」の共有機構を解析しています. 方針としては,対話,特に合意形成プロセスに注目し,言語に関わる明在的プロセスと「間」に関わる 暗在的なプロセスの時間発展の同時計測を行い,個体間での「間」の共有過程と情報の統合過程の相互関係について解析します. 最終的には,対話における「間」の共有を介して情報統合を支援できる共創インタフェース技術に発展することを期待しています.

 既に,われわれは合意形成の対話コミュニケーションの解析に着手し,言語に関わる明在的セマンティクスと「間」に関わる 暗在的ダイナミクスの時間発展の同時計測を進めました.前者については会話分析を用いて合意度として評価し, 後者については会話の交替潜時(ポーズ長)の相関解析を行っています.その結果,合意度の上昇とともに被験者間の交替潜時の 時間発展が同調する興味深い現象を発見しました.これは情報統合に「間」の共有が重要であることを示唆する知見です. 以下の図では,右が対話における音圧の時間発展を示しており,左がそれに対応した実験の様子です.


■対話における発話と身振りのタイミング制御モデル

 コミュニケーションにおいて言語的に表現される情報は不可欠ですが, その一方で,言語的には表現することができない非言語的な情報も重要な役割を果たしています. この非言語的な情報には,ジェスチャーや視線などの視覚的なものや音声の韻律情報などがあり, その中でも発話タイミングのような対話の時間的な構造(「間」)が,コミュニケーションが円滑に行われるための重要な要素 として注目されてきました.そこで本研究では,対話コミュニケーションにおける発話と身振りのタイミング制御に注目し, そのモデル化をめざします.

 われわれは既に,指示者と被指示者という関係の対話において,発話長およびその交替潜時のあいだでの相関解析, それに頷きや把持動作など身振りのタイミングも加えた相関解析を実施し,それらのタイミング制御のモデル推定を進めてきました. そして,その結果いくつかの興味深い事実が明らかにされてきました.まず,発話長と交替潜時のあいだには正の相関があること, つまりゆっくり話せば「間」も自然に長くなること。さらに,頷きなどの身振りのタイミングは発話開始タイミングに先行すること, つまり話し始める前に身体は既に動作を開始していること。そして,同じ言葉でもタイミングが異なるとその意味まで異なってしまうことも 明らかになりました.これらの成果に基づいてタイミング制御モデルを構築し,そのセマンティクス(意味論)の領域への影響の 調査も進める予定です.

 以下に示すムービーは人間とアバターの間での対話です.人間側の指示に対してアバターが「はい」と答えるタイミングを制御したときの影響を 調査したものです.交替潜時が600msのときの例が左側で,自然な対話になっていることがわかります.しかし,右側の例では1800msに設定されており, アバターの「はい」という応答が,必ずしもYesの意味ではないように聞こえます. このようにタイミング(「間」)は言語の意味を規定するコンテクストの 役割を担っており,今後の言語研究においても不可欠なファクターとして注目されることが期待されます.

・交替潜時=300msの対話 (MPEG 5,130KB)   ・交替潜時=1800msの対話 (MPEG 10,398KB)


■ダンスの身体的インタラクションにおける「間」の共有

 ダンスとは舞台における時間と空間の生成プロセスそのものです. そこでは踊り手ひとり一人の中に生成する時間と空間が舞台という「場」と「間」を介して共有され, ひとつのストーリーとして紡がれてゆきます.これは踊り手のあいだでの共創プロセスそのものであり, さらに観客も含めたより大きい共創のプロセスにもなっています.これは踊り手と舞台, そして観客のあいだでの「表現循環」と呼び得るものです. 本研究では,踊り手の動きがストーリーとして紡がれてゆくプロセスにおいて、 ストーリーのセマンティクスとそれに対応する「間」のダイナミクスを解析します. これによって「表現」を介する共創プロセスの基本的な特性を明らかにする予定です.






●共創コミュニケーションの支援システム


■共創型ロボットWalk-Mateによるリハビリテーション支援

 「間(ま)」を合わせることは人間同士の協調作業において不可欠です.これは人間と人工物の協調においても同様です.しかし,このとき「間」が合うということは物理的な同調とは異なるという点に注意しておかなければいけません.主観的時間としての「いま」は未来としての予測的領域に創出されるからです.したがって,人間と人工物の協調においても,従来の物理的リアルタイム性に基づく協調機構に加えて,認知的同時性としての「間」の共有も考慮される必要があります.しかし,現状のインタフェース技術は物理的時間に基づく協調をめざす段階にとどまっており,人間にとっての「間」を考慮に入れたシステムはまだ存在しません.そこで,本テーマでは,このような「間」の共創機構に基づくインタフェース設計をめざします.

 われわれは既に,主観的な時間の創出機構が,意識状態が関与する認知的過程と,それが関与しない身体的過程(身体性)として,二重化されていることを明らかにしましたが,それを下図のような二重化されたダイナミックスとしてモデル化します(Dual-dynamics Model).これによって,人間同士のような「間」の合う協調関係を人間と人工物の間に再構成することが可能になります.そして,その結果として,人間と人工物が互いに「相互適応」する中で相互のタイミングを調整し,様々な協調機能をリアルタイムに生成できる,新しいインタフェース技術が確立されます.

 具体的には高齢者の歩行介助を取り上げています.リハビリの現場では,患者と療法士が一緒に「間」を合わせて協調歩行する中で歩行訓練が実施されており,それを患者と歩行介助ロボット(Walk-Mate)の間に再構成します.誰かと並んで歩くときに,歩調が自然と揃ってしまう体験は誰にでもあるとは思いますが,それを人間とロボットの間で実現する訳です.下図のように人間側の脚接地タイミングをロボット側に送り,ロボット側の脚接地タイミングを足音として人間側にフィードバックします.そこでは人間とロボットがお互いの足音を聞きながら一緒に歩くことで歩行リズムの相互引き込みを実現します.これによって歩行運動の動的安定化(転倒防止)や歩行機能の再学習(リハビリ)を支援できるようになりました.現状では脳卒中の片麻痺やパーキンソン病の患者さんへの適用を進めています.

 ムービーでその様子を示します.脚の一方を固定して擬似的に歩行障害を構成した場合におけるWalk-Mateとの協調歩行の効果をご覧下さい.歩行障害を模擬した単独歩行では,左膝関節を固定していますが,歩きにくくなっている様子がわかると思います.これに対してWalk-Mateとの協調歩行では,ピッポピッポという音を介して相互の歩行リズムの「間」が揃っています.これによって歩行運動の安定性が改善され,しかも左右脚での非対称性も改善されています.また,これと類似の効果が実際の患者さんでも既に確認されています.

・歩行障害を模擬した単独歩行 (MPEG 2,607KB)   ・Walk-Mateとの協調歩行 (MPEG 2,553KB)

 最近では,われわれのWalk-Mateをベースにした歩行リハビリシステムも開発され始めています.下記のものはホンダ技研が提案している「リズム歩行アシストロボット」ですが,その制御機構にはわれわれの技術が使用されています.(ホンダ技研は独自技術として発表していますが・・・^^;)

■遠隔会議システムにおける「間」の共有支援
    (作成中)

■ヒューマン・ロボット・インタラクションにおける発話と身振りの「間」

 コミュニケーションにおいては,言語的情報だけではなく非言語的な情報も重要な役割を果たしています. われわれは,その中でも発話タイミングのような対話の時間的な構造(「間」)が, コミュニケーションが円滑に行われる上で重要な要素になると考えてきました. そして人間同士の対話における発話と身振りのタイミングに注目し,そのモデル化を進めています. 現状では,指示者と被指示者という関係の対話において,発話長およびその交替潜時のあいだでの相関解析, それに頷きや把持動作など身振りのタイミングも加えた相関解析を実施し,それらのタイミング制御モデルを推定しています.

 そこで本研究では,違和感の少ない自然なヒューマン・ロボット・インタラクション技術の確立に向けて, この発話と身振りのタイミング制御モデルを人間とロボットのインタラクション上に実装し、 対話コミュニケーションを再構成することをめざします. 具体的には,三菱重工製のWakamaruロボットにタイミング制御モデルを実装し,指示者側を人間に被指示者側をロボットに対応させます. その上で,指示者である人間の側から見たWakamaruロボットとの対話の自然さや信頼感,親近感などの印象をアンケートを用いて定量化しています.

 以下に示すムービーでは,人間側の指示に対してアバターが「はい、わかりました」と答える対話が実現されています. 左側が発話と身振りのタイミング制御モデルを動作させる場合であり,右側がタイミング制御が全くなされていない場合です. その結果,左側では比較的自然な対話が実現されているのに対して,右側では不自然さが残されており, タイミング制御の有効性が示されています.これらの成果は,発話と身振りのタイミング制御を通して「間」を共有することが, 対話コミュニケーションにおいて重要であることを意味しています.

・発話と身振りのタイミング制御 (MPEG 1,109KB)   ・タイミング制御なし (MPEG 1,720KB)


■対話コミュニケーションにおける「間」のクウォリティ

 留守番電話やボイスメールへの音声入力の際に,「間(ま)」がうまく取れなくて困った体験をされた方は多いものと思います. このことは,われわれの発話という行為も一方的なメッセージの伝達ではなく,対話という相互行為の中で共に創り上げられる 共創プロセスであることを示唆します.このような観点から捉えると,現状の市販されているシステム(たとえば携帯電話など)は, 音の品質には非常にこだわっていますが,「間」の品質にはほとんど無関心であることがわかります. われわれは,対話コミュニケーションにおける「間」のダイナミクスに関する研究成果に基づいて, 「間」のクウォリティを向上させる音声入出力インタフェースの開発を進めています. 具体的には携帯電話への応用をめざします.


■音楽コミュニケーションにおける共感空間の創出

 共創型インタフェースは,人間と人工物の関係にとどまらず, 人間相互の共創的コミュニケーションという拡張された枠組みの中に位置づけられなければなりません. このような問題意識に基づいて,人と人の共創プロセスを支援できる共創型メディアの開発も進めています. 具体的には,アミューズメントやセラピーなど「こころ」が重要となる問題を例題として, 共感空間のデザインに関する研究を進めます.特に,音楽における演奏者と聴取者のインタラクション および演奏者相互のインタラクションに着目し,音楽アンサンブルを共創型メディアプレーヤーとして 再構成する研究,さらに遠隔地アンサンブルを支援する共創型サイバーアンサンブルシステムの 研究などを行っています.また音楽運動療法への共創システムの適用と評価も進めます.

 ムービーで音楽アンサンブルの様子を示します.共創型のアンサンブルシステムでの 演奏の様子を,カラオケ型のアンサンブルと比較します.カラオケ型の場合には,人工物側が常に一定の テンポで演奏するため,人間側と「間」を合わせることはありません.この場合の演奏の様子からご覧下さい. その上で,共創型アンサンブルと比較してみてください.演奏者の体の動きや曲の抑揚から,共創型の方が, プレーヤーが「乗って」演奏していることがわかります.このように「間」を合わせることは, アートとしても非常に重要な要因になります.

・カラオケ型のアンサンブル (MPEG 7,350KB)   ・共創型のアンサンブル (MPEG 7,315KB)


■事象関連電位ERPを用いた相互適応型ブレイン・マシン・インタフェース

 ブレイン・マシン・インターフェイス(BMI: Brain-Machine Interface) とは,脳と機械を直接つなぐシステムであり, 脳の信号を機械へ入力しその機械を制御したり,機械からの信号を脳へ入力しその神経活動を制御したりすることが可能です. この分野は,神経生理学,神経イメージング,神経リハビリテーション,脳の可塑性,そして工学のこれらの専門分野の 学際的,融合的領域であリ,近年急速に研究が進んでいます.その中で,われわれは事象関連電位(ERP: Event-Related Potential)に 基づくブレイン・マシン・インターフェイスに注目しています.具体的には,P300 Spellerと呼ばれる文字入力システムをモデル系として使用します. ここでは,従来,脳の信号を読み出すことに重点が置かれていましたが,われわれは事象関連電位を用いて脳と機械の相互適応系を構成する ことに取り組んでいます.これは共創的インタフェースの基盤技術となるものです.





●共創的コミュニティーのデザインへ向けて

■社会的ネットワークにおける共創的イノベーションの場づくり
    (作成中)


■インクルーシブ・デザインに基づく共創型ロボットWalk-Mateの開発

 現代の社会では,科学技術の論理が暴走し生活の論理と乖離しつつあり, それによって2つの論理の界面に位置する社会的領域に様々な矛盾が生じています. その一例は医療ですが,われわれは医療技術としての福祉機器を取り上げ, その開発プロセスにおける医師や研究者の担う科学技術側の論理と, 患者や家族の担う社会生活側の論理の間での乖離を克服する方法を探っています.

 たとえば日本で使用されているリハビリ機器のほとんどが外国製であるという事実をご存知でしょうか? 日本の工業技術力の高さを考慮した時,この事実は極めて奇異に映るでしょう. この背景には,学術としての基礎研究には力を入れても応用研究を軽視する研究者の姿勢があります. つまり学術的完成で研究開発を終了させてしまい,患者の真のニーズを満たす段階にまで至らない事例が多いのです. そのため科学技術側の論理だけに閉じた福祉機器になってしまい,患者にとっては非常に使いにくいシステムが溢れています.

 そこで本研究では,上記のような問題を克服するために,これまでわれわれが研究してきたWalk-Mateを具体例として取り上げ, その開発プロセスにおいて, 患者やその家族という生活者サイドの人々と研究者や医師という科学技術サイドの人々が相互乗り入れする「場づくり」を推進します. これによって生活者(患者・家族・地域)への科学技術のリテラシーと研究者側への社会リテラシーを同時に実現し, それによって従来型の研究者中心の医工連携の枠組みを超えた,患者との共創的コラボレーションを可能にする福祉機器の 開発プラットフォームを構築(インクルーシブ・デザイン)することをめざしています.

 これは一種の社会的コミュニカビリティーの拡大による2つの論理の矛盾の克服といえるでしょう. そしてわれわれは,研究者と生活者の単純な相互リテラシーでなく, それに先行する「場づくり」から開始することによって2つの論理の矛盾を捨象せず, 矛盾を社会的な共創のサイクルとして再生することをめざします. なお,本プロジェクトは文部科学省 JST社会技術プロジェクトとして推進されています.




about our lab & this site == info@dis.titech.ac.jp