- 音を中心としたマルチモーダル処理
- 音のバーチャルリアリティの高度化
- スマートホーム – 音が人に寄り添う，確実に情報を届けるシステム
- e-learningシステムを活用した学びの活性化
1. 音を中心としたマルチモーダル処理
音は身近な存在ですね。心を活性化する元気な音楽を聴くと作業が捗ると感じたことはありませんか？一方，静かな図書館などで勉強をすると集中できて勉強が捗ったと感じることもありますね。携帯電話を操作しながら運転をすることは法律で規制されていますが，ヘッドセットなどを用いて運転中に会話をすることは運転を妨げない限りは許されています。一体，何が問題なのでしょうか？安全に運転することを最優先にすべきで，携帯電話を操作することや注視することは明らかに安全ではありません。運転中に会話に集中してしまうこともありますが，これも大変危険です。ヒトが音を聞いたり物を見て得た情報に基づいて動作をするもしくは判断をすることは日常的に行っていることですが，聞くことや見ることに集中してしまうと判断や動作に影響を及ぼします。
このように，音は身近であり，我々の行動に影響していることは明らかですが，この視覚情報や聴覚情報がヒトの判断や行動にどの様に影響を及ぼすかは，様々な場面に依存し，すべてを実験することは難しく，未だにヒトの特性を完全に明らかに出来ていません。しかし，ヒトの特性を明らかにすることにより，ヒトが出来る限界を明確にでき，危険が生じる環境にならないように安全設計に役立ちます。また，ヒトは訓練をすることにより能力が向上します。その限界と能力向上の境界をヒトに付与し，その限界を超えることを感じるとヒトは喜びを感じます。アミューズメントシステムやゲームのステージクリア条件などでヒトの限界点を考慮した設計を行うと今までに無い新しい世界を創出できると考えています。
2. 音のバーチャルリアリティの高度化
昨今の技術の発達により写真やビデオを撮る機会は増えていますね。画像や動画で音があると我々の日常に感じていることに寄り近づき臨場感が増しますね。画像や動画のみとなる場合は少なくありません。特にプライバシーを考慮すると音情報は制限を受ける場面があります。プライバシーに配慮した音情報がある画像や動画は活用範囲が広がります。このプライバシーを保護する技術は，音信号内の音声のみを低減/除去し，プライバシーに影響の無い音声を付与し，視覚情報として与えられる画像や動画と違和感のない音を作成する必要があります。これには，画像/動画処理技術，音響信号処理技術が必要で，画像/動画に基づくヒトが違和感を感じない心理モデルを構築し，それに基づいた音響ミキシングを行う必要があります。さらにはそのコンテンツを利活用するアプリケーションソフトウェアも必要です。このテーマに関するサブテーマは次に示すとおりです。
2-a. 画像/動画内のオブジェクト認識，位置推定，動きの予測
2-b. 画像/動画情報に基づく心理モデルによる音響ミキシング
2-c. 画像/動画情報に基づく音像生成技術
2-d. 画像/動画におけるオブジェクトの位置と音像の関係がヒトに与える影響
2-e. 画像/動画におけるオブジェクト毎への注意配分
3. スマートホーム – 音が人に寄り添う，確実に情報を届けるシステム
昨今，音声認識技術の飛躍的な向上により，室内でのIoT機器の音声制御が可能なサービスが充実しつつあります。これらのデバイスは各部屋に1つは設置されることが期待されます。このように室内のIoT機器の機能充実に期待して，「音が人に寄り添う室内での音サービス」を考えています。その一例として，コロナ禍において日常的に住民への情報伝達手段として利用されている防災行政無線が聞きづらい状況を解決するためにIoT機器を活用することを目指します。
4. e-learningシステムを活用した学びの活性化
何かを学習する際には，記憶することから始め，定着するまでそれを繰り返します。記憶すべき事柄が少量で短時間で覚えられるのであれば良いのですが，記憶すべきことが多くなれば要する時間も長くなります。これは，記憶だけでは無く，日常的な作業においても同じことがいえます。継続的に何かを続けるには，人の意思や動機が大きく影響します。大学では，長期的な自主的な学習が望まれる「卒業研究」があり，3年次までの「設計された与えられる学習」を行ってきた学生にとっては自主性/持続性を維持するすることが大変難しいでしょう。この自主的で長期的な研究/学習を維持するためには，定期的な学習機会を設計し，目標への達成度を日頃から確認し，問題が生じれば指導教員と相談するというプロセスが必須です。目標を設定し，誰かと協調作業を行うために，そしてそれを活性化することをアシストするにはどのようなことが必要で，どのような支援システムが必要かを検討しています。
苣木（ちさき）