音・言語情報処理技術

音声認識・分析技術によって日々霧散する音の情報を捉えるとともに,言語処理によってネット上の膨大な言語知識を利活用し、社会の様々な課題解決に貢献することが我々の目標です。

 

24/7行動モニタリング

ヒトの行動・状態理解プロジェクトです。装着が容易な機材を使い、長時間(24h,7d)の行動・状態観察を可能にします。
音、特に音声は貴重な情報を含む巨大な情報源(ビッグデータ)ですが、テキストデータなどに比べてコンピュータ処理可能な形で記録されることが少なく、多くのデータが日々霧散しています。この研究室ではビッグデータの時代にあって未活用な音情報資源に着目し、音声認識技術による言語的な情報抽出に加え、音からヒトの行動や心身の状態までを深く分析し,理解するための技術を研究しています。


高齢者への負担も小さい音データの収集方法として,咽喉マイク(スロートマイク)と集音マイクを併用する方法を提案しました。 大変簡便な装置ですが,高齢者の健康維持にとってとても重要な意味を持つ、「話すこと」、「食べること」に関係する多様な情報を獲得できることが分かってきました。特に、LSTMなどの深層ニューラルネットワークの技術を取り入れることで、従来法より高精度な識別が可能となっています。多方面の方々の協力を得ながら、高齢者の介護や支援にも活かせる情報の抽出を目標として研究を進めています。


  • (preprint) 西村他,"生体音と環境音の同時収録による高齢者の行動および身体状態認識に関する検討," 音響学会講演論文集, 2-4-9, pp. 1309-1310, 2015 March.
  • 小林他, ”嚥下音を用いた水分摂取量推定手法の研究," 情報処理学会論文誌, Vol.57, No.2, pp.532-542, 2016.
  • 西村他,”高齢者の食べることと話すことを支える情報システムに関する研究, 電気通信普及財団成果報告書 第32号2017年度
  • 多人数インターラクション

    ここではヒトの発話行動に着目し、多人数会話におけるインターラクションの内容を自動的に分析、可視化する方法について研究しています。特に、発話衝突に頑健な発話検出アルゴリズムの開発と、発話衝突時にも高い認識精度を維持できる音声認識アルゴリズムの開発を行っています。

    図はそれぞれ多チャンネル情報を利用した多人数会話における発話区間推定フローと音声認識の前処理として用いる入力信号変換フローを示しています。 区間推定では発話衝突の頻出する多人数会話状況において、0.9以上というこれまでにない高いF値(再現率と適合率の調和平均)を達成するとともに, 咽喉マイクの入力と接話マイクの入力を深層ニューラルネットワーク(DNN)の技術を用いて統合処理することで,発話衝突時における認識精度の改善も実現しました。


  • (preprint) 大高他,”咽喉マイクとピンマイクの同時集音に基づく多人数会話における発話区間推定,” FIT2016, E-020, pp.149-150, 2016. (FIT奨励賞受賞)
  • (preprint) 林他,”多元的音情報に基づく頑健な音声認識に関する研究,” 音響学会講演論文集, 3-P-4, 2016 March.
  • (preprint) 林他,”複数の装着型マイクを用いた多人数会話音声認識の検討," 音響学会講演論文集, 1-R-15, 2017 September.
  •   

    高齢者向け対話システム

    対話を通して高齢者を支援する方法を研究しています。薬などの大切なスケジュールの管理,認知機能・身体機能の評価に加え,見守り,話し相手といった複数の役割を果たせる高齢者向け対話ロボットの開発を行っています。


    これまでに高齢者の認知機能維持に有効とされている「回想法」のテクニックを模擬したテキストチャットベースの対話システムを開発しました。 また、音声対話に関しては、パラ言語や非言語情報(笑い,ため息など)を利用し,必要な情報を自然な対話を通して収集する「能動的情報収集システム」の構築を行っています。


  • (preprint) 中島他,”回想法を模擬した高齢者向け対話システムの構築に関する研究,” 情報処理学会第78回全国大会, 6ZB-01, 2016 March.
  • (preprint) 栂井他,”非言語音響情報を利用した聞き役対話システムに関する検討,” 情報処理学会第78回全国大会, 6Q-03, 2016 March. (学生奨励賞受賞)
  • (preprint) 栂井他,”非言語音響情報を利用した話題誘導を行う情報収集対話システム," FIT2017, E-003, 2017 Sepbember.(FIT奨励賞受賞)
  •   

    ストレス状態の自動検出

    音声を使ってヒトの心の状態を認識するための研究を行っています。
    これまで日常的に収録した音声からの抑うつ度の自動推定の検討を行ってきましたが,この技術の応用先としてはコールセンターでの顧客やオペレータのストレス検出など(右図参照)を想定しています。 また,精神医学分野への応用として,大うつ病性障害患者を対象として,精神疾患の診断補助になりうる音声バイオマーカーの検討を行っています。


  • "Major depressive disorder discrimination using vocal acoustic features," Takaya Taguchi, HirokazuTachikawaa, Kiyotaka Nemotoa, Masayuki Suzuki, Toru Nagano, Ryuki Tachibana, Masafumi Nishimura, Tetsuaki Arai, Journal of Affective Disorders 225C pp. 214-220 (2018).(電子出版済)
  •   

    嚥下機能の評価・分析

    咽喉付近に配置したマイクを用いて,嚥下機能の検診や誤嚥の診断に役立つシステムの開発を行なっています。 これまでに嚥下機能検診で用いられる,オーラルディアドコキネシスや反復唾液嚥下テストの自動測定ソフトを開発しました。また,誤嚥が起きた時に生じる音の特徴についての分析を精力的に行なっています。


  • (preprint) 山下他,"咽喉マイクを用いた嚥下機能検査システムの開発,", 2016.12. (WiNF2016 優秀論文賞受賞)
  •   

    視覚・聴覚障害者のための歩行支援

    視覚・聴覚障害者のための歩行を支援する研究を行っています。 視覚障害者は音を聞くことができますが,対象の音が何を表しているかを正確に把握することは困難です。また,聴覚障害者は視覚を向けなければ周囲の状況を理解することができません。 そこで,人の声や環境音を認識することで,周囲に人がどれくらいいるか,車や自転車,人が接近しているなど周囲の環境の状況を音や映像で伝える方法について検討を行っています。

      

    視覚障害者のための意味情報に基づく仮名漢字変換

    視覚障害者のための仮名漢字変換を支援する研究を行っています。 視覚障害者はスクリーンリーダとよばれる画面の情報を音で伝えるシステムを使用しています。従来のスクリーンリーダでは変換候補の漢字の一文字を別の漢字に置き換えて伝える 詳細読みとよばれる方式で仮名漢字変換を行っています。しかし,詳細読みでは漢字の字形を連想できなければならないという問題点がありました。そこで,新たな仮名漢字変換方式として 変換候補の漢字の意味情報を伝える方法について研究を行っています。

      

    聴覚障害者のための手話対話システム

    聴覚障害者のための手話によるコミュニケーション支援に関する研究を行っています。 健常者の発話を音声認識し,その結果を手話で合成して聴覚障害者に出力する。また,聴覚障害者の手話を認識し,その結果を音声で合成して出力する ことで健常者と聴覚障害者のコミュニケーションを支援するシステムの構築を目指しています。また,初学者の手話を評価したり,誤りやすい手話を実演してくれる 手話の学習システムについて検討を行っています。

      

    Wikification───Wikipedia記事へのリンク付与

    オンライン百科事典であるWikipediaでは、記事中の重要な語句に他の記事へのリンクが付与されています。Wikipediaではリンクは人手で作成されていますが、多大な労力を要しており、テキストに自動でリンク付与 (Wikification) を行う研究が進められています。Wikificationの実現には、大きく分けて以下の二つの問題を解決する必要があります。

    • ・どの語句にリンクを付与するか
    • ・各語句に、どの記事へのリンクを付与するか
    それぞれの問題に対して、Wikipediaがもつ多言語の情報を用いた機械学習による解決方法を検討しています。以下のページでは、過去に実施したWikificationに関するプロジェクトの成果を公開しています。

    Wikipediaの多言語利用における言語障壁の解消に関する研究

      
     
    Copyright(c) 2014 静岡大学情報学部西村&綱川/西田研究室 All Rights Reserved. Design by http://f-tpl.com