静岡大学情報学部　西田研/綱川研/西村研

西村研究室では音を中心としたセンサー情報の処理技術や深層ニューラルネットなどの自動認識技術を駆使し，人間の機能を補助・拡張する技術の研究を行なっており，具体的には以下のような研究テーマに精力的に取り組んでいます。 　

これまで我々の研究室では皮膚接触型マイクによって収集された咀嚼音・嚥下音を用いた口腔内食行動の可視化技術や，咀嚼嚥下機能の自動評価技術を開発してきました。 ここではこれらの技術をベースとした上で，食物を視認してから口へと運び， 嚥下するまでの一連の食行動について，生体音に加えて加速度センサの情報や画像情報を併せて収集することで，大規模かつ詳細な情報が付与された食行動のデータベース構築に取り組んでいます。 このデータベースは食行動に関する認識技術の改良だけでなく，保健・医療の観点から口腔機能の詳細な分析，特に高齢者における口腔機能低下の要因分析にも活用できるものと期待されています。 　

画像（骨格情報），加速度・角速度そして音に関する情報を併用することで，工場作業の行動認識の研究にも取り組んでいます。（一部はヤマハ発動機との共同研究）

咽喉付近に配置した複数のマイクを用いて，嚥下機能の検診や誤嚥の診断に役立つシステムの開発を行なっています。 これまでに，嚥下機能検診で用いられるオーラルディアドコキネシスや反復唾液嚥下テストの自動測定ソフト， 在宅嚥下障害者の咳嗽（むせ）の自動計測によって嚥下機能の長期的な変化を遠隔モニタリングするシステムなどを開発しました。 また，嚥下機能低下の音による評価を目的として，嚥下造影検査（VF）で得られた画像と　嚥下時に生じる音響特徴量の対応関係の分析を行なっています。 (千葉大，君津中央病院，静岡県立大，広島大との共同研究, 科研費基盤(B), 挑戦的研究（開拓））

ロボットもしくは心理士との対話音声を分析対象として，軽度認知症（MCI）を含む認知症者の自動スクリーニング技術に関する検討を行なっています。（筑波大，日本IBMとの共同研究 科研費基盤(A)）

ここではヒトの発話行動に着目し、多人数会話におけるインターラクションの内容を自動的に分析、可視化する方法について研究しています。 深層ニューラルネットワークを活用し、発話衝突に頑健な発話検出アルゴリズムの開発と、発話衝突時にも高い認識精度を維持できる音声認識システムの開発を行っています。 また，皮膚接触型マイクを用いた食行動認識と音声認識の技術を統合することで「完全ライフログ」の実現を目指す研究も開始しています。 （一部は産業技術総合研究所との共同研究）

主に高齢者の心身状態を把握することを目的として，知的活動と関連性の大きい「話す」という行動を，そして健康状態と相関の高い「食べる」という行動を，それぞれ自動的に検出し，行動を可視化するための研究を行っています。 その他，食事介護の支援を目的として飲食時の嚥下を自動検出して報知するシステムや，健康管理のために咀嚼や嚥下の機能を自動評価するためのシステムを，深層ニューラルネットワーク技術を活用して開発しています。（一部はNTTドコモとの共同研究）

回想法を模倣して高齢者の話し相手となるウェアラブル雑談対話システムの開発を行っています。

先天的な聴覚障がいの場合，発音がどうしても不明瞭となるケースが多く，通常の音声認識装置を使っても高い性能を得ることができません。 このような方でも音声認識機能の恩恵を十分受けられるよう，音声認識システムの適応化方法の検討を行っています。
また，聴覚に障害を持つ方は周囲の音環境情報を取得し，理解することが困難です。 信号処理及び機械学習の手法を活用し，周囲のあらゆる音情報を分かりやすく伝えるための実時間認識システムの開発に加え， 環境音の存在自体を障害のある人に学んでいただくためのVRシステムの開発などに取り組んでいます。(一部は国立障害者リハビリテーションセンター，武蔵野大との共同研究）

ヒトの行動・状態理解プロジェクトです。装着が容易な機材を使い、長時間(24h,7d)の行動・状態観察を可能にします。
音、特に音声は貴重な情報を含む巨大な情報源（ビッグデータ）ですが、テキストデータなどに比べてコンピュータ処理可能な形で記録されることが少なく、多 くのデータが日々霧散しています。この研究室ではビッグデータの時代にあって未活用な音情報資源に着目し、音声認識技術による言語的な情報抽出に加え、音 からヒトの行動や心身の状態までを深く分析し，理解するための技術を研究しています。

高齢者への負担も小さい音データの収集方法として，咽喉マイク（スロートマイク）と集音マイクを併用する方法を提案しました。 大変簡便な装置ですが，高齢者の健康維持にとってとても重要な意味を持つ、「話すこと」、「食べること」に関係する多様な情報を獲得できることが分かって きました。特に、LSTMなどの深層ニューラルネットワークの技術を取り入れることで、従来法より高精度な識別が可能となっています。多方面の方々の協力 を得ながら、高齢者の介護や支援にも活かせる情報の抽出を目標として研究を進めています。

音声を使ってヒトの心の状態を認識するための研究を行っています。
これまで日常的に収録した音声からの抑うつ度の自動推定の検討を行ってきましたが，この技術の応用先としてはコールセンターでの顧客やオペレータのストレス検出など（右図参照）を想定しています。 また，精神医学分野への応用として，大うつ病性障害患者を対象として，精神疾患の診断補助になりうる音声バイオマーカーの検討を行っています。

西田研究室では，音・音声処理や機械学習の技術を用いてディジタルデバイド （情報格差）をなくし，年齢や障がいの有無を感じさせないユニバーサルな コミュニケーションを実現するために研究を行っており，具体的には以下の ような研究テーマに取り組んでいます。 　

議事録の自動作成やグループワークの評価支援などを目指して多人数会話の音声認識に取り組んでいます。 多人数会話では周囲の環境音や発話が重畳することによって音声認識精度が低下する問題があります。 それらの問題を解決する方法として，首に装着する咽喉マイクを用いた取り組みを行っています。 咽喉マイクにより周囲の環境音や発話の重畳の影響を抑制できますが，通常の音声認識システムでは 音声認識精度が低下する問題があります。これは通常の音声認識システムのモデルを学習する 際に用いられる音声データを収録したマイクと音響的なミスマッチがあるためです。 これらの音響的なミスマッチを解消する方法について検討しています。

視覚障がい者のための仮名漢字変換を支援する研究に取り組んでいます。 視覚障がい者はスクリーンリーダとよばれる画面の情報を音で伝えるシステムを使用しています。 従来のスクリーンリーダでは変換候補の漢字の一文字を別の漢字に置き換えて伝える 詳細読みとよばれる方式で仮名漢字変換を行っています。しかし，詳細読みでは漢字の字形 を連想できなければならない，同音異義語の区別がつかないという問題点がありました。 そこで，詳細読みに加えて意味情報や例文などの説明から構成される視覚障がい者用の 漢字辞書を構築する研究を行っています。これにより視覚障がい者の仮名漢字変換がより 正確に行うことができ，漢字をより理解しやすくなると考えられます。

聴覚障がい者の日常生活における音・音声支援に取り組んでいます。 聴覚障がい者は音・音声を聞くことができないので，日常生活で困難が 生じています。そこで，携帯の着信音や電子レンジの音など日常生活 で生じる環境音か人の声かを判別し，環境音と判別されれば機械学習で認識し， 人の声と判別されれば音声認識を行って，それぞれの認識結果を スマートグラスで可視化する研究を行っています。

聴覚障がい者のスポーツ観戦支援に取り組んでいます。 聴覚障がい者への日常生活の支援は数多く取り組まれていますが， 娯楽に関する支援は日常生活の支援に比べて少ないです。 聴覚障がい者は音・音声を聞くことができないので， 試合の状況が理解しづらく，周囲との一体感を味わうのが 難しいため，スポーツ観戦を十分に楽しむことができません。 そこで，ブザーやホイッスル，歓声などを機械学習で認識し， 認識結果をスマートグラスで可視化する研究を行っています。

手話人口を増やすことを目指して，独学で容易に手話を学習 できる手話学習支援システムの構築に関する研究に取り組んで います。独学で手話を学ぶ際には，書籍やDVDが用いられます。 しかし，書籍やDVDでは手話の動きで重要な前後方向の動きが わかりづらかったり，学習者がお手本をまねて行った手話が 正確にできているかが判断できない問題があります。そこで， Kinectと3Dモデルを用いた手話学習支援システムを開発し， 学習者とお手本の手話に対して手の動きの軌跡を表示し， お手本の手話とどれくらい手の動きが似ているかをDPスコア で算出し，学習者とお手本の手話を3Dモデルでモデル化 することで，様々な角度から手話を比較することができます。 しかし，お手本と比べてどの部位がどれくらいずれているかが わからず，正確に手話を学習することが難しいという問題が ありました。そこで，学習者の手話を定量的に分析する方法 として多変量関数主成分分析を用いた手話学習支援システムの 構築に関する研究を行っています。

高齢者を対象とした口腔機能評価のための食事音データベースの構築と分析 に関する研究に取り組んでいます。 摂食嚥下機能の低下は高齢者の健康寿命に大きく影響することが知られて います。ここでの口腔機能とは，主に咀嚼・嚥下・口腔内環境のことを指 します。咀嚼能力の低下は様々な食品の摂取を困難にし，嚥下機能の低下 は誤嚥性肺炎に繋がります。こうした口腔機能の低下は咀嚼機能不全や 摂食嚥下障害に繋がり，全身的な健康を損ないます。そこで，若年者及び 義歯装着高齢者を対象として口唇画像や咀嚼音・嚥下音を収集し，咀嚼 位置や口腔機能評価を含む詳細な食行動データベースを構築しました。 分析の結果，高齢者は若年者よりも咀嚼回数や嚥下継続時間が変化すること， また咀嚼回数のような自動抽出可能な特徴量が，簡便な口腔機能評価指標 となり得ることがわかりました。構築したデータベースは，嚥下や咀嚼の 自動検出の研究に用いられています。