静岡大学情報学部　西田研/綱川研/西村研

西村研究室では音を中心としたセンサー情報の処理技術や深層ニューラルネットなどの自動認識技術を駆使し，人間の機能を補助・拡張する技術の研究を行なっており，具体的には以下のような研究テーマに精力的に取り組んでいます。 　

これまで我々の研究室では皮膚接触型マイクによって収集された咀嚼音・嚥下音を用いた口腔内食行動の可視化技術や，咀嚼嚥下機能の自動評価技術を開発してきました。 ここではこれらの技術をベースとした上で，食物を視認してから口へと運び， 嚥下するまでの一連の食行動について，生体音に加えて加速度センサの情報や画像情報を併せて収集することで，大規模かつ詳細な情報が付与された食行動のデータベース構築に取り組んでいます。 このデータベースは食行動に関する認識技術の改良だけでなく，保健・医療の観点から口腔機能の詳細な分析，特に高齢者における口腔機能低下の要因分析にも活用できるものと期待されています。 　

A. Karmakar et al., "Eating and Drinking Behavior Recognition Using Multimodal Fusion,” GCCE2023, pp.210-213, 2023.10.


[作業行動認識]

画像（骨格情報），加速度・角速度そして音に関する情報を併用することで，工場作業の行動認識の研究にも取り組んでいます。（一部はヤマハ発動機との共同研究）

咽喉付近に配置した複数のマイクを用いて，嚥下機能の検診や誤嚥の診断に役立つシステムの開発を行なっています。 これまでに，嚥下機能検診で用いられるオーラルディアドコキネシスや反復唾液嚥下テストの自動測定ソフト， 在宅嚥下障害者の咳嗽（むせ）の自動計測によって嚥下機能の長期的な変化を遠隔モニタリングするシステムなどを開発しました。 また，嚥下機能低下の音による評価を目的として，嚥下造影検査（VF）で得られた画像と　嚥下時に生じる音響特徴量の対応関係の分析を行なっています。 (千葉大，君津中央病院，静岡県立大，広島大との共同研究, 科研費基盤(B), 挑戦的研究（開拓））

ロボットもしくは心理士との対話音声を分析対象として，軽度認知症（MCI）を含む認知症者の自動スクリーニング技術に関する検討を行なっています。（筑波大，日本IBMとの共同研究 科研費基盤(A)）

ここではヒトの発話行動に着目し、多人数会話におけるインターラクションの内容を自動的に分析、可視化する方法について研究しています。 深層ニューラルネットワークを活用し、発話衝突に頑健な発話検出アルゴリズムの開発と、発話衝突時にも高い認識精度を維持できる音声認識システムの開発を行っています。 また，皮膚接触型マイクを用いた食行動認識と音声認識の技術を統合することで「完全ライフログ」の実現を目指す研究も開始しています。 （一部は産業技術総合研究所との共同研究）

主に高齢者の心身状態を把握することを目的として，知的活動と関連性の大きい「話す」という行動を，そして健康状態と相関の高い「食べる」という行動を，それぞれ自動的に検出し，行動を可視化するための研究を行っています。 その他，食事介護の支援を目的として飲食時の嚥下を自動検出して報知するシステムや，健康管理のために咀嚼や嚥下の機能を自動評価するためのシステムを，深層ニューラルネットワーク技術を活用して開発しています。（一部はNTTドコモとの共同研究）

回想法を模倣して高齢者の話し相手となるウェアラブル雑談対話システムの開発を行っています。

先天的な聴覚障がいの場合，発音がどうしても不明瞭となるケースが多く，通常の音声認識装置を使っても高い性能を得ることができません。 このような方でも音声認識機能の恩恵を十分受けられるよう，音声認識システムの適応化方法の検討を行っています。
また，聴覚に障害を持つ方は周囲の音環境情報を取得し，理解することが困難です。 信号処理及び機械学習の手法を活用し，周囲のあらゆる音情報を分かりやすく伝えるための実時間認識システムの開発に加え， 環境音の存在自体を障害のある人に学んでいただくためのVRシステムの開発などに取り組んでいます。(一部は国立障害者リハビリテーションセンター，武蔵野大との共同研究）

ヒトの行動・状態理解プロジェクトです。装着が容易な機材を使い、長時間(24h,7d)の行動・状態観察を可能にします。
音、特に音声は貴重な情報を含む巨大な情報源（ビッグデータ）ですが、テキストデータなどに比べてコンピュータ処理可能な形で記録されることが少なく、多 くのデータが日々霧散しています。この研究室ではビッグデータの時代にあって未活用な音情報資源に着目し、音声認識技術による言語的な情報抽出に加え、音 からヒトの行動や心身の状態までを深く分析し，理解するための技術を研究しています。

高齢者への負担も小さい音データの収集方法として，咽喉マイク（スロートマイク）と集音マイクを併用する方法を提案しました。 大変簡便な装置ですが，高齢者の健康維持にとってとても重要な意味を持つ、「話すこと」、「食べること」に関係する多様な情報を獲得できることが分かって きました。特に、LSTMなどの深層ニューラルネットワークの技術を取り入れることで、従来法より高精度な識別が可能となっています。多方面の方々の協力 を得ながら、高齢者の介護や支援にも活かせる情報の抽出を目標として研究を進めています。

音声を使ってヒトの心の状態を認識するための研究を行っています。
これまで日常的に収録した音声からの抑うつ度の自動推定の検討を行ってきましたが，この技術の応用先としてはコールセンターでの顧客やオペレータのストレス検出など（右図参照）を想定しています。 また，精神医学分野への応用として，大うつ病性障害患者を対象として，精神疾患の診断補助になりうる音声バイオマーカーの検討を行っています。

西田研究室では、音・音声処理や機械学習の技術を用いてディジタルデバイド （情報格差）をなくし、年齢や障がいの有無を感じさせないユニバーサルな コミュニケーションを実現するために研究を行っております。 これまでの人とコンピュータのコミュニケーションは人が システムに適応する必要がありましたが、今後はシステムが 人に適応してくれるようなコミュニケーションを実現したい と考えています。具体的には以下の ような研究テーマに取り組んでいます。 　

議事録の自動作成やグループワークの評価支援などを目指して多人数会話の音声認識に取り組んでいます。 多人数会話では周囲の環境音や発話が重畳することによって音声認識精度が低下する問題があります。 それらの問題を解決する方法として，首に装着する咽喉マイクを用いた取り組みを行っています。 咽喉マイクにより周囲の環境音や発話の重畳の影響を抑制できますが，通常の音声認識システムでは 音声認識精度が低下する問題があります。これは通常の音声認識システムのモデルを学習する 際に用いられる音声データを収録したマイクと音響的なミスマッチがあるためです。 これらの音響的なミスマッチを解消する方法について検討しています。 また、音声認識システムは100%正しく音声を認識することは難しく、 必ず誤認識が含まれます。そこで、自然言語処理を用いて疑似誤り を生成しそれらを学習することで、音声認識誤りを訂正する方法 についても検討しています。

体調不良を自覚しながらも、面倒に感じて受診を怠る人は多い。 中には重篤な状態に陥るケースが存在します。このケースを回避する には、症状が重篤になる前に受診の必要性を促すことが有効だと考 えられます。ただし、使用者が電子機器を操作する必要があるサービスは 高齢者にとって使いにくいです。高齢者が問診システムを気軽に 使用するためには、対話を音声で行うことが有効だと考えられます。 また音声による対話は認知症予防にもつながる可能性があります。 そこで、ユーザとの信頼関係を築くことを目的として、共感に 着目した音声対話に基づく問診システムを構築しました。 さらに、療法士面接の評価と教育は人が行っており、非常にコストが かかっています。そこで、療法士面接の自動評価ならびに練習システム の構築についても取り組んでいます。

音声による個人認証手法である話者照合は、利便性の高い認証 手法として注目を浴びています。しかし、話者照合には、 リプレイ攻撃や音声合成、声質変換などのなりすまし手法が存在 するため、その安全性が問題視されています。中でも、最新の 音声合成技術は、非常に高品質な音声を生成できることが知られて おり、これらによるなりすまし攻撃に対する対策が急務となってい ます。なりすまし音声に対する頑健な手法として、発声時の発話スタイ ルに着目し、音声に含まれる話者の特性だけでなく、感情や方言 などの発話スタイルも認証の鍵として用いる発話スタイル依存型 の話者照合手法を新たに提案しました。 提案手法は、ユーザが詐称者に知られないようにあらかじめ照合時 に発話する感情をシステムに指定し、指定した感情で発話しなけ れば本人と認証されない照合手法です。感情発話はニュートラル な発話と比較し、録音、合成が困難であると考えられるため、 提案手法は従来手法よりも合成音声に頑健である可能性があります。 また、感情は、hot-angerやcold-angerなど同じ感情であっても 話者によって表現方法が異なるため、話者照合の鍵として有効で ある可能性があります。

視覚障がい者のための仮名漢字変換を支援する研究に取り組んでいます。 視覚障がい者はスクリーンリーダとよばれる画面の情報を音で伝えるシステムを使用しています。 従来のスクリーンリーダでは変換候補の漢字の一文字を別の漢字に置き換えて伝える 詳細読みとよばれる方式で仮名漢字変換を行っています。しかし，詳細読みでは漢字の字形 を連想できなければならない，同音異義語の区別がつかないという問題点がありました。 そこで，詳細読みに加えて意味情報や例文などの説明から構成される視覚障がい者用の 漢字辞書を構築する研究を行っています。これにより視覚障がい者の仮名漢字変換がより 正確に行うことができ，漢字をより理解しやすくなると考えられます。 また，Webテキストの難語を平易化するシステムの構築による アクセシビリティの改善にも取り組んでいます。

聴覚障がい者の日常生活における音・音声支援に取り組んでいます。 聴覚障がい者は音・音声を聞くことができないので，日常生活で困難が 生じています。そこで，携帯の着信音や電子レンジの音など日常生活 で生じる環境音か人の声かを判別し，環境音と判別されれば機械学習で認識し， 人の声と判別されれば音声認識を行って，それぞれの認識結果を スマートグラスで可視化する研究を行っています。

聴覚障がい者のスポーツ観戦支援に取り組んでいます。 聴覚障がい者への日常生活の支援は数多く取り組まれていますが， 娯楽に関する支援は日常生活の支援に比べて少ないです。 聴覚障がい者は音・音声を聞くことができないので， 試合の状況が理解しづらく，周囲との一体感を味わうのが 難しいため，スポーツ観戦を十分に楽しむことができません。 そこで，ブザーやホイッスル，歓声などを機械学習で認識し， 認識結果をスマートグラスで可視化する研究を行っています。

手話人口を増やすことを目指して，独学で容易に手話を学習 できる手話学習支援システムの構築に関する研究に取り組んで います。独学で手話を学ぶ際には，書籍やDVDが用いられます。 しかし，書籍やDVDでは手話の動きで重要な前後方向の動きが わかりづらかったり，学習者がお手本をまねて行った手話が 正確にできているかが判断できない問題があります。そこで， Kinectと3Dモデルを用いた手話学習支援システムを開発し， 学習者とお手本の手話に対して手の動きの軌跡を表示し， お手本の手話とどれくらい手の動きが似ているかをDPスコア で算出し，学習者とお手本の手話を3Dモデルでモデル化 することで，様々な角度から手話を比較することができます。 しかし，お手本と比べてどの部位がどれくらいずれているかが わからず，正確に手話を学習することが難しいという問題が ありました。そこで，学習者の手話を定量的に分析する方法 として多変量関数主成分分析を用いた手話学習支援システムの 構築に関する研究を行っています。 また、手話の学習効率を高める方法として学習順についての 検討も行っています。

高齢者を対象とした口腔機能評価のための食事音データベースの構築と分析 に関する研究に取り組んでいます。 摂食嚥下機能の低下は高齢者の健康寿命に大きく影響することが知られて います。ここでの口腔機能とは，主に咀嚼・嚥下・口腔内環境のことを指 します。咀嚼能力の低下は様々な食品の摂取を困難にし，嚥下機能の低下 は誤嚥性肺炎に繋がります。こうした口腔機能の低下は咀嚼機能不全や 摂食嚥下障害に繋がり，全身的な健康を損ないます。そこで，若年者及び 義歯装着高齢者を対象として口唇画像や咀嚼音・嚥下音を収集し，咀嚼 位置や口腔機能評価を含む詳細な食行動データベースを構築しました。 分析の結果，高齢者は若年者よりも咀嚼回数や嚥下継続時間が変化すること， また咀嚼回数のような自動抽出可能な特徴量が，簡便な口腔機能評価指標 となり得ることがわかりました。構築したデータベースは，嚥下や咀嚼の 自動検出の研究に用いられています。 さらに、嚥下音による嚥下能力の可視化と自動識別についても 検討しています。