音・言語情報処理技術

音声認識・分析技術によって日々霧散する音の情報を捉えるとともに,言語処理によってネット上の膨大な言語知識を利活用し、社会の様々な課題解決に貢献することが我々の目標です。

音情報による人間の機能拡張 (Human Augmentation by Sound Information) (西村)

音情報処理

西村研究室では音を中心としたセンサー情報の処理技術や深層ニューラルネットなどの自動認識技術を駆使し,人間の機能を補助・拡張する技術の研究を行なっており,具体的には以下のような研究テーマに精力的に取り組んでいます。  








  • 行動認識(食行動認識とデータベース構築,作業行動認識)
  • 医用情報処理(摂食嚥下機能の自動評価,声による認知症スクリーニング,ALS患者咳嗽モニタリング)
  • 音声認識の高精度・高機能化(食行動と会話の完全ライフログ, 高騒音下多人数会話音声認識)
  • 障害者支援(聴覚障害者用環境音学習支援,母子コミュニケーション分析,環境音認識)
  • 高齢者支援(心身状態の認識・見守りシステム, 回想法音声対話システム)
  • 行動認識 (西村)

    [食行動認識とデータベース構築]

    これまで我々の研究室では皮膚接触型マイクによって収集された咀嚼音・嚥下音を用いた口腔内食行動の可視化技術や,咀嚼嚥下機能の自動評価技術を開発してきました。 ここではこれらの技術をベースとした上で,食物を視認してから口へと運び, 嚥下するまでの一連の食行動について,生体音に加えて加速度センサの情報や画像情報を併せて収集することで,大規模かつ詳細な情報が付与された食行動のデータベース構築に取り組んでいます。 このデータベースは食行動に関する認識技術の改良だけでなく,保健・医療の観点から口腔機能の詳細な分析,特に高齢者における口腔機能低下の要因分析にも活用できるものと期待されています。  

  • 科研費挑戦的研究(開拓)"多元的センサー情報に基づく食行動研究基盤の構築" (2021-2024年度, 研究代表者:西村雅史)


  • [作業行動認識]

    画像(骨格情報),加速度・角速度そして音に関する情報を併用することで,工場作業の行動認識の研究にも取り組んでいます。(一部はヤマハ発動機との共同研究)


  • 西村他,"ものづくり現場における組立作業の行動認識 —地域に根ざすファクトリーと産学連携の取組み紹介—," 人工知能学会誌 特集「スマートファクトリーとAI」, Vol.37 No.3, pp. 280-285, 2022.5.
  • 武井他,"慣性情報と音情報を用いた作業行動の自動分節化," 情報処理学会第84回全国大会, 2V-05, pp.697-698, 2022.3.(学生奨励賞受賞)
  • [招待講演] 山本他, "姿勢推定を用いた組み立て作業の工程分析,” 画像応用技術専門委員会研究会報告,Vol.36, No.4, 2021.11.
  • 医用情報処理 (西村)

    [摂食嚥下の自動評価]

    咽喉付近に配置した複数のマイクを用いて,嚥下機能の検診や誤嚥の診断に役立つシステムの開発を行なっています。 これまでに,嚥下機能検診で用いられるオーラルディアドコキネシスや反復唾液嚥下テストの自動測定ソフト, 在宅嚥下障害者の咳嗽(むせ)の自動計測によって嚥下機能の長期的な変化を遠隔モニタリングするシステムなどを開発しました。 また,嚥下機能低下の音による評価を目的として,嚥下造影検査(VF)で得られた画像と 嚥下時に生じる音響特徴量の対応関係の分析を行なっています。 (千葉大,君津中央病院,静岡県立大,広島大との共同研究, 科研費基盤(B), 挑戦的研究(開拓))


  • 中村亮裕,津賀一弘,西村雅史,"咀嚼音に基づく咀嚼能力自動評価システム," 情報処理学会第84回全国大会,1R-05, pp.291-292, 2022.3.
  • B. Rakib, M. Nishimura,"Automatic Detection of Cough with Using DNN and Throat Microphone," 10th International Congress on Advanced Applied Informatics (IIAI AAI2021), 2021.7.
  • [招待講演] 西村雅史,"音声言語情報処理技術を活用した心身状態の理解," 第20回高齢社会デザイン研究会, 2021.3.
  • [招待講演] 西村雅史, "音で知る心身の健康 ~食べることと話すこと~," 電子情報通信学会信学技報 SP2020-2, 2020.6.
  • 藤田他,"嚥下機能低下の早期発見に向けた食事中の咳嗽自動検出 (pre-print)," 情報処理学会第82回全国大会, 5ZE-08, 2020.3.
  • 山下他,"咽喉マイクを用いた嚥下機能検査システムの開発 (pre-print),", 2016.12. (WiNF2016 優秀論文賞受賞)
  • 古川他,"咽喉マイクを使用した摂食嚥下検診用アプリの開発,", 全国自治体病院協議会雑誌第57巻,4号, pp. 98-102 2018.4. (全国自治体病院協議会雑誌 分科会推薦最優秀演題受賞)


  • [音声による認知症スクリーニング]

    ロボットもしくは心理士との対話音声を分析対象として,軽度認知症(MCI)を含む認知症者の自動スクリーニング技術に関する検討を行なっています。(筑波大,日本IBMとの共同研究 科研費基盤(A))


  • K.Yoshii, et al.,"A Study for Detecting Mild Cognitive Impairment by Analyzing Conversations with Humanoid Robots," Proc. of Lifetech2021, pp.348-351, 2021.3. (IEEE LifeTech2021 Excellent Paper Award for Oral Presentation, 1st Prize受賞)
  • 阿部他,"人型ロボットとの音声対話にみられる認知症者の発話特徴分析 (pre-print)," 情報処理学会第81回全国大会,4ZE-06, 2019.3.(学生奨励賞受賞)
  • 阿部他,"人型ロボットとの雑談対話における認知症者の特徴に関する予備的検討,” 平成30年度電気・電子・情報関係学会東海支部連合大会, L3-1, 2018.9. (IEEE賞受賞)
  • 音声認識の高精度・高機能化 (西村)

    [高騒音下多人数会話音声認識]

    ここではヒトの発話行動に着目し、多人数会話におけるインターラクションの内容を自動的に分析、可視化する方法について研究しています。 深層ニューラルネットワークを活用し、発話衝突に頑健な発話検出アルゴリズムの開発と、発話衝突時にも高い認識精度を維持できる音声認識システムの開発を行っています。 また,皮膚接触型マイクを用いた食行動認識と音声認識の技術を統合することで「完全ライフログ」の実現を目指す研究も開始しています。 (一部は産業技術総合研究所との共同研究)



  • 増田他,"wav2vec 2.0の事前学習モデルを用いた咽喉マイク音声認識," 情報処理学会第84回全国大会,1R-04, pp.289-290, 2022.3.
  • 鈴木他,"咽喉マイクを用いた大語彙音声認識のための特徴マッピングによるデータ拡張と知識蒸留," 情報処理学会論文誌,Vol.62, No.6, pp.1373-1381, 2021.6. (2020年度情報処理学会東海支部学生論文奨励賞受賞)
  • S.Lin et al., "Speech Recognition Using Multiple Wearable Microphones for Multiparty Conversations," Journal of Signal Processing, Vol.24, Issue 1, pp.19-29, 2020. (2020-01-23).
  • T. Suzuki, et al., "Knowledge Distillation for Throat Microphone Speech Recognition (pre-print)," Proc. of Interspeech2019, pp.461-465, 2019.9.
  • 鈴木他,"咽喉マイクを用いた大語彙音声認識のための知識蒸留," 情報処理学会第81回全国大会, 2T-09, 2019.3. (学生奨励賞受賞)
  • T.Suzuki et al., "Bottleneck Feature-Mediated DNN-Based Feature Mapping for Throat Microphone Speech Recognition," Proc. of APSIPA 2018, WE-A1-P.10, pp.1738-1741, 2018.11.
  • S.Lin et al.,"DNN-based Feature Transformation for Speech Recognition Using Throat Microphone," Proc. of APSIPA 2017. pp.596-599, 2017.11.
  • 大高他,”咽喉マイクとピンマイクの同時集音に基づく多人数会話における発話区間推定,” FIT2016, E-020, pp.149-150, 2016. (FIT奨励賞受賞)
  • 高齢者支援 (西村)

    [心身状態の認識・見守りシステム]

    主に高齢者の心身状態を把握することを目的として,知的活動と関連性の大きい「話す」という行動を,そして健康状態と相関の高い「食べる」という行動を,それぞれ自動的に検出し,行動を可視化するための研究を行っています。 その他,食事介護の支援を目的として飲食時の嚥下を自動検出して報知するシステムや,健康管理のために咀嚼や嚥下の機能を自動評価するためのシステムを,深層ニューラルネットワーク技術を活用して開発しています。(一部はNTTドコモとの共同研究)


  • A. Nakamura, et al., "Automatic Detection of Crushing Completion Timing of Food," Proc. of Lifetech2022, pp.526-528, 2022.3.
  • A. Nakamura, et al., "Automatic Detection of Chewing and Swallowing Using Attention-Based Fusion,” Proc. of GCCE2021, pp.404-406, 2021.10.
  • A.Nakamura, et al., "Automatic Detection of Chewing and Swallowing," Sensors 2021, Vol.21, Issue 10, 3378; https://doi.org/10.3390/s21103378, May 8, 2021.
  • [招待講演] 西村雅史,"音声言語情報処理技術を活用した心身状態の理解," 第20回高齢社会デザイン研究会, 2021.3.
  • A.Nakamura, et al.,"Automatic Detection of Chewing and Swallowing Using Multichannel Sound Information," Proc. of Lifetech2021, pp.177-179, 2021.3.
  • A.Nakamura, et al.,"A DATA AUGMENTATION TECHNIQUE FOR AUTOMATIC DETECTION OF CHEWING SIDE AND SWALLOWING," Proc. of APSIPA Annual Summit and Conference 2020, E-2-2.4, pp.578-583, 2020.12.
  • A.Nakamura, et al.,"Automatic Detection of Chewing and Swallowing Using Hybrid CTC/Attention," Proc. of IEEE 9th Global Conference on Consumer Electronics (GCCE), pp.333-335, 2020.10.
  • [招待講演] 西村雅史, "音で知る心身の健康 ~食べることと話すこと~," 電子情報通信学会信学技報 SP2020-2, 2020.6.
  • A.Nakamura, et al., "Automatic Detection of the Chewing Side Using Two-channel Recordings under the Ear (pre-print)," Proc. of IEEE LifeTech2020, pp. 82-83, 2020.3. (IEEE LifeTech2020 Excellent Student Poster Award 受賞)
  • 中村他, "CTCとAttentionの併用による咀嚼と嚥下の自動検出 (pre-print)," 情報処理学会大第82皆全国大会, 5Q-09, 2020.3. (情報処理学会 大会奨励賞,学生奨励賞 各受賞)
  • 阿部他,"中咽頭部収録音とLSTM-CTCを用いた咀嚼回数の自動推定," 情報処理学会第81回全国大会, 4V-08, 2019.3. (学生奨励賞受賞)
  • 坂本他,"2チャンネル咽喉マイクを用いた嚥下音の認識," 平成30年度電気・電子・情報関係学会東海支部連合大会, Po1-22, 2018.9. (学生奨励賞受賞)
  • Y.Yamada et al.,"Deep Learning-Based Water-Intake Estimation Method Using Second Half of Swallowing Sound," Proc. of IEEE GCCE2017, pp.847-848, 2017.10. (IEEE Young Researcher Award 受賞)
  • 西村他,”高齢者の食べることと話すことを支える情報システムに関する研究, 電気通信普及財団成果報告書 第32号2017年度


  • [回想法音声対話システム (-2020)]

    回想法を模倣して高齢者の話し相手となるウェアラブル雑談対話システムの開発を行っています。


  • 太田他,"回想法を模した高齢者向け傾聴対話システムの検討," 情報処理学会第82回全国大会, 5ZE-06, 2020.3.
  • 栂井他,”非言語音響情報を利用した話題誘導を行う情報収集対話システム, (pre-print)" FIT2017, E-003, 2017 Sepbember. (FIT奨励賞受賞)
  • 阿部他,"非言語音響情報を利用した対話破綻検出に関する検討," 情報処理学会第79回全国大会, 6M-04, pp.225-226, 2017.3. (学生奨励賞受賞)
  • 栂井他,”非言語音響情報を利用した聞き役対話システムに関する検討, (pre-print)”, 情報処理学会第78回全国大会, 6Q-03, 2016 March. (学生奨励賞受賞)
  • 中島他,”回想法を模擬した高齢者向け対話システムの構築に関する研究, (pre-print)”, 情報処理学会第78回全国大会, 6ZB-01, 2016 March.
  • 障害者支援 (西村)

    [聴覚障害者用音声認識・環境音認識,障害児学習支援]

    先天的な聴覚障がいの場合,発音がどうしても不明瞭となるケースが多く,通常の音声認識装置を使っても高い性能を得ることができません。 このような方でも音声認識機能の恩恵を十分受けられるよう,音声認識システムの適応化方法の検討を行っています。
    また,聴覚に障害を持つ方は周囲の音環境情報を取得し,理解することが困難です。 信号処理及び機械学習の手法を活用し,周囲のあらゆる音情報を分かりやすく伝えるための実時間認識システムの開発に加え, 環境音の存在自体を障害のある人に学んでいただくためのVRシステムの開発などに取り組んでいます。(一部は国立障害者リハビリテーションセンター,武蔵野大との共同研究)


  • 呉他,”聴覚障害理解のためのVR環境音体験システムの開発と評価," 情報処理学会第84回全国大会, 7ZJ-08, pp.769-770, 2022.3. (学生奨励賞受賞)
  • 相澤他, ”VR模擬難聴システムの開発と環境音到来方向知覚の評価 (pre-print)," 情報処理学会第82回全国大会, 6ZD-07, 2020.3. (学生奨励賞受賞)
  • 浅井他,"聴覚障害者支援のための環境音可視化システムの開発," 情報処理学会研究会第9回アクセシビリティ研究会, Vol. 2019-AAC-9, No.5, pp.1-8, 2019.3.
  • 浅井他, "聴覚障害者支援のための実環境下における環境音認識 (pre-print)," 情報処理学会第80回全国大会, 1ZB-04, 2018.3. (学生奨励賞受賞)
  • 24/7行動モニタリング (-2017) (西村)

    ヒトの行動・状態理解プロジェクトです。装着が容易な機材を使い、長時間(24h,7d)の行動・状態観察を可能にします。
    音、特に音声は貴重な情報を含む巨大な情報源(ビッグデータ)ですが、テキストデータなどに比べてコンピュータ処理可能な形で記録されることが少なく、多くのデータが日々霧散しています。この研究室ではビッグデータの時代にあって未活用な音情報資源に着目し、音声認識技術による言語的な情報抽出に加え、音からヒトの行動や心身の状態までを深く分析し,理解するための技術を研究しています。


    高齢者への負担も小さい音データの収集方法として,咽喉マイク(スロートマイク)と集音マイクを併用する方法を提案しました。 大変簡便な装置ですが,高齢者の健康維持にとってとても重要な意味を持つ、「話すこと」、「食べること」に関係する多様な情報を獲得できることが分かってきました。特に、LSTMなどの深層ニューラルネットワークの技術を取り入れることで、従来法より高精度な識別が可能となっています。多方面の方々の協力を得ながら、高齢者の介護や支援にも活かせる情報の抽出を目標として研究を進めています。


  • (preprint) 西村他,"生体音と環境音の同時収録による高齢者の行動および身体状態認識に関する検討," 音響学会講演論文集, 2-4-9, pp. 1309-1310, 2015 March.
  • 小林他, ”嚥下音を用いた水分摂取量推定手法の研究," 情報処理学会論文誌, Vol.57, No.2, pp.532-542, 2016.
  • ストレス状態の自動検出 (-2017) (西村)

    音声を使ってヒトの心の状態を認識するための研究を行っています。
    これまで日常的に収録した音声からの抑うつ度の自動推定の検討を行ってきましたが,この技術の応用先としてはコールセンターでの顧客やオペレータのストレス検出など(右図参照)を想定しています。 また,精神医学分野への応用として,大うつ病性障害患者を対象として,精神疾患の診断補助になりうる音声バイオマーカーの検討を行っています。


  • "Major depressive disorder discrimination using vocal acoustic features," Takaya Taguchi, HirokazuTachikawaa, Kiyotaka Nemotoa, Masayuki Suzuki, Toru Nagano, Ryuki Tachibana, Masafumi Nishimura, Tetsuaki Arai, Journal of Affective Disorders 225C pp. 214-220 (2018).(電子出版済)
  •   

    ユニバーサルコミュニケーションの実現を目指して (西田)

    音情報処理

    西田研究室では,音・音声処理や機械学習の技術を用いてディジタルデバイド (情報格差)をなくし,年齢や障がいの有無を感じさせないユニバーサルな コミュニケーションを実現するために研究を行っており,具体的には以下の ような研究テーマに取り組んでいます。  








  • 音声認識(咽喉マイクを用いた多人数会話の音声認識)
  • 視覚障がい支援(スクリーンリーダを用いた仮名漢字変換支援,視覚障がい者用漢字辞書の構築)
  • 聴覚障がい支援(スマートグラスを用いた日常生活における環境音・音声の可視化,スマートグラスを用いたスポーツ観戦支援,手話学習支援システムの構築)
  • 高齢者支援(口腔機能評価のための食事音データベースの構築と分析)
  •  

    音声認識 (西田)

    議事録の自動作成やグループワークの評価支援などを目指して多人数会話の音声認識に取り組んでいます。 多人数会話では周囲の環境音や発話が重畳することによって音声認識精度が低下する問題があります。 それらの問題を解決する方法として,首に装着する咽喉マイクを用いた取り組みを行っています。 咽喉マイクにより周囲の環境音や発話の重畳の影響を抑制できますが,通常の音声認識システムでは 音声認識精度が低下する問題があります。これは通常の音声認識システムのモデルを学習する 際に用いられる音声データを収録したマイクと音響的なミスマッチがあるためです。 これらの音響的なミスマッチを解消する方法について検討しています。


  • 村手 涼雅,西田 昌史,綱川 隆司,西村 雅史, "d-vectorを用いた話者モデルの選択に基づく咽喉マイクの特徴マッピング", 情報処理学会第84回全国大会講演論文集,1R-03, pp.2_287-2_288, Mar. 2022.
  • R. Murate, M. Nishida, T. Tsunakawa, M. Nishimura, "Feature Mapping of Throat Microphone Considering Speaker Information", Proceedings of the 19th International Workshop on Nonlinear Circuits, Communications and Signal Processing (NCSP), pp.361-364, Mar. 2022.
  • 視覚障がい者支援 (西田)

    視覚障がい者のための仮名漢字変換を支援する研究に取り組んでいます。 視覚障がい者はスクリーンリーダとよばれる画面の情報を音で伝えるシステムを使用しています。 従来のスクリーンリーダでは変換候補の漢字の一文字を別の漢字に置き換えて伝える 詳細読みとよばれる方式で仮名漢字変換を行っています。しかし,詳細読みでは漢字の字形 を連想できなければならない,同音異義語の区別がつかないという問題点がありました。 そこで,詳細読みに加えて意味情報や例文などの説明から構成される視覚障がい者用の 漢字辞書を構築する研究を行っています。これにより視覚障がい者の仮名漢字変換がより 正確に行うことができ,漢字をより理解しやすくなると考えられます。


  • 西山 千尋,西田 昌史,綱川 隆司,西村 雅史, "Word2vecを用いた詳細読みへの意味情報の付与", 情報処理学会第84回全国大会講演論文集,7ZJ-01, pp.4_755-4_756, Mar. 2022.
  • 西川 大貴,西田 昌史,綱川 隆司,西村 雅史, "視覚障がい者を対象とした漢字辞書の構築", 情報処理学会第83回全国大会講演論文集,1ZH-07, pp.4_821-4_822, Mar. 2021. [学生奨励賞]
  • 後藤 和真,西田 昌史,綱川 隆司,西村 雅史, "視覚障がい者用仮名漢字変換プログラムのための説明語辞書の自動作成", 情報処理学会第82回全国大会講演論文集,6ZD-01, pp.4_393-4_394, Mar. 2020.
  • 西田 昌史,長野 尭,綱川 隆司,西村 雅史, "視覚障がい者のための仮名漢字変換支援システム", 第18回情報科学技術フォーラム(FIT),K-033,pp.377-378,Sep. 2019.
  • 杉浦 知也,西田 昌史,綱川 隆司,西村 雅史, "視覚障がい者用仮名漢字変換プログラムのための説明語辞書作成支援システム", 情報処理学会研究報告, Vol.2019-SLP-128, No.12, pp.1-6, July 2019.
  • 杉浦 知也,西田 昌史,綱川 隆司,西村 雅史,渡辺 哲也, "視覚障がい者による仮名漢字変換のための説明語辞書の作成支援に関する検討", 情報処理学会第81回全国大会講演論文集,1ZJ-05, pp.4_781-4_782, Mar. 2019. [学生奨励賞]
  • 杉浦 知也,西田 昌史,綱川 隆司,西村 雅史,渡辺 哲也, "視覚障がい者のための詳細読みと意味情報を併用した仮名漢字変換", 第17回情報科学技術フォーラム(FIT),K-029,pp.371-372,Sep. 2018.
  • 聴覚障がい者支援 (西田)

    [スマートグラスを用いた日常生活における環境音・音声の可視化]

    聴覚障がい者の日常生活における音・音声支援に取り組んでいます。 聴覚障がい者は音・音声を聞くことができないので,日常生活で困難が 生じています。そこで,携帯の着信音や電子レンジの音など日常生活 で生じる環境音か人の声かを判別し,環境音と判別されれば機械学習で認識し, 人の声と判別されれば音声認識を行って,それぞれの認識結果を スマートグラスで可視化する研究を行っています。


  • 平井 和之,西田 昌史,綱川 隆司,西村 雅史, "聴覚障がい者を対象としたスマートグラスを用いた日常生活音の認識", 情報処理学会第84回全国大会講演論文集,7ZJ-07, pp.4_767-4_768, Mar. 2022.
  • 錦織 勇人,西田 昌史,綱川 隆司,西村 雅史, "聴覚障がい者のためのスマートグラスを用いた音声・環境音の可視化システムの構築", 情報処理学会第83回全国大会講演論文集,1ZH-01, pp.4_809-4_810, Mar. 2021.
  • 北村 拓己,西田 昌史,綱川 隆司,西村 雅史, "聴覚障がい者のためのARグラスを用いた発話印象の可視化", 情報処理学会第82回全国大会講演論文集,6ZD-06, pp.4_403-4_404, Mar. 2020.


  • [スマートグラスを用いたスポーツ観戦支援]

    聴覚障がい者のスポーツ観戦支援に取り組んでいます。 聴覚障がい者への日常生活の支援は数多く取り組まれていますが, 娯楽に関する支援は日常生活の支援に比べて少ないです。 聴覚障がい者は音・音声を聞くことができないので, 試合の状況が理解しづらく,周囲との一体感を味わうのが 難しいため,スポーツ観戦を十分に楽しむことができません。 そこで,ブザーやホイッスル,歓声などを機械学習で認識し, 認識結果をスマートグラスで可視化する研究を行っています。


  • 小林 雅尭, 村手 涼雅,西田 昌史,綱川 隆司,西村 雅史, "スマートグラスを用いた競技場の音の認識と可視化", 日本音響学会講演論文集, 3-11-3, pp.1347-1348, Mar. 2021.
  • 小林 雅尭,西田 昌史,綱川 隆司,西村 雅史, "聴覚障がい者のためのARグラスを用いたスポーツ観戦支援", 日本音響学会講演論文集, 1-8-4, pp.1389-1390, Mar. 2020.
  • 西田 昌史,細井 健太,綱川 隆司,西村 雅史, "聴覚障がい者を対象としたSmartGlassによる競技場の音の可視化", 第18回情報科学技術フォーラム(FIT),K-030,pp.367-368,Sep. 2019. [FIT奨励賞]
  • 矢島 義久,細井 健太,西田 昌史,綱川 隆司,西村 雅史, "聴覚障がい者を対象とした競技場の音の認識と可視化", 情報処理学会第81回全国大会講演論文集,1ZJ-02, pp.4_775-4_776, Mar. 2019.
  • 矢島 義久,西田 昌史,綱川 隆司,西村 雅史, "聴覚障がい者を対象とした競技場の音の可視化に関する検討", 日本音響学会講演論文集, 2-7-8, pp.1613-1614, Mar. 2018. [学生優秀発表賞]


  • [手話学習支援システムの構築]

    手話人口を増やすことを目指して,独学で容易に手話を学習 できる手話学習支援システムの構築に関する研究に取り組んで います。独学で手話を学ぶ際には,書籍やDVDが用いられます。 しかし,書籍やDVDでは手話の動きで重要な前後方向の動きが わかりづらかったり,学習者がお手本をまねて行った手話が 正確にできているかが判断できない問題があります。そこで, Kinectと3Dモデルを用いた手話学習支援システムを開発し, 学習者とお手本の手話に対して手の動きの軌跡を表示し, お手本の手話とどれくらい手の動きが似ているかをDPスコア で算出し,学習者とお手本の手話を3Dモデルでモデル化 することで,様々な角度から手話を比較することができます。 しかし,お手本と比べてどの部位がどれくらいずれているかが わからず,正確に手話を学習することが難しいという問題が ありました。そこで,学習者の手話を定量的に分析する方法 として多変量関数主成分分析を用いた手話学習支援システムの 構築に関する研究を行っています。


  • 高須 優,櫻田 京之介,荒木 由布子,西田 昌史,綱川 隆司,西村 雅史, "多変量関数主成分分析を用いた手話学習支援システムの構築", 情報処理学会研究報告, Vol.2021-AAC-16, No.6, pp.1-6, July 2021.
  • 櫻田 京之介, 荒木 由布子, 和泉 勇希,西田 昌史, "手話データの多変量関数主成分分析", ヒューマンインタフェース学会論文誌, Vol.22, No.4, pp.475-484, Nov. 2020.
  • 櫻田 京之介,荒木 由布子,和泉 勇希,西田 昌史, "多変量関数主成分分析による手話学習者の多部位挙動分析", 統計関連学会連合大会, pp.161, Sep. 2020.
  • 和泉 勇希,西田 昌史,綱川 隆司,西村 雅史, "複合語の学習を目指した手話学習支援システムの検討", 電子情報通信学会総合大会講演論文集, H-4-6, pp.231, Mar. 2020.
  • 和泉 勇希,西田 昌史,綱川 隆司,西村 雅史, "Kinectと3Dモデルを用いた手話学習支援システムの構築", 情報処理学会第81回全国大会講演論文集,1ZJ-03, pp.4_777-4_778, Mar. 2019.
  •   

    高齢者支援 (西田)

    高齢者を対象とした口腔機能評価のための食事音データベースの構築と分析 に関する研究に取り組んでいます。 摂食嚥下機能の低下は高齢者の健康寿命に大きく影響することが知られて います。ここでの口腔機能とは,主に咀嚼・嚥下・口腔内環境のことを指 します。咀嚼能力の低下は様々な食品の摂取を困難にし,嚥下機能の低下 は誤嚥性肺炎に繋がります。こうした口腔機能の低下は咀嚼機能不全や 摂食嚥下障害に繋がり,全身的な健康を損ないます。そこで,若年者及び 義歯装着高齢者を対象として口唇画像や咀嚼音・嚥下音を収集し,咀嚼 位置や口腔機能評価を含む詳細な食行動データベースを構築しました。 分析の結果,高齢者は若年者よりも咀嚼回数や嚥下継続時間が変化すること, また咀嚼回数のような自動抽出可能な特徴量が,簡便な口腔機能評価指標 となり得ることがわかりました。構築したデータベースは,嚥下や咀嚼の 自動検出の研究に用いられています。


  • 盧 優梨,森野 智子,鈴木 桂子,山本 智美,西田 昌史,西村 雅史, "食行動データベースを用いた口腔機能の分析と評価", 情報処理学会第83回全国大会講演論文集,7ZC-06, pp.4_519-4_520, Mar. 2021.
  • 研究紹介(綱川)

      
     
    Copyright(c) 2014 静岡大学情報学部西村&綱川/西田研究室 All Rights Reserved. Design by http://f-tpl.com