マルチモーダル音声認識評価環境（CENSREC-1-AV）

(社)情報処理学会 音声言語情報処理研究会 雑音下音声認識評価ワーキンググループ; 北岡 教英（代表著作権者）

アイテムタイプ

SRC dataset

言語

日本語

サブジェクト

音声コーパス

制作者

(社)情報処理学会音声言語情報処理研究会雑音下音声認識評価ワーキンググループ

提供者

北岡教英（代表著作権者）

配布者

国立情報学研究所音声資源コンソーシアム (NII-SRC)

提供日

2011-06-29

概要

音声と口唇動画像を用いたバイモーダル音声認識用データ
・発話内容はCENSREC-1に準拠（連続数字1～7桁の読み上げ）
・音声とともにカラー映像と近赤外線映像を収録し，ムービーを時系列画像に分解して口唇付近のみ切り出した画像データを含む
・学習データ
- オフィス環境で収録したクリーン音声・画像データ
- 計3,234発話
・テストデータ
- 学習データと同じ環境の音声・画像データ
- 同梱スクリプトにより生成される音声・画像データ
音声：乗用車走行雑音を重畳（雑音2種類，SNR6種類）
画像：走行中の乗用車内を明度値のガンマ補正によりシミュレート
- 計1,963発話
上記音声・画像データを対象とした音声認識実験を評価するための評価ツール

入力デバイス

接話マイク

入力環境

オフィス

音声ファイル形式

音声：WAV形式（16kHz・16bit・Mono）
画像：Windows BMP形式（横81ピクセル×縦55ピクセル，口唇付近のみ）カラー画像-24bitRGB／近赤外線画像-8bitグレースケール

話者数

学習データ：42名（男性22名，女性20名）
テストデータ：51名（男性25名，女性26名）

発話長

数字列

発話スタイル

読み上げ音声

発話言語

日本語

コーパスの特徴

騒音下，口唇動画像

申請手続

利用誓約書を提出し，審査を経て提供

利用許諾

研究・開発目的に限る

価格

無償

引用記載例

情報処理学会 SLP研究会雑音下音声認識評価WG (2011): マルチモーダル音声認識評価環境（CENSREC-1-AV）. 国立情報学研究所音声資源コンソーシアム. (データセット). https://doi.org/10.32130/src.CENSREC-1-AV

引用記載例(英)

IPSJ SIG-SLP Noisy Speech Recognition Evaluation WG (2011): Audio-Visual Speech Recognition Evaluation Environment (CENSREC-1-AV). Speech Resources Consortium, National Institute of Informatics. (dataset). https://doi.org/10.32130/src.CENSREC-1-AV

謝辞記載例

本研究では、国立情報学研究所音声資源コンソーシアムから提供を受けた「マルチモーダル音声認識評価環境（CENSREC-1-AV）」を利用した。

謝辞記載例(英)

In this paper, we used "Audio-Visual Speech Recognition Evaluation Environment (CENSREC-1-AV)" provided by Speech Resources Consortium, National Institute of Informatics

提供情報

オンライン配布
DVD版

提供状況

提供中

インデックスリンク

インデックスツリー

マルチモーダル音声認識評価環境（CENSREC-1-AV）