# JVNV: a Japanese emotional speech corpus with both verbal content and nonverbal vocalizations (言語音声と非言語音声を持つ日本語感情音声コーパス)

## Update / 更新
- 2023.10.19, 1st version / 最初のバージョン

## Introduction / はじめに
JVNV (**J**apanese emotional speech corpus with **V**erbal content and **N**onverbal **V**ocalizations) is a Japanese emotional speech corpus with both verbal content and nonverbal expressions used in daily conversations such as laughter, and sobbing that can express emotions.
The corpus consists of $3.94$ hours of speech from $4$ speakers with $6$ emotions (anger, disgust, fear, happiness, sadness, and surprise).
Each utterance of JVNV expresses a certain emotion, and has at least one phrase of nonverbal vocalization.
In addition to the audio and transcriptions, the duration of each NV phrase is also provided.

Compared to previous emotional speech corpora, JVNV has the following novel features:
+ **JVNV has nonverbal expressions**, which are rarely included in previous emotional speech corpora.
+ The scripts of JVNV (phoneme-balanced) are all generated by ChatGPT. To our best knowledge, **JVNV is the first speech corpus that generates scripts automatically using large language models**.
+ **JVNV has the highest subjective emotion recognizability compared to previous Japnaese emotional speech corpora**. In our subjective evaluation, JVNV obtained an overall emotion recognition accuracy of $94\%$, while the best previous corpus only had $80\%$.

For more details, please refer to our [paper](https://arxiv.org/abs/2310.06072).

JVNV (**J**apanese emotional speech corpus with **V**erbal content and **N**onverbal **V**ocalizations) は，言語音声と非言語音声から成る日本語感情音声コーパスです．非言語音声には，感情を表す笑い声や泣き声のような，日常会話で使用されるものが含まれます．コーパスには，$4$ 話者・$6$ 感情（怒り，嫌悪，恐れ，幸せ，悲しみ，驚き）による $3.94$ 時間の音声が含まれます．各発話は，指定された感情を表現しており，少なくとも1つの非言語音声を含みます．音声と書き起こしテキストに加え，本コーパスには各発話の非言語発話の時間区間が含まれます．

既存の感情音声コーパスと比較して，JVNVコーパスは以下の特徴を持ちます．
 - 既存の感情音声コーパスにはほとんど含まれない**非言語音声を含むこと．**
 - JVNV のセリフは音素バランスが整っており，全て ChatGPT で作成されています．我々の知る限り，**JVNV は大規模言語モデルを用いて全自動で作成された，初めての音声コーパスです．**
 - **JVNVは，既存コーパスと比較して最も高い感情知覚性能を有します．**. 音声から知覚されるカテゴリ感情を主観的に識別させた結果，既存コーパスの識別結果が $80\%$ に留まったのに対し，JVNV コーパスは $94\%$ に至りました．

詳細については，我々の[論文](https://arxiv.org/abs/2310.06072)をご覧ください．

## Specifications / スペック
- Language: Japanese
- Speakers: $4$ speakers (F1, F2, M1, M2), where F represents female, and M represents male, respectively.
- Emotions: $6$ emotions, including anger, disgust, fear, happiness, sadness, and surprise.
- Duration: $3.94$ hours with $1,615$ utterances.
- Sampling rate: $48$ kHz
- Audio format: Wav, mono, $24$-bit
- Sessions: each audio file is in one of the two sessions:
    - Regular session: the phrase of the NV was designated.
    - Phrase-free session: the phrase of the NV was decided by the speaker.

スペックは以下のとおりです． 
- 言語: 日本語
- 話者: $4$ 話者 (F1, F2, M1, M2)．F は女性，M は男性を表す．
- 感情: 怒り，嫌悪，恐れ，幸せ，悲しみ，驚きから成る $6$ 感情．
- 時間長: $1,615$ 発話から成る $3.94$ 時間．
- サンプリング周波数: $48$ kHz
- オーディオフォーマット: Wav, モノラル, $24$ ビット
- 収録セッション: 各発話は，以下の2セッションにいずれかに属します．
    - Regular: 非言語音声のセリフは監督者が設計．
    - Phrase-free: 非言語音声のセリフは話者自身が設計．

## Directory / ディレクトリ
We describe the directory structure as follows:
- `readme.md`: this file
- `{F1, F2, M1, F2}`: utterances of each speaker, filename format follows `{speaker}_{emotion}_{session}_{id}.wav`
- `nv_label`: duration information of each utterance
- `transcription.pdf`: transcriptions in `pdf` format
- `transcription.csv`: transcriptions in `csv` format

For example, `F1_anger_regular_01.wav` in the `F1/anger/regular/` directory represents the first utterance of anger from F1 in the regular session.

By checking `transcription.pdf`, we know the NV phrase of this utterance is "ああ" and the transcription of this utterance is "ああ？どうしてこんなに荒々しい態度をとるんだ？落ち着いて話を聞けばいいのに。"

By checking `nv_label/F1/F1_anger_regular_01.txt`, we know that the duration of the nonverbal vocalization is from $0.51$ seconds to $1.10$ seconds.

ディレクトリ構成は以下のとおりです．
- `readme.md`: このファイル．
- `{F1, F2, M1, F2}`: 各話者の発話音声ファイル．ファイル名のフォーマットは `{話者}_{感情}_{収録セッション}_{発話ID}.wav` です．
- `nv_label`: 非言語音声の発話時間区間．
- `transcription.pdf`: セリフ（PDF形式）
- `transcription.csv`: セリフ（CSV形式）

例えば，`F1/anger/regular/` ディレクトリ内の `F1_anger_regular_01.wav` は，regular セッションにおける，話者F1による怒り音声のうち，1番目の発話にあたります，

`transcription.pdf` を見ることで，その発話の非言語音声のセリフが「ああ」であり，セリフ全体が 「ああ？どうしてこんなに荒々しい態度をとるんだ？落ち着いて話を聞けばいいのに。」であることが分かります．

また，`nv_label/F1/F1_anger_regular_01.txt` を見ることで，非言語音声「ああ」の発話時間区間が $0.51$ 秒から $1.10$ 秒であることが分かります．

## Papers / 論文
- [JVNV (under review)](https://arxiv.org/abs/2310.06072)
- [JNV (under review)](https://arxiv.org/abs/2305.12445), a corpus of Japanese nonverbal vocalizations, all phrases of JVNV are from JNV.

参考文献は以下の通りです．
- [JVNV (査読中)](https://arxiv.org/abs/2310.06072)．本論文のコーパス．
- [JNV (査読中)](https://arxiv.org/abs/2305.12445)．非言語音声のみのコーパス．JVNVコーパスの非言語音声のセリフはこのコーパスから引用．

## Contributors / 作成者
+ Detai Xin / 辛 德泰 (UTokyo, 東京大学)
+ Junfeng Jiang / 江 俊锋 (UTokyo, 東京大学)
+ Shinnosuke Takamichi / 高道 慎之介 (UTokyo, 東京大学)
+ Yuki Saito / 齋藤 佑樹 (UTokyo, 東京大学)
+ Akiko Aizawa / 相澤 彰子 (NII, 国立情報学研究所)
+ Hiroshi Saruwatari / 猿渡 洋 (UTokyo, 東京大学)

## Acknowledgement / 謝辞
This work was supported by JST SPRING, Grant Number JPMJSP2108, JSPS KAKENHI, Grant Number JP23KJ0828.

本研究は，JST SPRING JPMJSP2108, JSPS KAKENHI JP23KJ0828 の支援を受けて実施しました．

## License / ライセンス
This work is licensed under a [CC BY-SA 4.0 license](https://creativecommons.org/licenses/by-sa/4.0/).
See official instructions [here](https://creativecommons.org/about/cclicenses/).

本コーパスは [CC BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/) にてライセンスサれております．
[公式ページ](https://creativecommons.org/about/cclicenses/) をご覧ください．