モデル

Embedding を作った側の一覧と、国ラベルを見たかどうか

この地図帳では、Embedding を作ったモデルを国名を教わったかどうかで二つに分けています。 国名を教わったモデルの Embedding が国ごとに固まるのは、 発見ではなく仕掛けだからです。

モデル種別次元学習のしかた国ラベル地理の主張
従来型音響特徴量features65学習しない(librosa の特徴量を標準化して並べただけ)見ていない使える
自作 CNN(自己教師あり)cnn-autoencoder128メルスペクトログラムの再構成のみ見ていない使える
自作 CNN(国分類器)cnn-classifier128国の分類(25 国)見た使えない
wav2vec 2.0(外部・事前学習)pretrained768音声 960 時間の自己教師あり学習(LibriSpeech)。本コーパスは一度も見ていない見ていない使える

目玉の測定結果

測る前に登録した仮説

  • H-01地理距離と音響距離に正の相関がある(両側 p<0.05)
  • H-02その相関は録音の出自(投稿者)で説明されない

この規則は測定より前に SPEC §2.3 へ書いた。結果を見てから変えない

物差しは二つ出します。距離の相関(Mantel)と、群れの切り方の一致(ARI)です。 この二つは同じことを言っていません —— 距離で見ると国との関係はほぼ 0 ですが、 群れで見ると 0 ではありません。Mantel は全部の組を平等に見るので 数の多い「別の国どうし」に薄められ、ARI は大きな塊の構造に効くからです。結果を見てから都合のよい物差しを選ばないために、両方を置いています。

従来型音響特徴量 ラベルを見ていない

測ったもの相関 rp 値
地理距離 × 音響距離(H-01)0.0390.0010
同上・録音の出自を統制(H-02)-0.0040.4650
出自 × 音響距離(対抗仮説)0.2060.0010

H-01: 成立H-02: 不成立 → 目玉は 立たなかった

別の物差し —— 群れの切り方で見る(k=37)

音響クラスタと一致するかARIまとまり
0.2078-0.216
投稿者(どのアーカイブか)0.2625-0.145

ARI は偶然の一致を差し引いた指標で、0 なら「偶然と変わらない」です。 ここでも 投稿者のほうが国よりよく一致しました。ただし「まとまり」(シルエット係数)はどちらも負で、 録音は平均して自分の群れの仲間より他の群れに近い状態です。 つまりどちらの札も音響空間の良い説明ではありません。

録音 314 本 / 37 国 / 投稿者 122 人・置換 999 回(乱数種 42)

自作 CNN(自己教師あり) ラベルを見ていない

測ったもの相関 rp 値
地理距離 × 音響距離(H-01)0.0350.2050
同上・録音の出自を統制(H-02)0.0090.7850
出自 × 音響距離(対抗仮説)0.1260.0010

H-01: 不成立H-02: 不成立 → 目玉は 立たなかった

別の物差し —— 群れの切り方で見る(k=37)

音響クラスタと一致するかARIまとまり
0.1687-0.520
投稿者(どのアーカイブか)0.1999-0.427

ARI は偶然の一致を差し引いた指標で、0 なら「偶然と変わらない」です。 ここでも 投稿者のほうが国よりよく一致しました。ただし「まとまり」(シルエット係数)はどちらも負で、 録音は平均して自分の群れの仲間より他の群れに近い状態です。 つまりどちらの札も音響空間の良い説明ではありません。

録音 314 本 / 37 国 / 投稿者 122 人・置換 999 回(乱数種 42)

self-clf-v1 解析から除外

国ラベルを見て学習したモデルなので、地理の主張に使うと循環する(SPEC §2.2 / G-04)

wav2vec 2.0(外部・事前学習) ラベルを見ていない

測ったもの相関 rp 値
地理距離 × 音響距離(H-01)-0.0370.2850
同上・録音の出自を統制(H-02)-0.0690.0510
出自 × 音響距離(対抗仮説)0.1410.0010

H-01: 不成立H-02: 不成立 → 目玉は 立たなかった

別の物差し —— 群れの切り方で見る(k=37)

音響クラスタと一致するかARIまとまり
0.1516-0.327
投稿者(どのアーカイブか)0.2023-0.291

ARI は偶然の一致を差し引いた指標で、0 なら「偶然と変わらない」です。 ここでも 投稿者のほうが国よりよく一致しました。ただし「まとまり」(シルエット係数)はどちらも負で、 録音は平均して自分の群れの仲間より他の群れに近い状態です。 つまりどちらの札も音響空間の良い説明ではありません。

録音 314 本 / 37 国 / 投稿者 122 人・置換 999 回(乱数種 42)