基頻的文字定義以及如何用librosa提取wav文件基頻

今天就跟大家聊聊有關(guān)基頻的文字定義以及如何用librosa提取wav文件基頻，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

1. 音高和基頻

2. 基頻定義

3. 諧波

泛音（overtones） == 諧波 （Harmonics）

根據(jù)這個(gè), 可以解耦音色和內(nèi)容

• 第一共振峰, 第二共振峰...等的位置, 特別是相對(duì)位置, 決定了發(fā)音內(nèi)容TODO需要討論|不同元音對(duì)不同倍數(shù)泛音共振加強(qiáng)不同, 體現(xiàn)的也有一部分是能量的大小相對(duì)差異

• 基頻的高度, 共振峰的絕對(duì)高度, 也一定程度和發(fā)音內(nèi)容相關(guān), 但是需要減掉說(shuō)話人的平均基頻值, 再去看

• 人的基頻, 共振峰等的絕對(duì)高度, 和音色相關(guān), 比如性別的不同, F0范圍的不同

• 共振峰的相對(duì)位置, 最大的信息時(shí)發(fā)音內(nèi)容, 但是相同發(fā)音內(nèi)容, 又會(huì)有每個(gè)人的發(fā)音習(xí)慣和口腔結(jié)構(gòu), 所以次要信息也有音色信息. 這點(diǎn)和speaker identity更像, ASV特征

• 真正的"厚實(shí), 亮, 尖, 好聽(tīng)"也算作音色, 但是是同一個(gè)人也可以模擬的, 比如單人多角色小說(shuō) 唱歌等. 不同共振峰頻率分配的能量, 會(huì)導(dǎo)致聽(tīng)感. 人和人之間區(qū)別很大, 也可以導(dǎo)致ASV

• 因此, 1-如果對(duì)mel譜每個(gè)人, 進(jìn)行每個(gè)頻率獨(dú)立的能量的norm(0, 1), 則一定程度能去掉個(gè)人的聲音特性, 并且保留發(fā)音信息(這個(gè)好好想, 涉及到位置和位置的能量)| 這個(gè)過(guò)程相當(dāng)于去掉人的口腔特征對(duì)特定發(fā)音的"人加重"

• 接著上面的, 2-如果能抽離出每一時(shí)刻的f0和各個(gè)共振峰, 將這些位置也隨著f0的位置做歸一化, 也能一定程度去掉音色, 并且保留發(fā)音信息 | | 這個(gè)過(guò)程相當(dāng)于去掉人的聲帶特征對(duì)特定發(fā)音的"人加重"

提一個(gè)問(wèn)題, 合唱的時(shí)候大家都哼"哼", 同一個(gè)調(diào), 用此來(lái)分析

(

• 音色：音色的區(qū)別是由于各種振動(dòng)，其總能量在泛音各音級(jí)上能量分配不同而造成的。

)

回答:

只讓人哼同一個(gè)字, 相當(dāng)于把人"退化", 或者"類比"為小提琴, 每個(gè)人都是小提琴, 但是男的和女的, 男高音和男低音, 是天性不同的小提琴, 對(duì)泛音的能量分配就算哼同一個(gè)字, 天生分配也不同. 不過(guò)差距并不大(相比于哼不同字)罷了

再提一個(gè)問(wèn)題, 男生說(shuō)的ba和女生說(shuō)的ba的頻率和共振峰位置一樣么?是不是需要norm之后, 就一樣的, 每個(gè)人聲帶的結(jié)構(gòu)和胸腔肌肉力量不同

圖上的水平線含義：水平線表示一個(gè)歌手在某個(gè)音高上持續(xù)了一段時(shí)間。越亮的線表示振幅越大，聽(tīng)感上當(dāng)然就音量大了

直線就是一個(gè)長(zhǎng)直音，考察長(zhǎng)直音主要看穩(wěn)定度，整個(gè)線越直則這個(gè)長(zhǎng)音越穩(wěn)定。如果大抖就是破音，如果小抖就是不穩(wěn)。如果歪了，那就是音準(zhǔn)沒(méi)把握好 TODO, 需要討論

波浪線就是顫音。波浪越大則顫音越大?？搭澮粢彩强捶€(wěn)定度，如果顫的不穩(wěn)就是氣息出現(xiàn)問(wèn)題，控制不好

3.1. 如何觀察和評(píng)價(jià)泛音/諧波

• 看泛音主要看三點(diǎn)：豐富與否；分布情況；泛音的音量。對(duì)比泛音主要是看與基頻的對(duì)比。因?yàn)橐纛l文件的音量是可以調(diào)整的，單純的看泛音大小沒(méi)多大意義，以基頻為參照才比較有實(shí)際意義。（低頻的共鳴情況取決于元音的類型，每一個(gè)元音都有自己的特定的共鳴特性。一般來(lái)說(shuō)，基頻被共鳴強(qiáng)化的情況比較少）

• 此例中第一泛音巨大（看多了就知道，一般都是第一泛音最大），在3000左右的三個(gè)泛音也很強(qiáng)

另一種觀察方法就是和伴奏比，人聲線越明顯則人聲越強(qiáng)，越能穿透伴奏. 之后作者有舉例, 我就略了.....偷個(gè)懶

4. librosa概述

5. librosa提取F0

https://librosa.org/doc/main/generated/librosa.pyin.html

y, sr = librosa.load(librosa.ex('trumpet'))
f0, voiced_flag, voiced_probs = librosa.pyin(y, fmin=librosa.note_to_hz('C2'), fmax=librosa.note_to_hz('C7'))
times = librosa.times_like(f0)


import matplotlib.pyplot as plt
D = librosa.amplitude_to_db(np.abs(librosa.stft(y)), ref=np.max)
fig, ax = plt.subplots()
img = librosa.display.specshow(D, x_axis='time', y_axis='log', ax=ax)
ax.set(title='pYIN fundamental frequency estimation')
fig.colorbar(img, ax=ax, format="%+2.f dB")
ax.plot(times, f0, label='f0', color='cyan', linewidth=3)
ax.legend(loc='upper right')

看完上述內(nèi)容，你們對(duì)基頻的文字定義以及如何用librosa提取wav文件基頻有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。