早期發展主要基於隱馬爾可夫模型(HMM)和高斯混合模型(GMM),這些統計模型雖然在處理連續語音上有所突破,但受限於模型容量,難以應對中文的多樣性。

深度學習的崛起,基於端到端的模型,Transformer逐漸成為語音識別的主流技術。Whisper已經能夠在中文語音識別領域取得非常優異的表現;這些模型能夠直接從原始語音數據中學習特徵,並進行語音到文本的轉換。

在語音識別中,GPT和其他大規模模型正在被探索應用。這些模型的多模態能力(如語音和文本的融合)使它們有可能在語音識別和文本生成中實現更加自然的交互。那些ASR和TTS可能會踩的坑 (2024/10)

語音辨識(speech recognition)技術,也被稱為自動語音辨識(英語:Automatic Speech Recognition, ASR)、電腦語音識別(英語:Computer Speech Recognition)或是語音轉文字識別(英語:Speech To Text, STT),其目標是以電腦自動將人類的語音內容轉換為相應的文字;跟小夥伴們一起嘗試過NEMO還有Kaldi、MASR、VOSK,wav2vec以及Google、Azure等API更別說後來陸續又出現SpeechBrain、出門問問的WeNet跟騰訊PIKA等。目前已知可訓練聲學模型(AM)中文語音(中國發音/用語,可惜還沒臺灣較靠譜的)公開數據如:Magic-Data_Mandarin-Chinese-Read-Speech-Corpus、aidatatang、aishell-1 、aishell-2等約2000多小時(aishell目前已到4,但想商用至少得破萬小時較靠譜);再搭配語言模型(LM),然後基於各種演算法架構優化各有優缺點,效果也各有優劣與說話人辨識及說話人確認不同,後者嘗試辨識或確認發出語音的說話人而非其中所包含的詞彙內容。 語音辨識技術的應用包括語音撥號、語音導航、室內裝置控制、語音文件檢索、簡單的聽寫資料錄入等。語音辨識技術與其他自然語言處理技術如機器翻譯及語音合成技術相結合,可以構建出更加複雜的應用,例如語音到語音的翻譯。語音辨識技術所涉及的領域包括:訊號處理、圖型識別、概率論和資訊理論、發聲機理和聽覺機理、人工智慧等等。

Kaldi-ASR Install Guide & error

https://zhuanlan.zhihu.com/p/148524930

https://zhuanlan.zhihu.com/p/44483840

cd kaldi/tools/extras

./check_dependencies.sh

tools/extras/check_dependencies.sh: sox is not installed.
tools/extras/check_dependencies.sh: gfortran is not installed.
tools/extras/check_dependencies.sh: subversion is not installed

sudo apt-get install zlib1g-dev automake autoconf sox gfortran subversion

sudo tools/extras/install_mkl.sh -sp debian intel-mkl-64bit-2020.0-088

Err:9 http://ppa.launchpad.net/jonathonf/python-3.6/ubuntu xenial Release 403 Forbidden [IP:91.189.95.85 80]
Reading package lists... Done
W: GPG error: http://dl.google.com/linux/chrome/deb stable InRelease:
The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 78BD65473CB3BD13
E: The repository 'http://dl.google.com/linux/chrome/deb stable InRelease' is not signed. N: Updating from such a repository can't be done securely, and is therefore disabled by default. N: See apt-secure(8) manpage for repository creation and user configuration details. E: The repository 'http://ppa.launchpad.net/jonathonf/python-3.6/ubuntu xenial Release' does not have a Release file. N: Updating from such a repository can't be done securely, and is therefore disabled by default. N: See apt-secure(8) manpage for repository creation and user configuration details.

直接把相關的安裝源刪除,然後再安裝一次 intel-mkl

/etc/apt/sources.list.d
sudo rm /etc/apt/sources.list.d/jonathonf-ubuntu-python-3_6-xenial.list
sudo rm /etc/apt/sources.list.d/google-chrome.list
sudo apt update

sudo make openfst
sudo make cub