【免費(fèi)下載鏈接】CrispASRC ggml runtime hub for multilingual ASR and TTS models: Cohere Transcribe, Parakeet TDT, Voxtral, Canary 1B v2, etc, plus universal forced alignment, and more項(xiàng)目地址https://gitcode.com/gh_mirrors/cr/CrispASR點(diǎn)擊查看免費(fèi)下載CrispASR 是一個(gè) C 的 ggml 運(yùn)行時(shí)框架除了語音識(shí)別ASR之外還內(nèi)置了一整套文本翻譯與后處理引擎支持 m2m100 和 MarianMTOpus-MT機(jī)器翻譯、標(biāo)點(diǎn)符號(hào)恢復(fù)punctuation restoration以及真值大寫truecasing自動(dòng)還原文本的正確大小寫。無論你想把德語會(huì)議錄音實(shí)時(shí)翻譯成英文還是把沒有標(biāo)點(diǎn)、全小寫的識(shí)別結(jié)果整理成規(guī)范文本都可以在這一個(gè)工具里完成。三大后處理能力速覽CrispASR 的翻譯與后處理由三個(gè)獨(dú)立模塊組成可以單獨(dú)使用也可以組合成完整流水線能力引擎輸入 → 輸出典型用途 機(jī)器翻譯m2m100 / MarianMT(Opus-MT) / WMT21 / MADLAD-400任意語言文本 → 目標(biāo)語言文本跨語言轉(zhuǎn)錄、實(shí)時(shí)同傳?? 標(biāo)點(diǎn)恢復(fù)FireRedPunc / Fullstop / Punctuate-all / PCS無標(biāo)點(diǎn)文本 → 帶標(biāo)點(diǎn)的句子清理 ASR 原始輸出 真值大寫TruecaserLSTM / CRF 兩種全小寫文本 → 正確大小寫德語專有名詞、句首大寫 小提示這三個(gè)能力在源碼中分別位于 src/m2m100.cpp、crisp_punc/ 和 crisp_truecase/ 目錄下都是 GGUF 模型驅(qū)動(dòng)一次加載、反復(fù)調(diào)用。快速上手m2m100 文本到文本翻譯m2m100 是最通用的翻譯后端一個(gè)模型支持100 種語言任意互譯。核心用法只需要四個(gè)參數(shù)--backend、--text、-sl源語言、-tl目標(biāo)語言# 英文 → 德文模型自動(dòng)下載約 502 MB Q8_0 ./build/bin/crispasr --backend m2m100 -m auto \ --text Hello world, how are you today? \ -sl en -tl de # → Hallo Welt, wie bist du heute?翻譯引擎的核心 API 只有幾個(gè)函數(shù)加載模型m2m100_init_from_file、執(zhí)行翻譯m2m100_translate接口定義見 src/m2m100.h。如何選擇源/目標(biāo)語言-sl/-tl使用ISO-639-1 語言代碼en、de、fr、ja…想支持哪些語言運(yùn)行時(shí)可以查詢m2m100_n_languages()返回?cái)?shù)量m2m100_language()逐個(gè)取出默認(rèn) beam size 為 5與模型倉庫的 generation_config 一致設(shè)置--beam-size 1即為貪心解碼速度最快MarianMT / Opus-MT輕量單語對(duì)翻譯器如果你只需要某一個(gè)固定方向的翻譯MarianMT別名 Opus-MT是更輕量的選擇架構(gòu)MarianMT 6 層 encoder 6 層 decoder參數(shù)量約 75MQ8_0 量化后僅84 MB覆蓋 24 個(gè)方向德英、法德、法英、阿德、阿英、意德、意英、西德、西英、希伯來語、土耳其語等官方文檔說明見 docs/cli.md 的「Text-to-text translate」一節(jié)# 德文 → 英文單語對(duì)模型-sl/-tl 必須匹配模型自帶方向 ./build/bin/crispasr --backend marian -m auto \ --text Die Konferenz findet am 3. Oktober in Berlin statt. \ -sl de -tl en?? 單語對(duì)模型每個(gè) checkpoint 只認(rèn)一個(gè)方向請(qǐng)求其他方向時(shí)會(huì)給出警告并忽略。MarianMT 的 GGUF 由 models/convert-marian-to-gguf.py 轉(zhuǎn)換生成與 m2m100 共享同一套運(yùn)行時(shí)post-norm 層、Marian 位置編碼、SentencePiece 分詞器均由 GGUF 元數(shù)據(jù)自動(dòng)選擇。四大翻譯后端怎么選后端模型語言覆蓋特點(diǎn)m2m100m2m100_418M100 種任意互譯通用首選生產(chǎn)就緒m2m100-wmt21wmt21-dense-24-wide英語 ? 7 種語言更寬更深24L單向需兩個(gè) checkpointmarianopus-mt-*24 個(gè)固定方向最小最快~84 MBmadladmadlad400-3b-mt419 種語言T5 架構(gòu)長尾語言覆蓋最廣標(biāo)點(diǎn)恢復(fù)讓 ASR 輸出說人話很多 ASR 模型包括 CrispASR 支持的大部分后端輸出的是不帶標(biāo)點(diǎn)的連續(xù)文本。--punc-model參數(shù)可以掛一個(gè)標(biāo)點(diǎn)恢復(fù)模型逐段修復(fù)crispasr -m auto -f meeting.wav --punc-model auto別名到具體模型的映射規(guī)則定義在 src/crispasr_punc_model.hCLI、HTTP 服務(wù)器、C-ABI 三層共用同一套解析保證行為一致參數(shù)值模型語言說明auto/fireredFireRedPuncBERT中、英默認(rèn)選項(xiàng)中文場(chǎng)景首選fullstopFullstop Punctuation MultilangXLM-R英、德、法、意多語言句末標(biāo)點(diǎn)punctuate-allPunctuate-allXLM-R13 種歐洲語言覆蓋最廣的歐洲語系pcsPCSXLM-R多語言一次完成標(biāo)點(diǎn) 大寫 分句自定義路徑任意 GGUF—指向本地.gguf文件模型說明文檔可參考 hf_readmes/fireredpunc-GGUF.md、hf_readmes/fullstop-punc-multilang-GGUF.md 和 hf_readmes/punctuate-all-GGUF.md。兩個(gè)工程細(xì)節(jié)值得知道--punc-model支持首次使用自動(dòng)下載解析出 URL 后走緩存機(jī)制不需要手動(dòng)管理模型文件與--strict-pipeline搭配strict 模式下你顯式聲明的標(biāo)點(diǎn)階段如果加載失敗會(huì)直接報(bào)錯(cuò)而不是靜默跳過 想徹底關(guān)掉標(biāo)點(diǎn)用--no-punctuation。對(duì) canary/cohere 這類原生帶標(biāo)點(diǎn)的后端這會(huì)關(guān)閉其內(nèi)置標(biāo)點(diǎn)對(duì)其他后端則跳過全部后處理。真值大寫Truecasing自動(dòng)還原正確大小寫全小寫的文本讀起來像機(jī)器人寫的——句首該大寫的沒大寫德語名詞首字母也全錯(cuò)了。--truecase-model掛一個(gè)統(tǒng)計(jì)型 Truecaser 模型即可修復(fù)# auto 德語模型也可以傳本地 .bin 路徑 crispasr -m auto -f talk.wav --truecase-model autoTruecaser 有兩套實(shí)現(xiàn)接口都在 crisp_truecase/ 目錄LSTM 版crisp_truecase/src/truecaser_lstm.cpp經(jīng)典統(tǒng)計(jì)模型加載.bin格式CRF 版crisp_truecase/src/truecaser_crf.cpp條件隨機(jī)場(chǎng)模型對(duì)上下文依賴更強(qiáng)的語言效果更好C API 層面各暴露了init / process / free三個(gè)函數(shù)如truecaser_process見 src/truecaser.hGo、Rust、Java 等語言綁定都可以直接調(diào)用。模型轉(zhuǎn)換腳本為 models/convert-lstm-truecaser-to-bin.py。組合拳實(shí)時(shí)邊說邊翻譯把識(shí)別器 文本翻譯器組合起來--live-translate實(shí)現(xiàn)了逐句實(shí)時(shí)翻譯識(shí)別器每提交一句翻譯器立刻翻好輸出# 麥克風(fēng)輸入德語說話 → 英文逐句輸出 crispasr --live-translate -l de --tr-tl en \ -m auto --backend parakeet --translate-model hy-mt2常用組合參數(shù)參數(shù)作用--translate-model選翻譯器autom2m100-418Mopus-mt-de-en最快hy-mt2LLM--translate-backend指定引擎類型m2m100/marian/madlad/llm--translate-beambeam 寬度默認(rèn) 1貪心beam 4 精度更高但慢約 9 倍--translate-revise慢速精翻通道整段完成后用 LLM 重譯一遍替換快速譯文--no-translate-drafts只翻譯已定稿的句子不翻正在說的半句完整參數(shù)表見 docs/cli.md 的「Live transcribe translate」章節(jié)機(jī)制細(xì)節(jié)見 docs/streaming.md。后處理執(zhí)行順序與 API 入口如果你通過 C API 集成需要知道標(biāo)點(diǎn)模型在分段合并之后、結(jié)果返回之前應(yīng)用CLI 與 API 的順序嚴(yán)格一致見 src/crispasr_c_api.cpp 中apply_session_punc_model的調(diào)用位置音頻 → 識(shí)別器 → 分段合并(merge_segments) → 標(biāo)點(diǎn)恢復(fù)(--punc-model) → 真值大寫(--truecase-model) → 輸出關(guān)鍵 API 一覽crispasr_session_translate_text(s, text, src_lang, tgt_lang, max_tokens)— 對(duì)任意文本執(zhí)行 m2m100/MarianMT 翻譯src/crispasr_c_api.cppcrispasr_punc_init(model)— 獨(dú)立加載標(biāo)點(diǎn)模型一次加載、對(duì)任意文本反復(fù)調(diào)用crispasr_session_set_translate(s, enable)— 切換 whisper 系后端的音頻側(cè)翻譯常見問題 FAQQ1翻譯結(jié)果和 Hugging Face 參考不一致m2m100 的 en→de 已驗(yàn)證與 Python 參考逐 token 精確一致MarianMT F16 下 greedy 與 beam 4 均與 HF 完全一致Q8_0 量化下有極少量差異12/14 逐 token 匹配。量化版換一點(diǎn)精度換體積是合理取舍。Q2中文場(chǎng)景標(biāo)點(diǎn)用哪個(gè)模型用--punc-model auto即 FireRedPunc。它是 BERT 架構(gòu)中英雙語fullstop和punctuate-all面向歐洲語言。Q3--translate音頻側(cè)和--backend m2m100文本側(cè)有什么區(qū)別前者讓識(shí)別器本身直接輸出英文whisper/canary 等一條路徑后者是獨(dú)立的文本到文本翻譯可以對(duì)任意文本不一定是 ASR 輸出翻譯。Q4模型文件從哪來所有別名auto、firered、pcs等首次使用時(shí)自動(dòng)下載到緩存目錄也可以自行轉(zhuǎn)換轉(zhuǎn)換腳本集中在 models/ 目錄convert-m2m100-to-gguf.py、convert-marian-to-gguf.py、convert-fireredpunc-to-gguf.py等。小結(jié)CrispASR 的翻譯與后處理引擎把三件語音助手最后一公里的事做成了開箱即用的 CLI 參數(shù)和 C API翻譯m2m100 百語通用、MarianMT 輕量單方向、WMT21 高質(zhì)量、MADLAD-400 超長尾四選一標(biāo)點(diǎn)恢復(fù)--punc-model一個(gè)參數(shù)中文選 FireRedPunc歐洲語言選 fullstop / punctuate-all一步到位選 PCS真值大寫--truecase-model還原句首和專有名詞大寫配合--live-translate你還能把它們串成說一句話、立刻看到另一語言的標(biāo)準(zhǔn)文本的實(shí)時(shí)流水線——這就是一個(gè) ggml 運(yùn)行時(shí)框架能做到的完整度。贊分享【免費(fèi)下載鏈接】CrispASRC ggml runtime hub for multilingual ASR and TTS models: Cohere Transcribe, Parakeet TDT, Voxtral, Canary 1B v2, etc, plus universal forced alignment, and more項(xiàng)目地址https://gitcode.com/gh_mirrors/cr/CrispASR點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Sonic vs 其他語音變速工具為什么它是開源項(xiàng)目的最佳選擇Sonic vs 其他語音變速工具為什么它是開源項(xiàng)目的最佳選擇 在數(shù)字音頻處理領(lǐng)域語音變速工具扮演著越來越重要的角色。無論是播客制作、語言學(xué)習(xí)還是無障礙輔助終極開源翻譯引擎離線多語言翻譯完整指南終極開源翻譯引擎離線多語言翻譯完整指南 Argos Translate是一個(gè)基于Python開發(fā)的開源離線翻譯引擎支持40多種語言互譯提供完全本地化的翻譯人工智能NLP本地部署CTranslate2高性能的機(jī)器翻譯引擎CTranslate2高性能的機(jī)器翻譯引擎 是一個(gè)開源的、高效的神經(jīng)機(jī)器翻譯Neural Machine Translation, NMT庫由 Open推理引擎模型量化模型優(yōu)化NLP創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考