后端前端企業(yè)應(yīng)用MCP 服務(wù)【免費(fèi)下載鏈接】ever-gauzyEver? Gauzy? - Open Business Management Platform (ERP/CRM/HRM/ATS/PM) - https://gauzy.co項目地址https://gitcode.com/GitHub_Trending/ev/ever-gauzy點(diǎn)擊查看免費(fèi)下載Ever Gauzy 的 AI 聊天引擎gauzy/plugin-ai-chat通過插件化的 Provider 注冊機(jī)制接入多家語音與聊天模型廠商。gauzy/plugin-ai-provider-elevenlabs正是其中專門負(fù)責(zé)ElevenLabs Scribe 語音轉(zhuǎn)寫speech-to-text的 Provider 插件它在應(yīng)用啟動時把elevenlabs注冊進(jìn)AiProviderRegistry為 AI 聊天的語音輸入dictation功能提供音頻轉(zhuǎn)錄能力。讀完本文你將掌握該插件的定位、兩個環(huán)境變量的含義、Scribe 語音模型的選擇方式、BYOK自帶密鑰與全局環(huán)境變量的優(yōu)先級關(guān)系以及底層transcribeMultipart請求是如何被構(gòu)造與安全加固的。插件定位只做語音轉(zhuǎn)寫不參與聊天與 Anthropic、OpenAI 等既做聊天又做語音的 Provider 不同ElevenLabs 插件是一個voice-only僅語音的 Provider它在啟動時向聊天引擎的AiProviderRegistry注冊elevenlabschatCapable: false即永遠(yuǎn)不能被選為聊天模型它可以被租戶設(shè)為默認(rèn)語音 Providerdictation 轉(zhuǎn)寫通道但模型選擇器里不會出現(xiàn)它的聊天選項。這一設(shè)計在 Provider 定義里體現(xiàn)得非常直白。查看 ai-provider-elevenlabs.provider.ts 可以看到models為空數(shù)組、defaultModel為空字符串而createModel()被實(shí)現(xiàn)為一個永遠(yuǎn)拋錯的占位方法提示語為 ElevenLabs is a speech-to-text provider and cannot serve chat — select another provider for chat.。也就是說即使某個租戶保存了 ElevenLabs 的密鑰聊天引擎也不會把它當(dāng)作可用的聊天模型。插件如何被裝載BaseAiProviderPlugin 生命周期插件的實(shí)現(xiàn)非常精簡整個類只有一行有效邏輯。查看 ai-provider-elevenlabs.plugin.tsPlugin({}) export class AiProviderElevenLabsPlugin extends BaseAiProviderPlugin { protected readonly definition elevenLabsProviderDefinition; }它繼承自gauzy/plugin-ai-chat的抽象基類 base-ai-provider.plugin.ts?；悓?shí)現(xiàn)了兩個生命周期鉤子onPluginBootstrap()調(diào)用AiProviderRegistry.register(this.definition)把 Provider 定義注冊進(jìn)進(jìn)程級注冊表并打印綠色日志onPluginDestroy()調(diào)用AiProviderRegistry.unregister(this.definition.id)在插件卸載時移除注冊。AiProviderRegistry見 provider-registry.ts是一個靜態(tài) Map 實(shí)現(xiàn)的注冊表刻意不依賴 NestJS 依賴注入這樣 Provider 插件無需引入聊天模塊的 Nest 依賴圖聊天引擎在請求時再從這個注冊表讀取 Provider 定義并按order字段排序ElevenLabs 的order為120。該插件的公共 API 表面index.ts只導(dǎo)出插件類和 Provider 定義兩個符號。環(huán)境變量配置ElevenLabs 插件讀取兩個環(huán)境變量變量說明ELEVENLABS_API_KEY服務(wù)器級server-wideElevenLabs API 密鑰在 ElevenLabs 官方的 App Settings → API Keys 頁面創(chuàng)建。ELEVENLABS_BASE_URL可選的自定義 API 基礎(chǔ)地址默認(rèn)值為https://api.elevenlabs.io/v1。這兩者在 Provider 定義中分別對應(yīng)apiKeyEnvVars: [ELEVENLABS_API_KEY]和baseUrlEnvVar: ELEVENLABS_BASE_URL且defaultBaseUrl明確寫為https://api.elevenlabs.io/v1。依據(jù) provider.types.ts 的契約apiKeyEnvVars是一個數(shù)組憑證解析時按順序檢查、第一個非空值生效baseUrlEnvVar提供自定義基礎(chǔ)地址的入口適合通過代理或私有網(wǎng)關(guān)轉(zhuǎn)發(fā) ElevenLabs 請求的部署這兩個變量都屬于environment來源僅在租戶未配置自己的 BYOK 密鑰時作為兜底。Speech-to-text 模型ElevenLabs Scribe插件內(nèi)置了兩款 Scribe 語音轉(zhuǎn)寫模型定義見 ai-provider-elevenlabs.provider.tsIdLabel界面顯示名scribe_v1默認(rèn)Scribe v1scribe_v1_experimentalScribe v1 (experimental)選擇方式進(jìn)入Settings → AI Providers → ElevenLabs → Speech model為當(dāng)前租戶挑選模型同時勾選Use as default voice provider即可把 ElevenLabs 設(shè)為該租戶的 dictation 轉(zhuǎn)寫 Provider。未選擇時代碼回退到DEFAULT_SPEECH_MODEL scribe_v1見 ai-provider-elevenlabs.provider.ts。這套語音模型目錄在聊天引擎的類型契約里對應(yīng)IAiSpeechCataloguespeech.models是租戶可選的轉(zhuǎn)寫模型列表speech.defaultModel是未選擇時的默認(rèn)模型見 provider.types.ts。轉(zhuǎn)寫調(diào)用時聊天引擎會優(yōu)先使用租戶憑證行里保存的speechModel取不到再回退到 Provider 自身的speech.defaultModel。底層轉(zhuǎn)寫請求POST /v1/speech-to-text插件實(shí)現(xiàn)的轉(zhuǎn)寫函數(shù)transcribeAudio見 ai-provider-elevenlabs.provider.ts會構(gòu)造一次 multipart 請求請求地址{baseUrl}/speech-to-textbaseUrl優(yōu)先取憑證里的自定義地址否則回退ELEVENLABS_BASE_URL或默認(rèn)值并經(jīng)過trimTrailingSlash去除尾部斜杠方法POSTmultipart 表單包含file音頻文件、model_id注意是model_id而非model這是 ElevenLabs API 與 OpenAI 系/audio/transcriptions的關(guān)鍵差異、可選的language_code認(rèn)證請求頭攜帶xi-api-keyElevenLabs 專用請求頭而非Authorization: Bearer返回從響應(yīng) JSON 的text字段讀取轉(zhuǎn)寫文本。language_code只在調(diào)用方提供了語言提示時才發(fā)送格式為 ISO-639-1 如en或 BCP-47 標(biāo)簽未提供時由 ElevenLabs 自動檢測。共享的 multipart 轉(zhuǎn)寫管道transcribeAudio復(fù)用了gauzy/plugin-ai-chat提供的共享函數(shù)transcribeMultipart見 openai-compatible-transcribe.ts。這個共享管道為所有語音 Provider 統(tǒng)一實(shí)現(xiàn)了音頻擴(kuò)展名推導(dǎo)根據(jù)瀏覽器MediaRecorder記錄的 MIME 類型如audio/webm;codecsopus、audio/mp4推導(dǎo) multipart 文件名后綴resolveAudioExtension因?yàn)?ElevenLabs 等上游服務(wù)依賴擴(kuò)展名判斷容器格式字段過濾值為undefined或空字符串的 multipart 字段不會被發(fā)送language_code未提供時即被跳過超時控制TRANSCRIBE_TIMEOUT_MS 60_000一分鐘語音轉(zhuǎn)寫允許更長的處理時間見 openai-compatible-transcribe.tsSSRF 防護(hù)請求經(jīng)由ssrfSafeFetch出站守衛(wèi)循環(huán)/私網(wǎng)/鏈路本地目標(biāo)默認(rèn)被拒絕、DNS 解析后重新校驗(yàn)主機(jī)、不跟隨重定向見 openai-compatible-transcribe.ts。只有當(dāng)憑證顯式允許私有端點(diǎn)isPrivateAiProviderEndpointAllowed(credentials)時才放行錯誤分類按狀態(tài)碼區(qū)分失敗類型——401/403為key-rejected密鑰被拒429為rate-limited限流400/415/422為audio-rejected音頻被拒/格式不支持其余為通用http錯誤見 openai-compatible-transcribe.ts密鑰脫敏與響應(yīng)上限錯誤信息中的密鑰會被redactSecret替換錯誤體最多讀取 2048 字節(jié)成功響應(yīng)最多緩沖 4 MiB、轉(zhuǎn)寫文本最多中繼 64 KiBMAX_TRANSCRIPT_CHARS。BYOKbring your own key租戶密鑰優(yōu)先插件支持 BYOK 模式。租戶通過 AI 聊天憑證 API/api/ai-chat/credentials為elevenlabsProvider 保存的憑證總是優(yōu)先于ELEVENLABS_*環(huán)境變量環(huán)境變量只在租戶未配置任何憑證時作為服務(wù)器級兜底。這一優(yōu)先級在憑證模型中由source字段承載見 provider.types.ts取值依次為tenant→environment→platform。租戶憑證行還額外攜帶兩個與語音相關(guān)的字段見 ai-provider-credential.entity.ts 附近與 ai-provider-credential.service.tsspeechModel該租戶為這個 Provider 選定的轉(zhuǎn)寫模型isVoiceDefault是否將該 Provider 設(shè)為租戶默認(rèn)語音dictationProvider——保存時系統(tǒng)會調(diào)用clearOtherVoiceDefaults清除該租戶其他憑證上的此標(biāo)志保證同時最多一個默認(rèn)語音 Provider見 ai-provider-credential.service.ts。Dictation 的完整執(zhí)行鏈路聊天引擎的transcribe服務(wù)見 ai-chat.service.ts按以下順序處理一次語音轉(zhuǎn)寫校驗(yàn)音頻非空、且不超過MAX_AUDIO_BYTES上限約 25 MB對應(yīng)上傳攔截器的 multer 限制從注冊表篩出所有實(shí)現(xiàn)了transcribe的 Providertypeof definition.transcribe function并按order排序一個都沒有則拋出 503NOT_CONFIGURED若租戶設(shè)置了默認(rèn)語音 ProviderresolveVoiceDefault讀取isVoiceDefault標(biāo)記默認(rèn)語音 Provider 排在最前優(yōu)先嘗試其余保持展示順序依次為每個 Provider 解析憑證租戶 BYOK → 環(huán)境變量、取出其speechModel或 Provider 默認(rèn)模型調(diào)用definition.transcribe(...)單個 Provider 失敗不中斷整個請求會記錄失敗原因并繼續(xù)嘗試下一個可轉(zhuǎn)寫的 Provider全部失敗才拋出 503錯誤體為結(jié)構(gòu)化對象{ message, code, settingsPath }前端可據(jù)此渲染可操作的提示并鏈接到 AI Providers 設(shè)置頁。這種默認(rèn)語音 Provider 優(yōu)先、可轉(zhuǎn)寫 Provider 兜底的設(shè)計意味著即使租戶的聊天模型跑在 Anthropic本身無語音模型上只要同時配置了 ElevenLabs或 OpenAI、本地 whisper 服務(wù)器等任一可轉(zhuǎn)寫 Providerdictation 依然可用無需切換聊天 Provider。安裝與構(gòu)建該插件位于倉庫 packages/plugins/ai-provider-elevenlabs 目錄包名為gauzy/plugin-ai-provider-elevenlabs見其 package.json依賴gauzy/plugin-ai-chat、gauzy/plugin與gauzy/contracts要求 Node.js 22、Yarn 1.22。其構(gòu)建腳本為yarn nx build plugin-ai-provider-elevenlabs開發(fā)時的監(jiān)聽構(gòu)建可用lib:watch腳本yarn nx build plugin-ai-provider-elevenlabs --watch。安裝方式與 Ever Gauzy 其余插件一致在服務(wù)端應(yīng)用的插件列表apps/api/src/plugins.ts中加入AiProviderElevenLabsPlugin應(yīng)用啟動時插件就會隨BaseAiProviderPlugin的 bootstrap 生命周期把elevenlabs注冊進(jìn)聊天引擎的 Provider 注冊表。小結(jié)gauzy/plugin-ai-provider-elevenlabs是 Ever Gauzy AI 聊天引擎語音能力的關(guān)鍵拼圖它把 ElevenLabs Scribe 封裝為 voice-only Provider通過ELEVENLABS_API_KEY/ELEVENLABS_BASE_URL兩個環(huán)境變量提供服務(wù)器級默認(rèn)配置通過 Settings 頁為每個租戶選擇 Scribe 模型并可選設(shè)為默認(rèn)語音 Provider且始終讓租戶的 BYOK 憑證優(yōu)先于環(huán)境變量。底層則復(fù)用了gauzy/plugin-ai-chat的共享 multipart 轉(zhuǎn)寫管道統(tǒng)一獲得超時控制、SSRF 出站防護(hù)、錯誤分類與密鑰脫敏從而在開箱即用與安全可控之間取得平衡。贊分享后端前端企業(yè)應(yīng)用MCP 服務(wù)【免費(fèi)下載鏈接】ever-gauzyEver? Gauzy? - Open Business Management Platform (ERP/CRM/HRM/ATS/PM) - https://gauzy.co項目地址https://gitcode.com/GitHub_Trending/ev/ever-gauzy點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Ever Gauzy 接入 LocalAI本地化 AI Chat 與語音聽寫 Provider 插件完全指南Ever Gauzy 接入 LocalAI本地化 AI Chat 與語音聽寫 Provider 插件完全指南 Ever? Gauzy?開源企業(yè)管理平臺內(nèi)置后端前端企業(yè)應(yīng)用MCP 服務(wù)Ever Gauzy 本地語音轉(zhuǎn)文字接入 whisper.cpp whisper-server 的完整指南Ever Gauzy 本地語音轉(zhuǎn)文字接入 whisper.cpp whisper server 的完整指南 導(dǎo)讀 本文圍繞 Ever Gauzy 開源倉庫中的后端前端企業(yè)應(yīng)用MCP 服務(wù)Ever Gauzy 接入 Grokai-provider-grok 插件配置與實(shí)現(xiàn)原理詳解Ever Gauzy 接入 Grokai provider grok 插件配置與實(shí)現(xiàn)原理詳解 本指南以 Ever? Gauzy? 開源業(yè)務(wù)管理平臺中的 ga后端前端企業(yè)應(yīng)用MCP 服務(wù)上一篇HomeAssistant-Tapo-Control支持設(shè)備清單從攝像頭到門鈴的全面兼容列表下一篇ECC 工程規(guī)范實(shí)戰(zhàn)HarmonyOS / ArkTS 開發(fā)模式完全指南狀態(tài)管理 V2、Navigation 路由、MVVM 與性能優(yōu)化創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考