精准猎取科技资讯,天堂视频在线观看,高效阅读科技新闻_黄色av网站在线免费观看_科技猎

阿里通義開源音頻生成模型,能模仿音效師為視頻配音 | 速途網

速途網  ?  掃碼分享
我是創始人李巖:很抱歉!給自己產品做個廣告,點擊進來看看。  

速途網7月1日消息(報道:李楠)今日,阿里通義實驗室開源了旗下首個音頻生成模型ThinkSound,該模型首次將CoT(Chain-of-Thought,思維鏈)應用到音頻生成領域,讓AI可以像專業音效師一樣逐步思考,捕捉視覺細節,生成與畫面同步的高保真音頻。目前,ThinkSound的代碼和模型已在Github、HuggingFace、魔搭社區開源,開發者可免費下載和體驗。

阿里通義開源音頻生成模型,能模仿音效師為視頻配音 | 速途網

阿里開源音頻生成模型ThinkSound

視頻生成音頻(V2A)技術是多媒體編輯和視頻內容創作領域最重要的技術之一,但該技術的發展速度仍存在諸多技術挑戰,例如業界現有的V2A技術仍缺乏對視覺對應聲學細節的深入理解,導致生成的音頻較為通用,甚至與關鍵視覺事件錯位,難以滿足專業創意場景中對時序和語義連貫性的嚴格要求。

為了解決現有視頻轉音頻技術難以捕捉畫面中動態細節和時序的難題,通義團隊首次將思維鏈推理引入多模態大模型,可以模仿人類音效師的多階段創作流程,實現對視覺事件與相應聲音之間深度關聯的精準建模,例如先分析視覺動態、再推斷聲學屬性,最后按照時間順序合成與環境相符的音效。不僅如此,該團隊還構建了首個帶思維鏈標注的音頻數據集AudioCoT,該數據集融合了2531.8小時的多源異構數據,讓模型在音頻生成與編輯任務時做到“知其然、知其所以然”。

在開源的VGGSound測試集上,ThinkSound的核心指標相比MMAudio、V2A-Mappe、V-AURA等現有主流方法均實現了15%以上的提升。例如,在openl3空間中Fréchet 距離(FD)上,ThinkSound 相比 MMAudio的43.26 降至34.56(越低越好),接近真實音頻分布的相似度提高了20%以上;在代表模型對聲音事件類別和特征判別精準度的KLPaSST 和 KLPaNNs兩項指標上分別取得了1.52和1.32的成績,均為同類模型最佳。

阿里通義開源音頻生成模型,能模仿音效師為視頻配音 | 速途網

在開源的VGGSound測試集上,ThinkSound多項核心指標位居第一

在MovieGen Audio Bench測試集上,ThinkSound的表現大幅領先Meta推出的音頻生成模型Movie?Gen?Audio,展現了模型在影視音效、音頻后期、游戲與虛擬現實音效生成等領域的應用潛力。

阿里通義開源音頻生成模型,能模仿音效師為視頻配音 | 速途網

ThinkSound大幅領先Meta旗下Movie Gen Audio

目前,通義實驗室已推出語音生成大模型 Cosyvoice、端到端音頻多模態大模型MinMo等模型,全面覆蓋語音合成、音頻生成、音頻理解等場景。

隨意打賞

提交建議
微信掃一掃,分享給好友吧。
主站蜘蛛池模板: PC构件-PC预制构件-构件设计-建筑预制构件-PC构件厂-锦萧新材料科技(浙江)股份有限公司 | 进口消泡剂-道康宁消泡剂-陶氏消泡剂-大洋消泡剂 | 全自动变压器变比组别测试仪-手持式直流电阻测试仪-上海来扬电气 | 起好名字_取个好名字_好名网免费取好名在线打分 | 进口便携式天平,外校_十万分之一分析天平,奥豪斯工业台秤,V2000防水秤-重庆珂偌德科技有限公司(www.crdkj.com) | 天一线缆邯郸有限公司_煤矿用电缆厂家_矿用光缆厂家_矿用控制电缆_矿用通信电缆-天一线缆邯郸有限公司 | 组织研磨机-高通量组织研磨仪-实验室多样品组织研磨机-东方天净 传递窗_超净|洁净工作台_高效过滤器-传递窗厂家广州梓净公司 | 液氮罐_液氮容器_自增压液氮罐-北京君方科仪科技发展有限公司 | 首页_中夏易经起名网 | 清水-铝合金-建筑模板厂家-木模板价格-铝模板生产「五棵松」品牌 | ?水马注水围挡_塑料注水围挡_防撞桶-常州瑞轩水马注水围挡有限公司 | T恤衫定做,企业文化衫制作订做,广告T恤POLO衫定制厂家[源头工厂]-【汉诚T恤定制网】 | 金刚网,金刚网窗纱,不锈钢网,金刚网厂家- 河北萨邦丝网制品有限公司 | 步进_伺服_行星减速机,微型直流电机,大功率直流电机-淄博冠意传动机械 | 碳钢法兰厂家,非标法兰,定制异型,法兰生产厂家-河北九瑞管道 | 长沙广告公司_制作,长沙喷绘_发光字_招牌制作_长沙泓润广告官网 长城人品牌官网 | 质检报告_CE认证_FCC认证_SRRC认证_PSE认证_第三方检测机构-深圳市环测威检测技术有限公司 | 送料机_高速冲床送料机_NC伺服滚轮送料机厂家-东莞市久谐自动化设备有限公司 | 全自动实验室洗瓶机,移液管|培养皿|进样瓶清洗机,清洗剂-广州摩特伟希尔机械设备有限责任公司 | 医学动画公司-制作3d医学动画视频-医疗医学演示动画制作-医学三维动画制作公司 | 挨踢网-大家的导航!| 聚丙烯酰胺_阴离子_阳离子「用量少」巩义亿腾厂家直销,售后无忧 聚合甘油__盐城市飞龙油脂有限公司 | 铝箔-铝板-花纹铝板-铝型材-铝棒管-上海百亚金属材料有限公司 | 钢格板|热镀锌钢格板|钢格栅板|钢格栅|格栅板-安平县昊泽丝网制品有限公司 | RV减速机-蜗轮蜗杆减速机-洗车机减速机-减速机厂家-艾思捷 | 丝印油墨_水性油墨_环保油墨油漆厂家_37国际化工 | 小港信息港-鹤壁信息港 鹤壁老百姓便民生活信息网站 | 东莞画册设计_logo/vi设计_品牌包装设计 - 华略品牌设计公司 | 水质监测站_水质在线分析仪_水质自动监测系统_多参数水质在线监测仪_水质传感器-山东万象环境科技有限公司 | 油冷式_微型_TDY电动滚筒_外装_外置式电动滚筒厂家-淄博秉泓机械有限公司 | 粉末冶金-粉末冶金齿轮-粉末冶金零件厂家-东莞市正朗精密金属零件有限公司 | 重庆小面培训_重庆小面技术培训学习班哪家好【终身免费复学】 | 数显恒温培养摇床-卧式/台式恒温培养摇床|朗越仪器 | 老城街小面官网_正宗重庆小面加盟技术培训_特色面馆加盟|牛肉拉面|招商加盟代理费用多少钱 | 心肺复苏模拟人|医学模型|急救护理模型|医学教学模型上海康人医学仪器设备有限公司 | 打包钢带,铁皮打包带,烤蓝打包带-高密市金和金属制品厂 | 上海律师咨询_上海法律在线咨询免费_找对口律师上策法网-策法网 广东高华家具-公寓床|学生宿舍双层铁床厂家【质保十年】 | 厦门ISO认证|厦门ISO9001认证|厦门ISO14001认证|厦门ISO45001认证-艾索咨询专注ISO认证行业 | 济南品牌包装设计公司_济南VI标志设计公司_山东锐尚文化传播 | 注塑_注塑加工_注塑模具_塑胶模具_注塑加工厂家_深圳环科 | 安徽净化板_合肥岩棉板厂家_玻镁板厂家_安徽科艺美洁净科技有限公司 |