AI配音技术公司Deepdub获2000万美元A轮融资
随着媒介产品的全球化趋势,国外引进电影、电视节目和游戏的配音正在成为一个正在高速增长的领域。根据Verified MarketResearch,仅电影配音市场的价值从2020年就开始以5.6%的复合年增长率增长,到2027年可达36亿美元。考虑到请演员进行录音室配音的成本高昂,人工智能技术有望通过自动化配音来简化配音的流程。
据VentureBeat报道,AI配音技术公司「Deepdub」昨日宣布在A轮融资中筹集了2000万美元,由nsightPartners领投,Booster Ventures、Stardom Ventures、Swift VC和部分天使投资者跟投。
Deepdub成立于2019年,由来自以色列的Nir Krakowski和OfirKrakowski兄弟共同创立,总部位于特拉维夫。该公司为电影、电视、游戏和广告提供人工智能配音服务,这种技术由神经网络驱动,可以分割、隔离原始声音并将配音替换进原始轨道中。
Deepdub试图实现一种“克隆式”的配音方法,在加入新配音的同时保留演员原始的声音。它使用基于另一种语言的演员声音合成样本,并与原始演员的声音分层合成形成配音。该公司正在研究使可以一次性匹配多种语言的唇部运动的算法,虽然这种算法还不能实现实时配音,但可以在后期制作系统中使用。
NirKrakowski表示,其人工智能模型能够利用不超过三分钟的语音数据复制语音特征,生成的目标语言的声音可以展示出高度的表现力,包括哭泣、喊叫、嘴里含着食物说话等,这种表现力甚至是原始语音中不具备的。
Deepdub配音的首部作品是2019年的英语惊悚片 "Every Time I Die",Deepdub参与其西班牙语和葡萄牙语配音制作。
据悉,公司正在与多个好莱坞电影公司合作开展各种项目,这些项目目前是专有的。自从2020年12月公开发布以来,Deepdub已经与Topic.com签订了一个多系列的合作,将他们的外国电视节目目录引入英语。
最新的资金将用于扩大公司的全球销售和交付团队,雇佣更多的研究人员和开发人员来加强特拉维夫的研发团队,并进一步加强公司基于深度学习的本地化平台。公司在2021年初有7名员工,在2022年初增长到30多人,预计到今年年底将使人员规模翻番。
与Deepdub同样专注于视频和语音,开发AI配音工具的公司包括「Synthesia」、「Respeecher」、「ResembleAI」和「Papercup」。此外,老牌企业「Nvidia」正在开发一项基于演员原面部表情进行细微改变,使之与新的语言相匹配的技术;「Veritone」则推出了一个名为「Marvel.ai」的平台,允许内容制作者创造和授权AI生成的声音。
人工智能技术正在加速进入配音领域,未来这种方式能否代替演员的录音室配音,又会带来多少和语言相关的法律、伦理问题,或许目前尚不能轻易地下结论。