向奕裴于1979年出生于四川成都的一个音乐世家,父亲是竹笛演奏家向晓东。他自幼学习钢琴和双簧管演奏,1997年考入清华大学电子工程系,并担任清华大学交响乐团首席双簧管。随后他师从中央音乐学院著名教授祝盾继续深造双簧管演奏,同时与音乐人冯小波合作,在音果文化有限公司从事音乐制作和音频工程工作。继2001年电子系毕业之后,他赴美国加利福尼亚大学圣地亚哥分校(UCSD)音乐系继续深造电脑音乐和现代数字音频技术。(百度百科)
专访米谟科技创始人向奕裴:专注全景声和3D音频的“文艺学霸”
讲座结束之后,VR网编辑就米谟科技的主营业务,VR中的音频技术难点及突破口,以及VR行业发展现状等问题对米谟科技创始人向奕裴进行了专访。或许向奕裴与一般的VR行业从业者不同之处在于,他更推崇科技与艺术的结合。
文艺学霸出身 创办米谟科技 坚持用技术提升艺术
出生于音乐世家的向奕裴,从小学习钢琴和双簧管,在进入清华大学电子工程系之后,仍然保持着这一习惯。除了担任清华大学交响乐团首席双簧管之外,还在2011年出了一张个人专辑《To The Moments》。在音乐方面的造诣,也是其后来创业的一个基础。之后,向奕裴在美国加州大学圣迭戈分校(UCSD)跟着实时音频系统专家Miller Puckette做研究,并且顺利获得了电脑音乐和现代数字音频技术博士学位。
“那时我每天都喜欢呆在学校的各个音频实验室,一来是那里确实很安静,易于思考,二是在那里听音乐很棒,而且在一圈一圈的音箱阵列中做声音很是享受。学校的开放学术气氛、各种艺术论坛和音乐会也让我像海绵一样地去感受和学习。”向奕裴说道。
之后向奕裴顺利进入高通,专注研究音频后处理和3D音频。在此期间,他参与了大量的芯片级音频后处理工作,包括应用于几乎所有高通芯片手机的Audio+音效处理组件、HTC M9的手机立体声喇叭、实验性的8音箱环绕阵列、MPEG-H标准组的HOA算法源代码等等。
当VR网编辑与这位“文艺学霸”谈及创办Mint Muse米谟科技的经历时,他认为,创业和做音乐一样,都是先有了想法,再仔细打磨、研究实现的方法。米谟科技团队在很早以前就开始做与声音有关的各种应用,在投入时间专心研究市场与产品后,最终确定方向:专攻空间音频的编辑与制作。
创业初期,向奕裴尝试做了一些音频相关的App,比如白噪声生成器Loopless Relax Sound,通过控制声波频度改变用户听歌体验的Binaural Beats Mint和“可记录当时环境”的水印相机Oiday等。之后注册了米谟科技,在上海和美国加州开展以3D音频和VR音频为主题的产品和内容研发。
“我们坚信,好的声音是需要设计的,软件可以把声音打磨得更美,而好的硬件也可以进一步巩固这些设计。”向奕裴这样说道。据VR网编辑了解,目前米谟科技开发了游戏音频SDK、VR虚拟影院和首创的VR音频工作站等软件产品,以及一款可录制全景声的麦克风,同时也在多声道音箱渲染和3D内容频道方面有所布局。
针对音频编辑师痛点 开发VR版音频编辑工具
近年来,随着VR行业的火热发展,很多公司都大力投入空间音频技术研发。比如Facebook收购了著名的空间音频技术公司Two Big Ears,并发布了Facebook 360空间音频工作站。谷歌、英伟达和Valve也都为VR内容制作者提供了VR音频编辑SDK,但目前3D音频源文件的制作还存在很多限制。
首先,传统的3D音频制作需要使用“人头录音”设备,来录制可以直接使用的3D音频,但价格昂贵且操作复杂。而目前传统的影片拍摄过程中,直接实现3D录音也是不现实的。另一个限制因素在于,目前后期制作3D音频的编辑工具操作过于复杂,需要音频制作者在想象声场空间设置的基础上,手动调节每个节点的坐标数值,依赖这类软件,3D音频制作周期也会变得非常长。
针对这一问题,米谟科技研发了全球首款VR音频工作站《Sound Flare》,并且登陆了Steam平台。通过该应用,剪辑师可以佩戴HTC Vive在VR环境中直观的编辑3D音频,大大缩短3D音频制作周期。
“影片一般是通过拍摄得来,并不像游戏中那样每个物体都有各自的定位信息。为了让剪辑师可以更简单地对声音对象进行所见即所得的编辑,我们认为最好的交互方式是把剪辑师放进VR环境中,再把编辑界面置于其中。这样,对声音对象的位移变化等调整都可以直接在VR环境中操作,由头部转动引起的声音变化也可以实时地在VR环境中得到体现。”向奕裴介绍道。
根据向奕裴的介绍,内容制作者可以戴着VR头显,在所看到的软件界面上直接拖动音频文件,除了调整时长、剪接、调音量等基本功能,通过打点、拖动关键帧等方式,也可以根据发声路径改变声音的远近,让发声的人物和声音效果相符。这样一来,人物的位置信息在声音和画面上都保持了一致,VR视频将真正个人一种“能忘却所佩戴设备的真实空间感”。
“《Sound Flare》编辑器可以说是全球首款可直接在VR界面工作的音频后期处理工具。”向奕裴说,他希望《Sound Flare》不仅为VR内容制作者提供便利,更希望通过其普及,让VR内容领域有新的爆发。
VR内容爆发仍需时日 VR中的音频技术仍需探索
当VR网(微信公众号:VR平台)编辑和向奕裴谈及对目前VR行业的看法时,向奕裴表示,VR在视觉、定位、交互和声音等领域都有极具挑战性的技术应用,最终的结果是给人们一种独特的方式,去体验一个虚拟的真实世界,或者是不可能存在于真实环境、完全被创造出来的虚拟世界,让我们从一个全新的角度去重新体验和感受。
虽然随着虚拟现实技术的发展,我们已经可以轻松拥有沉浸式的视频观看体验了,但VR的音频内容却没有跟上视频的脚步。不管VR在设备和科技上有了怎样的突破,如果音频制作一直处于滞后状态,VR在发展上仍会受到制约。也就是说,VR内容的行业格局将会在很大程度上依赖于VR音频的发展。
目前,米谟科技专注于全景声和3D音频技术的开发,以及在VR中的相关应用。我们期待着米谟科技的产品能够尽快普及,用全景声和3D音频技术为VR内容的制作和传播带来新的突破。
“VR是一个令人振奋的新行业,声音作为感官的一个重要部分,也需要更好的技术和特别的设计。”向奕裴认为。
关于ACT TALK |艺术·创造力·科技讲座系列
“ACT TALK |艺术·创造力·科技讲座系列”是由清华x-lab主办,来自清华大学经管学院、人文学院、美术学院等院系的教授联名发起,通过邀请各领域名人学者演讲互动,打破学术专业和产业领域界限的同时,引导学生跳出思维定式,学习并掌握艺术创造力和科技创造力的“思维平衡” 。该讲座系列重在激发学生和团队的想象力、创造力和行动力,从而创新出艺术与科技的美好结晶,最终通过商业化的推动拥有广泛社会影响力。从活动立意到形式呈现将充分体现清华x-lab学科交叉、探索未知、体验式学习与团队合作的教育理念。
学霸夫妻任性创业,做了款能听到声音的水印相机
尽管当前的相机应用能提供强大的滤镜及各式标签,但诸如此类的感性元素却无法捕捉。有俩人因此觉得用着不爽,于是自己做了款叫做Oiday的APP,把这事儿给解决了。
之前在AppStore上线的Oiday是一款为图片自动添加类似于“邮戳”的水印相机App。用户拍完照片后,通过左右滑动选择滤镜,系统会将周围的天气、噪声、地点、海拔、雾霾、甚至车速等元素捕捉进来,重新组合后“戳”在照片上。
开发这款APP的向奕裴和刘克茜是一对学霸夫妻。2015年9月,两人离职创业,成立了MintMuse音频公司,地点在加州大学。目前团队共8人,去年7月拿到了峰瑞资本的种子轮融资。
向奕裴毕业于清华大学电子系,之后前往加州大学圣地亚哥分校就读计算机音乐博士,毕业后在高通工作了10年,负责研发声音后处理算法,曾参与MPEG-H音频标准制定,其研发的低功耗音频处理算法已广泛运用于华为、小米、三星、LG等手机。
在高通,他遇到了现在的妻子刘克茜。刘克茜在高通5年,主要负责AR眼镜、人机交互等研发工作,开发了第一个车内的增强现实眼镜。她是修图软件的重度用户,Oiday诞生的直接原因就在于,刘克茜觉得大多数修图软件太费时间,也不能把所有想分享的信息简单迅速地“戳”上去。
因此,在设计Oiday时,刘克茜更加注重界面的简洁、操作的方便和迅速。而Oiday与其它相机应用最大的不同在于,它能监测环境噪声的强度,并生成具体的分贝值展现在照片上。
这套测量声音强度的工具来自于向奕裴之前开发的另一个产品Sound Level Meter Pro,这是一个专业的噪音测量工具,AppStore上售价20美元。向奕裴告诉小饭桌,做这个纯粹是因为兴趣,3年前利用空余时间做出来后,在未作任何推广的情况下,一直陆陆续续有新的下载量。2015年8月,这款APP被Scientific American杂志推举为“最好的噪音测量工具”,其测量准确度也被AES论文所认可。
“专业的测量噪音的工具卖一两百美元,这个APP相当于把iPhone变成了这样的一个工具”,向奕裴说,“由于每种手机硬件不同,测量的精准度也会不一样,我们在挨个校准后,能够得到比较准确的数据。”
向奕裴是一个对声音特别着迷的人。大学期间曾任校交响乐团木管首席,并于中央音乐学院进修双簧管演奏,参与过编曲,做过电影配乐,组建过乐队,还发表过一张个人电子音乐专辑《To The Moments》。离职那天,他在朋友圈更新状态:世界那么大,我想去听听。
Oiday之前,向奕裴还做了另两个与声音有关的APP。一个是Loopless Relax Sound,这是一个白噪声发声器,通过音频算法随机重组内容,能产生不循环的自然环境声,比如溪流、虫鸣、蛙叫、下雨、海浪等等。另一个是Binaural Beats Mint,通过控制双耳声波的频度,让用户在听歌时产生一种有空间感的、放松的、或者嗨的感觉。
“他在音频方面很有经验,我写代码比较快,所以每次发现什么东西比较好玩,我们就会去做,”刘克茜笑着说,“没有刻意去想会不会火,有人用就接着做,没人用换个方向再试。”
除了这些“做着玩”的APP,MintMuse团队正进行一些有关3D音频、VR音频等方面的研发工作,“VR领域视频做的比较好了,音频方面还有欠缺,但有沉浸感、方位感的音频在VR中十分重要,我们想在这方面做些独特的贡献”,向奕裴说。(小饭桌文字/图片报道)
有关向奕裴的报道链接
(美国华文网编发)