陈 恪先生有的个则是:讲”,非常过精的,我不在上近人讲过的,我不讲;外国人讲过的,我不讲;我自己讲过的,也不讲。"在这个时代,还要加上一条:AI(人工智能)能讲的,我们不讲。这是今天在校园里学习工作的所有人必须面对的问题。下面是我最近尝试提出的一些人工智能尚未问出的问题。
山水册页中的微观与宏观世界
首先分享一下“声音的显微镜与望远镜”的研究背景。我对黄宾虹先生绘画的研究发表过几篇文章。2013一20l6年,在担任作曲家期间,我选择了黄先生于1953年患白内障时绘出的一套山水册页,与文化遗产工程师、材料工程师、电报程序设计师等合作研究。我们可以通过软件设计,以“无人驾驶飞机"的沉浸方式“飞入"山水,产生一种全新的对山水画的微观与宏观的双重体验。
有趣的是,通过X射线荧光XRF分析,我们采集到黄宾虹先生画面上的元素成分,并将其转变为声音过滤器,使得我们可以聆听这幅画独特的声音。我们还用X射线轰击材料,使电子跃迁到更高的价层轨道,并在返回初始态时释放光子,所释放光子的波长(即频率)对应于各个元素及其壳层跃迁的特征。若将这些频率下移50个八度,几乎所有自然存在元素的发射频率都能降到人类听觉范围。这些研究开启了后来我与地质学家合作的“矿物质和声”项目,系统性地展开将元素转换为可听的和声的方法和技术。至今,我们已经系统性地转换了三百多种矿物质和声。①
山水画研究给了我新的启发,让我超越传统中国山水画范畴,去探究山水的材料是什么?山我们通过各种矿物质的转换,可以探索“山"的新声音材料;水一海洋会带给大家新的答案。
“声音望远镜”
我非常喜爱的建筑家路易·巴拉甘(LuisBar-ragan,1902—1988)是建筑界国际最高奖普利兹克建筑奖(PrizkerPrize)有史以来第二位获得者。1980年,他在接受普利兹克建筑奖的获奖感言中写道:“对一位建筑师而言,懂得如何看是至关重要的。"(It is essential to an architect to know howtosee.)巴拉甘提出的是对于建筑家最核心的问题—“如何看”。
我们可以将这句话调整一下,把“看”改为“听”,就成为对音乐家最核心的问题:“对一位音乐家而言,懂得如何听是至关重要的。”
听什么?谁在听?怎么听?
先给大家一个参照。人类可听到的频率在20赫兹至2万赫兹之间。从出生那天开始,我们的听力就一直在下降。一个50岁的人,可能最高平均只能听到1万赫兹一一几乎失去了一半的听力范围。为了研究,我特别做了一个完整的听力检查,测验结果我目前尚能听到一万八千赫兹。
“雷实验室"(LeiLab)研究的声音数据包括海洋生物以及冰层、深海风雨等自然声源,远远超过人类听觉的范围。这个项目,我称之为“听不见的深海"(InaudibleOcean)。
海洋生物发出的声音,是它们赖以生存的回声定位以及社交信号。正是靠着这些信号,它们能够通过声音“看”或“触摸"到生活的自然环境,追捕猎物,并互相交流,建立族群部落。声音是它们彼此之间,以及与生活环境的重要衔接。可以说,没有了声音,它们就失去了与环境的联系。我们团队研究的海洋生物中发音最高的是生活在北太平洋的达氏鼠海豚(Dall'sPorpoise),频率高达32万赫兹。人类创造音乐所用的声音信号,不及我们研究的海洋信号的 1% 。我们如何去揭示听不到的99%呢?过去做不到,但由于技术的发明,现在已成为可能。
通过实验室技术的探索,我们发明了“声音探照灯"(SonicSearchlight),以照亮过去人听不到的声音。同时,我们以十倍或百倍速度去压缩或伸展时间的尺度与频率位移手段,将不可听转化为可听。此类技术手段能为科学家与作曲家发现新的声音材料来源。
图1是我们团队研究的“雨声"数据,录制于加州圣塔芭芭拉海岸以北50公里的楚马什国家海洋保护区(ChumashMarineSanctuary)。那是一个极为平静的日子,海面如水银般静止无痕,没有一丝波浪。一个高频事件正以缓慢的速度穿越这一区域,总时长五个半小时。高频信号不像低频那样传播得远。这个信号本身包含许多极高频范围内的小脉冲,图中可以看到音频上限约10万赫兹。我们所有的数据中没有任何关于风的记录,因而这是一个少见的没有风的大气现象。这可能是大气中的水分与海面之间的相互作用:气层中的水柱夹带雨滴经过该区域,与宁静的海面摩擦、接触。
“听不见的深海”项目中所实施的子采样(sub-sampling)处理,使得跨越长时间尺度的变化可以在简短的聆听体验中被感知。从一组完整音频文件中,以固定时间间隔提取短时声音片段并拼接在一起,从而生成一个压缩文件,以概括声音随时间推移的变化过程。各个采样区段之间采用等功率交叉淡化(使用四分之一余弦曲线)来混合声音,避免出现可听的振幅调制,形成统一的音响整体。图2就是将五个半小时的雨声压缩为2分15秒的听觉体验。
图1“声音望远镜”:将五个半小时的雨声压缩为2分15秒的听觉体验,音频上限约10万赫兹

“声音滤镜”
接下来,我们可以用“声音滤镜”去删选、强化特定频段。比如可以通过高通滤波器(HighPassFilter)和低通滤波器(LowPassFilter)把高于和低于设限的频率取消,将听觉的注意力集中在某个特定频带。经过“声音过滤镜"处理后的声谱图如下。
