天文学研究、教育和公众参与的超声和声音设计

可视化，以图像、图表和动画的形式，是天文学研究人员用来检查和展示他们的数据和分析的标准方法。可视化也是向公众和教育环境传达天文数据和概念的主要方法。然而，仅仅依靠可视化有许多局限性。例如，数据集正变得极其庞大和复杂，通常包含多个维度。这使得使用标准可视化技术有效且全面地显示数据变得困难，并且通常需要对数据进行优先级排序和筛选，以便仅可视化被认为相关的信息。重要的是，这种方法可能涉及对数据中包含的底层信息进行假设，从而限制了意外发现的可能性¹．可视化技术在表示非平稳数据、快速识别和实时数据监控(例如，瞬态数据)方面也可能不是最优的²)．

在研究和教育环境中关注可视化也自然地为盲人或视力受损者(BVI)从很小的时候就开始接触天文学知识和相关职业设置了障碍^3.．因此，英属维尔京群岛的专业天文学家屈指可数，他们面临着开发新工具和技术来开展工作的额外负担^4，5．

声音本质上是多维的，因为它由各种参数(例如，音调、音量、节奏、立体声场中的位置、音色)表征。我们还可以同时感知几种声音，这意味着我们可以同时聆听不同的声波流，我们的听觉可以集中在许多音频流中的一种，这与“鸡尾酒会效应”有关。⁶．这使得侦听器可以在噪声背景中检测到感兴趣的微弱信息。因此，使用声音来帮助我们直观和全面地探索大型、有噪声、复杂和/或多维数据集具有很强的理论潜力^7，8．在天文“大数据”时代，这是一项非常相关的任务。例如，在数据立方体的情况下(如积分场光谱学或亚毫米干涉测量)，声音可以用来表示一维(例如，频率)，而视觉表示两个空间维度。小规模研究已经有初步证据表明，使用声音与视觉结合来探索数据集可以帮助人们更有效地获得数据的初步概述和/或识别天文和空间科学数据中的信号和特征^1，9，10．

与视觉相比，耳朵更擅长感知基于时间的信息、模式和短暂的变化^11，12并且不需要我们朝着声音的方向。此外，听觉总是活跃的，这使得它对于监控警报和连续的数据流非常有用，而由于眨眼或暂时看向别处，视觉检查可能会错过事件^13，14，15．在科学环境中，对数据进行声音检查的一个有效例子是盖革计数器，它对不可见的辐射水平做出响应。因此，在探索时间序列数据和在执行不同任务时实时监测瞬态事件时，声音有可能成为可视化的更有效替代方案^1，2．库克等人。²计划使用他们的工具StarSound来监听快速瞬态数据，这是他们“更深，更宽，更快”项目的一部分。在软件的观测过程中，每隔几分钟就会发现数百个快速演变的瞬态候选者，高优先级候选者需要在几分钟内通过人工检查确认，以便在它们消失之前触发后续观测。

与相同数据的直接可视化相比，在噪声时间序列数据的直接声音表示中更容易识别信号的示例如图所示。1．在这里，模拟引力波事件的信号以引力波应变随时间的形式呈现¹⁶．然后，模拟信号被嵌入激光干涉仪引力波天文台(LIGO)的噪声数据集中，并通过创建数据的时间序列并将应变映射为振幅(该代码是公开的)来转化为声音¹⁷)．信号可以很容易地在声音表示中被识别出来，因为信号(增加的音调)和噪声(稳定的低音)的不同特征频率，我们的听觉可以很容易地分辨出来，但我们的视觉却不能——至少在以这种非常基本的格式呈现时是这样。我们注意到这个特殊的例子是为公众参与项目黑洞猎人(https://blackholehunter.org/game.html)，向非专业观众传达引力波概念，并且它(尚未)被证明对研究有用(参见下面关于基于声音的方法的有效性测试的更多讨论)。

使用声音与其他多感官学习方案相结合的另一个明显好处是，它使英属维尔京群岛的学生能够获得与视力正常的学生相同水平的科学教育¹⁸．有阅读障碍或自闭症的学生也可能受益于替代学习模式¹⁹．基于声音的绘图工具已经被证明可以支持英属维尔京群岛学生在数学教育中的独立性，并提高他们在课堂上的参与度^20.．因此，很明显，在教育和公众参与中使用基于声音的表示方式有可能使天文学对英属维尔京群岛的观众更具包容性，实际上，对任何更喜欢基于听觉的学习方法的人来说也是如此^21，22．

在更详细地探讨基于声音的技术如何应用于天文学应用之前，有必要简要地给出两个关键的定义。

声音设计是使用声音来表达意图，或者换句话说，代表物体、概念或系统等本身之外的东西^23，24．在声音设计中，声音可能不会直接与数据或现象本身联系起来。传播天文学的一个例子是使用乐器不同部分的声音来传达太阳系中岩石行星和气体行星的不同特征²⁵．

超声化是一种利用非语音音频表示信息和数据的技术²⁶．声波化可以被认为是一种声音设计，其中产生的声音与数据相关联。最常用的超声处理方法之一是参数映射²⁷．在这种情况下，声音特征(例如，音调、音量或音色)与数据绑定。一个例子是由黑洞猎人(Black Hole Hunter)执行的引力波事件模拟的超声化(图2)。1)．关于在更广泛的背景下使用声音来表示数据和概念的不同方法的详细信息，请参阅参考文献。⁷和ICAD会议记录档案(https://icad.org/proceedings/)．

有一些早期的例子，有天文起源的意外发现是通过倾听来帮助的。1932年K。杨斯基发现，银河系中心发射的无线电波是当时困扰电话通信的一些噪音的罪魁祸首²⁸．1964年，彭齐亚斯(A. Penzias)和威尔逊(R. Wilson)认识到，持续的噪声干扰了他们用天线进行的观测，这是由于宇宙微波背景辐射造成的^29，30.．一些来源报告说，听数据可能有助于发现(例如，对R. Wilson的采访)³¹)．这一发现为他们赢得了诺贝尔物理学奖。

在后来的例子中，有意识地尝试使用超声波被证明是在天文学和空间科学中取得发现的关键^1，10．例如，当旅行者2号开始穿越土星环时，超声波技术被用于确定影响其太空任务的问题。控制员无法使用视觉显示器精确定位问题，只能显示噪音。当对数据进行超声处理并进行聆听时，在关键时期听到了“机关枪”的声音，从而发现问题是由与带电微流星体的高速碰撞引起的³²．Landi等人。³³使用超声波技术来帮助确定最有希望的碳离子比来测量太阳风类型。他们将数据映射到音频样本中，在反复仔细收听后，他们可以识别出一种模式，在太阳活动周期的最小值期间，一种特定频率(137.5 Hz)的“嗡嗡声”，以及在此基础上的C^{6 +}/ C^{4 +}C^{5 +}．这一发现特别归功于采用的数据超声处理^34，35．

基于javascript的超声波化工具包xSonify^36，37，38被用来测试鹰眼磁场和等离子体测量太阳磁层顶、弓形激波和尖端交叉的几种超声技术。此外，该软件还被专业级声波处理领域的先驱Wanda Diaz-Merced用作工作的一部分，Wanda Diaz-Merced是一位盲人天文学家，他系统地使用声波处理进行研究。例如，Diaz-Merced等人。³⁹使用xSonify来搜索电离层中不规则的形成，并确定电离层重组时间的变化。

在本文的其余部分，我们将专注于在天文学背景下有意识地应用声音设计和声波化技术。通过社区的努力，截至2021年12月，我们已将98个此类应用程序整理到存储库Data Sonification Archive中⁴⁰，带有“天文学”标签。这一汇编结合了对档案馆的自我提交、对已知对该主题感兴趣的人的有针对性的调查、互联网搜索和专门研讨会上的讨论⁴¹．虽然我们的汇编可能不完整，但我们认为它具有足够的代表性，足以对这一领域的趋势和行为得出基本结论。下面我们将讨论通过分析这些数据收集所获得的结果(图2)。2而且3.)．档案是开放的新提交，因此可以不断更新新的或历史的例子。

在无花果。2我们展示了随着时间的推移，已知天文声音设计和超声化项目的数量的演变。此信息也显示在表中1．唐纳德·格内特(Donald Gurnett)有意识地尝试对空间科学数据进行声波化处理，从1962年到2012年，他使用声音来分析和传递来自不同太空任务的信息，如卡西尼号和旅行者号。超声波使土星闪电、频率从几赫兹到几千赫兹的波和土星公里辐射的发现成为可能，这些辐射是由土星极光区的电子发出的⁴²．1996年以来，图。2报告显示，自2016年以来，每年都有8到19个新项目启动，每年已知的超声化和声音设计天文项目的数量都在增加。

在无花果。3.我们展示了声波化项目的主要目标:研究、公众参与、艺术灵感、BVI无障碍和教育。我们还根据目标受众对项目进行了划分:普通公众和研究人员(我们注意到其中包括大学水平的学生)。最后,无花果。3.显示超声处理是否与其他媒体(如数据可视化、图形界面、视频和触觉元素)一起使用。这些信息也显示在表格中2而且3.．

目前大多数项目的主要目标是公众参与(约36%)或研究(约26%)。大约17%主要用于艺术目的，只有8%用于教育。也许令人惊讶的是，只有13%的项目将天文学列为主要目标;然而，还有22%的项目将可访问性作为次要目标。这强调了超声主要是为广泛的受众考虑的，而当采用多感官数据表示时，增加可达性可能被认为是一个自然的附加结果。

在目前的项目中，无论其主要目标是什么，大多数(79%)的超声波都是为公众(包括小学生)设计的，而不是为研究人员(21%)设计的。有趣的是，我们发现，在以研究为主要目标的项目中，甚至有30%的项目主要使用超声技术来帮助向公众传播天文研究(图2)。3.和表2)．虽然我们没有实际使用超声技术进行工作的研究人员数量的数据，但这些发现以及坊间证据表明，目前这一数字仍然很小。尽管如此，使用超声技术进行公众参与和教育的趋势明显增加。

我们调查的另一个发现是，大多数项目使用了多感官方法(64%)，而不仅仅是声音(图2)。3.和表3.)．最常见的是将声音处理与视觉效果结合起来，62%的项目将声音与图形可视化、视频或图形用户界面(GUI)结合起来。有趣的是，大多数以可访问性为主要目标的项目都将音频化与视频或GUI混合在一起。使用混合媒体的可能原因包括，该项目旨在吸引英属维尔京群岛和视力正常的用户，因此包括视觉效果(由Pérez-Montero推荐)^3.)和/或该工具是由习惯于使用可视化界面的有视力的开发人员创建的。我们注意到，确保工具的可及性至关重要，但在超声工具的开发过程中，这一点并不总是能够成功实现⁴³．

只有少数项目(2%)使用触觉元素，这些项目都以教育为主要目标(图2)。3.)．触觉元素可以是三维模型(例如，感知宇宙，S.V.和A.Z，手稿在准备中)或设备的振动(例如，A4BD (https://www.a4bd.eu/)使用振动来指示图像的轮廓和形状)。还有更多使用触觉支持的公共参与/无障碍天文项目，但它们不包括在这个视角中，因为它们不与声音配对^44，45．

最后，三分之二的项目是交互式的，因为它们允许用户在数据-声音-参数映射、命令行和/或GUI的使用以及/或与数据或设备交互的可能性方面进行一定程度的选择。

天文学声波化与声音设计的共同主题与趋势

目前，用于天文学应用的声波处理或声音设计的方法还不标准化，这是阻碍声波处理成为主流工具的主要限制之一。然而，不同组和项目的sonify数据的共同点已经可以被识别出来。例如，当项目或工具面向公众时，它更侧重于激励观众并传达单一的信息，而不是与底层数据密切相关。对于研究人员来说，情况恰恰相反。对于公众观众来说，声音是经过精心设计的，并且特别注意声波化的愉悦性:在这些情况下(例如，在天文馆表演中)，美学比精确的参数映射更重要^25，46)．当数据主要用于艺术灵感时，这种情况就更加极端了，在这种情况下，表现形式的科学内容很少，美学是主要驱动力(例如，A Galaxy of Suns (https://www.agalaxyofsuns.net/）).这种方法类似于用于可视化地表示数据的方法:向公众展示漂亮的图片，而原始数据用于研究目的⁴⁷．

目前大多数为天文学研究设计的超声处理项目都是对一维(例如光谱)或时间序列数据(例如光曲线)和二维图像或图形进行超声处理。三维和一般多维数据集的超声化还不太先进，目前只有少数工具可用。大多数一维声波在数据中滚动，每次播放单个数据点(例如，Astronify (https://astronify.readthedocs.io/en/latest/))，而二维声波处理允许用户用手指/光标探索图像或图形(例如Vox Magellan)，或扫描图像，同时听到一个整体维度或多个参数，以多个音调或音调的音色(例如Afterglow (https://afterglow.skynetjuniorscholars.org/core/login?next=https%3A%2F%2Fafterglow.skynetjuniorscholars.org%2Fauthorized)及astroos (https://astreos.space/）).

大多数天文声波化项目通过使用参数映射技术将数据与声音特征联系起来(参见“声音设计和声波化”部分)。音调是最常用的听觉维度，因为它是最突出的声音属性⁴⁸而且人类对音高关系(例如旋律)的记忆比响度关系或音色关系更好⁴⁹．在天文学应用中，Pitch通常与因变量数据维数相关，因为它通常与亮度相关。声音空间化也被使用，通常与天空坐标相关联。一些项目已经开始利用音色进行分类(例如，STRAUSS (https://strauss.readthedocs.io/en/latest/)用于星系光谱的分类)和响度有时被用来表示距离(Varano和Zanella，提交的手稿)。令人惊讶的是，时长很少被使用，尽管人类有很好的辨别声音时长的能力。由于声音的时间性质，这可以用一种偏差来解释，这种偏差使最明显的映射成为隐性的⁴⁸．不确定性通常不包括在声音表示中，尽管存在一些尝试(例如，StarSound和sonoUno)。尽管进行了所有这些工作，但在这些工具的开发过程中，很少或根本没有尝试进行广泛的测试，以建立声音映射的最佳方法(另见下一节)。

挑战和建议的解决方案

而天文数据的声音设计和超声化项目的数量也在稳步增加(图2)。2)，声音设计和超声化尚未被纳入主流研究工具，仍然是教育和传播的利基方法。阻碍超声检测成为主流的可能原因是(1)缺乏超声检测方面的培训和熟悉程度;(2)缺乏标准化、评估和传播。我们将在下面更详细地探讨这些问题。

培训和熟悉程度

使用声波化方法来探索数据需要听者学习如何将声音的特征转换为数据的属性，即所谓的“简化听力”。^50，51．我们目前的教育和研究方法专注于可视化，我们没有接受过为获取和分析复杂信息而仔细倾听的培训，这是有效使用超声处理所需的技能⁵²．事实上，最近的一项在线调查显示，天文学和数据分析专家(即那些拥有相关博士学位和职业的人)在识别噪声光曲线的声波化版本中的行星凌日模拟信号方面，并不比非专家表现得更好;然而，当使用相同数据集的标准可视化时，专家的表现明显优于非专家(c.h.， J.T.B.和A.Z，手稿正在准备中)。这项研究表明，超声处理可以有效地识别信号(至少在高信噪比的情况下);然而，就像解释图形表示一样，训练和熟悉度对于有效和高效地解释噪声数据至关重要。

在主流教育课程中引入专注倾听和超声工具，以及数据可视化，将是培养下一代挖掘利用声音进行分析和解释潜力的第一步^4，18，53．超声波化也将是一个强大的工具，以确保天文学从学校进入学术环境。为了实现这一目标，在过去的几年中，已经开发了一些有前途的计算器和图形应用程序，包括语音输出和超声化，例如Desmos图形计算器(https://www.desmos.com/calculator)， SAS图形加速器⁵⁴Stocks(苹果iPhone和iPad上的预装应用)。让Desmos成为主流中学在线考试的默认计算器将是允许所有学生使用相同计算器的关键，而不受他们的视觉水平和偏好的学习方式的影响。

标准化、评价和传播

数据的可视化表示有很长的历史，这使我们能够使用现在广泛接受的标准方法开发复杂的图形和可视化²¹．相比之下，我们还没有形成一套通过声音表示数据的标准方法¹．采用普遍接受的标准是使超声技术得到普遍理解和主流化的关键。为了增加可访问性，这也意味着BVI用户不需要从头创建和定义新的方法。

一般来说，由于缺乏对超声检查的有用性和有效性的系统的公开评价，这阻碍了超声检查的广泛采用，特别是用于研究目的⁴⁸．Diaz-Merced¹得出了类似的结论，特别是对于天文学应用，报告说大多数关于数值数据超声化的出版物都集中在超声化技术上，而不是评估其可用性。

在一个多学科研讨会上⁴¹我们确定了各种基于声音的天文学项目已经收集了关于声波化功效的轶事或非正式证据(例如，astroos, A4BD)。这些活动得到了用户的积极反馈，特别是鼓舞了英属维尔京群岛的儿童和成人。然而，只有少数项目已经或正在发表其超声的定量评价⁴⁶(Varano & Zanella，已提交稿件;塔克·布朗等人，手稿正在准备中)。此外，这些研究并没有探索多种超声处理方法，例如改变参数映射，以建立在不同应用中最有效的方法。这将是建立标准的第一步，并防止不同的团队重复创建可能不使用最佳方法的类似超声检测工具。

量化地证明超声化和声音设计的实用性将有助于说服持怀疑态度的学者和教育工作者考虑这些方法，反过来也有助于说服资助机构支持这一研究方向。为了使超声化成为一种更强大和更广泛的天文数据集表示方法，我们敦促社区从设计阶段开始就仔细定义他们的目标，以及定义和执行严格的评估计划，可能遵循Lenzi等人强调的指导方针。⁵⁵佐丹奴等。⁵⁶和N.M.等人(手稿正在准备中)。

我们注意到，制定普遍接受的标准面临的一个挑战是文化差异，例如使用不同的音阶和和声。然而，为了指导选择，我们可以借鉴一些可能跨越文化障碍的日常经验，比如较重的物体下落时发出的声音更大;声波在传播介质中的阻尼随声源距离的增大而减小声强;声波的频率由于多普勒效应而改变，这取决于听者和声源之间的相对位置⁸．

让社区系统地发表与天文数据超声化相关的同行评议文章，举办会议鼓励演讲者在展示图表时使用超声化，并有学术期刊对图表和视觉内容进行超声化，将有助于使超声化在天文学术环境中更加主流。

天文学中超声化项目的数量正在迅速增加，有一些例子表明，天文数据的超声化已经成功地用于让公众参与天文学，例如在天文馆展示中^57，58为了便于访问^{18，25，46，59}．还有一些发现是通过聆听数据得到帮助的^1，33．这些例子和其他案例表明，在天文学研究、推广和教育中使用声音设计和超声技术具有明显的潜力，有利于科学研究和无障碍访问。

要使超声化在天文学中成为主流，接下来的步骤包括广泛评估其功效，并为定量数据分析寻找标准化的解决方案(例如，不确定性表示)。同样，在深入研究更多细节之前，了解如何标准化超声化方法以有效地快速呈现天文数据集的概述是很重要的(即，相当于缩略图的声波图像)。还可以研究新的解决方案，例如如何使用声音滤波器更好地区分信号和噪声，如何正确地表示轴标签和标记，如何为用户提供对数据维度和声音参数的灵活控制，以及如何促进数据格式和显示系统的交换²¹．跨学科合作和适当传播将是应对这些挑战和在该领域取得进展的关键。