我们最近发表的第一个注册报告题为“随机探索是与冲动”。我们相信格式加强假说驱动的研究提供了许多好处和渴望与我们的读者分享我们的经验,我们打开格式研究的各个领域。我们采访了手稿的作者(玛格达杜波依斯和托拜厄斯豪泽)和评委之一(Trevor Robbins对他们的审查过程的经验)。我们编辑致力于采取他们的评论上,进一步提高我们的指导和优化支持我们未来的作者。
作者的视角
你为什么决定提交注册报告?
我们一直在创新几年可再生的研究文化怀着极大的兴趣。注册报告的格式自然通讯目前提供,对于某些类型的项目有很大的吸引力。我们的研究是适合这样的注册报告:我们有非常明确的假设,之前验证任务和分析管道,它是可行的获得初步数据准备提交。
此外,我们旨在获得大量和丰富的数据集,这些数据集可以邀请冗长的和探索性分析,进而会导致勘探权交给和未能严格控制多个测试。鉴于我们有非常明确的假设,我们决定注册报告是理想的车辆写明我们的先验假设和更多的探索性分析,因此是透明的发现及其鲁棒性。
这个项目也因此为我们理想的手段来了解这部小说形式的出版和衡量它的使用作为一个开放的实践和健壮的科学。
你认为是注册报告审查过程的主要好处吗?
注册报告有几个明显的优势。首先,它对我们很有帮助的评论从一开始的反馈。这允许我们实现许多建议和科学更健壮。这是一个巨大的优势传统的审查过程。
第二,有了(编码)的所有分析数据收集之前,已经做出了分析和写作阶段更快和精简。因为我们已经有了一个结构化的分析管道,我们能够快速有效地分析数据。
最后,出版的承诺不管这项研究的结果(或其重要性)可以使整个项目减少压力,并允许一个关注鲁棒性,而不是追逐显著的影响。
你遇到的挑战是什么时候写你的第一阶段建议?
在编写第一阶段报告时,我们必须考虑所有可能的分析,我们可能想做和因素可能是数据。从本质上讲,我们必须建立一个复杂的决策树和覆盖尽可能多的方面,计划如何分析数据,即使比预期的结果是不同的。考虑到在许多项目中,数据分析通常是一个研究员和数据之间的“对话”,注册报告需要更多的战略规划。
第二个挑战,以后我们遇到某些程序,我们已经在第一阶段报告不再可用,因为某些注册(分析)函数改变了或不存在了。这样的挑战可能不是pre-emptable开源软件在动态环境中不断进一步发展。
第三,这是具有挑战性的确切知道如何结构是第一阶段的建议。在特定的假设不太明确的或更多的探索,我们必须确保每个显然是标示。例如,我们必须区分第一阶段探索性分析(分析我们计划但无向假设)和第二阶段分析(小说,计划外的假设)。审稿人和编辑是非常有助于澄清这一点,在指导我们如何展示我们的假设。
最后,我们在写一个全面介绍和方法部分,经得起时间的考验之后仍然是有意义的,即使结果明显偏离最初的假设。因为这些部分不是多变的第一阶段验收后,大量的考虑应该放入起草这些部分确保期末论文被读者接受。
评审过程比较如何为这种类型的提交你的期望吗?
整个复习过程大大超过了我们的预期。我们经历了两个完整周期的评论,而不是一个“正常”的论文。这意味着注册报告出版可能会慢,而且评论家大大发挥大的作用在整个过程。有评论家的评论和建议在过程的早期伟大的好处和帮助我们防止一些限制,否则我们就不会考虑。
我们相信,当作者、编辑和审稿人得到更多用于这种形式的评估,这个过程将变得更加流畅。例如,我们实现了一些有用的评论家建议第二阶段的介绍,然后我们不得不恢复,因为他们长大后第一阶段验收。一个非常明确的指导代码开发者和评审者可能有助于防止这种情况。
你注册过程中遇到的主要挑战是什么报告评审过程?
我们可能低估了注册报告项目需要多久。对我们的持续时间可能是一个“正常”的一篇论文中加上一个额外的评论和修改全循环。这意味着注册报告更适合研究人员在项目的开始或位置有一个相对灵活的时间表。
此外,《华尔街日报》这些注册报告研究需要非常高的权力,这可能很难与参与者进行研究,更容易获得,如患者或现场实验;特别是如果预期效果尺寸小到中度。此外,它可能会产生不平等,因为只有丰富的实验室能够负担得起这样的大规模研究。
有什么不同,下次你会做什么?
为未来的注册报告,我们将实施一个清晰的分离的不同形式和阶段数据分析从一开始。如果是明确哪些结果属于哪个阶段/类别,这将更容易坚持结构一直在所有阶段的过程。
我们还认为遇到的一些挑战永远不会是完全可以预防的,即使有最好的谁分析计划。这是因为很难完全预见到真实的数据会在得到它之前,因此需要一定程度的灵活性来适应挑战。一个例子是参与者排除标准,很难预测即使咨询文献和自己的试验数据。这是因为大(在线)样本可能还透露之前没有遇到的不同的反应模式。
你认为注册报告审查过程在一个多学科的期刊呢自然通讯可以提高吗?
这是一个相当新的过程,我们相信作者、审稿人和编辑需要一些时间来适应这种新形式的出版的具体要求。可能是有用的,如果审查员会得到更多指导的不同阶段至关重要,应该关注哪些方面他们的审查。
审查注册报告是一个大大大承诺比审查“经典”的论文。如果我们希望评论家为这样一个广泛的过程中,我们或许应该相应的激励和承认他们的贡献。大量输入给定的设计阶段研究技术可以等于一个传统的共同创作。目前这样的贡献是不承认。也许注册报告是一个很好的手段从根本上重新思考作者的学术研究和贡献。
编辑注:自然通讯承认评论者的贡献在同行评审信息声明每一篇文章,包括评论家的名字他们希望应确定。我们正在探索更多的方式承认我们的裁判的工作在未来。
审稿人的角度
你为什么决定审查注册报告吗?
手稿的主题是相当科学的兴趣对我自然通讯是一个很好的期刊(以前我没有多与研究涉及人类行为有关,可能是错误的)。
你认为是注册报告审查过程的主要好处吗?
我想对未来的作者给他们机会测试概念的可行性和可能受益于建设性建议裁判专家专门研究在实验设计等功能,统计分析和计算建模方法。我认为这是更困难等一些裁判自己更抽象的意义上,在收集数据。
评审过程如何与你以前的经验作为主要的评论家研究呢?(如果你回顾了自然通讯之前,请评论过程专门为不同自然通讯)。
最初这是令人沮丧的,不能够评估实际数据。不是直接需要关注的强度理论和实际的学习计划没有知识的发现。我并没有感到特别满意我写比我更常规的努力。
如何评审过程比较为审查这种类型的提交你的期望吗?
感觉有时冗长并且有点漫长。当评估第二阶段报告的结果,我感觉有点限制评论。
是什么你在审核过程中遇到的主要挑战?
想知道手稿是否会被接受出版无论实际的结果。感觉好像提交更像是授予应用程序比科学的手稿。我非常担心,探索性数据分析将退居幕后,在最后的版本。
未来你会同意审查注册报告?
我不确定;它必须依赖于主题。
你会考虑提交注册报告自己吗?
可能不会。我认为这个方法很好,临床试验——比如和假说驱动的项目,但不一定适合更多的开放式科学研究。我可以设想可能的对比要求裁判所产生的问题,正常的急性足够的手稿审查过程。
你认为注册报告审查过程在一个多学科的期刊呢自然通讯可以提高吗?
我希望这不会成为常态,尽管如果它是受欢迎的然后通过各种方法使它变为可用。也许有少数专业裁判提供初始提交有关技术方面的建议,和额外的裁判然后看手稿当它在一个更完整的形式提交。
权利和权限
开放获取本文是基于知识共享署名4.0国际许可,允许使用、共享、适应、分布和繁殖在任何媒介或格式,只要你给予适当的信贷原始作者(年代)和来源,提供一个链接到Creative Commons许可,并指出如果变化。本文中的图片或其他第三方材料都包含在本文的创作共用许可,除非另有说明在一个信用额度的材料。如果材料不包括在本文的创作共用许可证和用途是不允许按法定规定或超过允许的使用,您将需要获得直接从版权所有者的许可。查看本许可证的副本,访问http://creativecommons.org/licenses/by/4.0/。
关于这篇文章
引用这篇文章
对话将自然通讯注册报告格式。Nat Commun137268 (2022)。https://doi.org/10.1038/s41467 - 022 - 34325 - 2
发表:
DOI:https://doi.org/10.1038/s41467 - 022 - 34325 - 2