清研智库:专家称谨慎使用新冠疫情数据,避免误导公众

COVID-19大流行迫使全世界的领导人陷入一种局面,即他们必须根据不完整的信息做出公共卫生决策。同时,技术发展增强了数据实时和共享的能力。同时正在创建过多的信息,从而更容易得出虚假结论。

我们中的六个的研究中心位于非营利性、无党派的RAND公司,一个开发统计方法和模型以使用大规模数据,并将不确定性纳入使用此类数据的决策过程中的公司。从这样的工作中我们知道,这样的情况到处都是统计上的陷阱。那些分析COVID-19数据以提出政策建议的人,以及向公众报告研究结果的记者,必须辨别分析何时落入这些陷阱。

面对严重的公共卫生和经济困境,需要立即做出回答,这可能会导致放松统计标准的诱惑。但是紧迫性不应排除专家分析和对不确定性的诚实评估。错误的假设可能导致适得其反的行动。

最近的两个新闻报道表明,不完整的分析或数据不足的潜在陷阱。

新的观测数据

《纽约时报》最近精选了美国健康天气地图网站上的数据,声称“新数据实时提供了严格的社会隔离限制措施可能正在起作用的证据。”

该网站的数据来自智能体温计,该体温计记录并匿名传输了美国各地人员的体温。该地图显示了按县划分的平均体温何时高于或低于正常水平,并声称“社会距离正在减缓发烧疾病在全国的传播”,并参考相关的时间序列数据。

可能有很好的理论原因可以预期因果关系,但是该网站没有提供因果关系的统计证据。例如,自从实行社会隔离以来的较低记录温度可以简单地反映出,许多健康人购买了智能温度计,并且出于对COVID-19的关注而经常检查其温度。

这样的观测数据也会引入分析偏差和弱点。例如,那些购买智能体温计的人可能更富有,并且能够更好地自我隔离-但他们是地图数据中唯一的人。

这样的新数据必须经过仔细评估。如果数据不是公开透明的,则公众和研究机构几乎没有能力审查、理解和利用这些发现。

原始数据趋势

在疾病控制中心鼓励美国人戴口罩的几周前,Masks Save Lives网站已经这样做了,并在社交媒体上引起了关注。该网站提供了《金融时报》的图表,该图表绘制了已确诊病例总数在全国的原始趋势。它声称:“西方国家正在经历COVID-19的上升……是因为西方人对戴口罩的厌恶。”

良好的统计分析可能会支持戴口罩-但是仅依靠原始数据趋势,该网站的推理过于简单。我们使用相同的数据,但更改了图形以显示每10,000人中确诊的病例。仅通过考虑每个国家的人口和模式变化,国家之间的差异就不会那么明显,尤其是在疾病发展轨迹的早期。

分析师记者和政策制定者的提醒

* 原始数据的比较可能会产生误导。

分析应针对重要差异进行调整,例如人口统计、人口密度、医疗保健系统以及可用性和测试水平。

* 测量误差会淹没观察到的差异。

由于测试水平,报告准确性和报告透明度不同,因此案例数通常在国家或数据源之间无法比较,并且几乎可以肯定无法实时获得。数据的质量还取决于如何选择要测试的个人。地理区域内的随机或完整样本可提供最可靠的信息。

* 合规性是一个因素。

当确定诸如戴口罩之类的政策的有效性时,忽略公众遵守程度的变化可能会导致结论的偏差。即使无法精确计算结果的置信度,也可以并且应该定性地描述它们。

* 重叠干预使分析复杂化。

当同时部署多种干预措施时,要弄清任何单个策略的有效性并不是一件容易的事,例如,要求屏蔽、隔离或关闭企业。在执行各种策略和遵守法规的方式上也可能存在差异。通过观察而不是通过实验收集数据时,更难确定因果关系。

* 需要考虑公众对大流行的反应。

人们在COVID-19不严重的地区采取的预防措施可能使某些人看起来似乎没有必要采取这些行动,但事实并非如此。此外,政策的影响可能会滞后;仅仅因为政策实施后没有立即改变并不意味着该政策无效。

* 忽略报告不确定性破坏了政策辩论。

解释不确定性可能会很复杂,导致人们倾向于忽略不确定性。这是错误的。提供估计和趋势的合理范围,以及不确定性含义的解释性语言,将最有利于使受众正确定位调查结果。

* 从生物学和流行病学理论开始。

如果基于虚假关系,即使是最仔细的统计分析也可能导致错误的结论。政策分析应着重于具有强大基础科学价值的干预措施。

鉴于有大量新颖的数据源和信息的自由共享,政府比以往任何时候都更有能力做出明智的决策。但是,要利用这些资源,研究人员和新闻工作者必须确保他们采用了最佳方法,并且始终清楚得出结论的局限性。

作者 Matthew D. Baird, David G. Groves, Osonde A. Osoba, Andrew M. Parker, Ricardo Sanchez, Claude Messan Setodji,清研智库李梓涵编译,原载于兰德博客。

相关文章