麻省理工学院的校友平台利用大众智慧为人工智能公司标注医疗数据。

Centaur Labs开发了一款应用，专家们在其中用以对医疗数据进行分类，并以小额现金奖励作为回报。这些专家的意见被用于培训和改进那些挽救生命的人工智能模型。

当Erik Duhaime 19年博士在麻省理工学院群体智能中心写论文时，他注意到他的妻子（当时还是一名医学生）花了很多时间在提供闪卡和测验的应用上学习。他的研究表明，作为一个群体，医学生能够比专业皮肤科医生更准确地对皮肤病变进行分类；关键在于不断测量每个学生在已知答案病例上的表现，并排除那些不擅长任务的人的意见，以及智能地积累那些做得好的人的意见。

将妻子的学习习惯与自己的研究相结合，杜埃姆创办了Centaur Labs公司，该公司开发了一款名为DiagnosUs的移动应用程序，旨在收集医学专家对真实世界科学和生物医学数据的意见。通过该应用程序，用户可以审查潜在恶性肿瘤皮肤病变的图像或可能指示问题的心肺音频剪辑等内容。如果用户的判断准确，Centaur将采纳他们的意见并奖励他们一些小额现金奖励。这些意见反过来又帮助医学人工智能公司训练和改进他们的算法。

这种方法将医学专家提升技能的愿望与使用人工智能进行生物技术、药物开发或医疗器械商业化的公司对清晰标注的医学数据的迫切需求相结合。

“在我意识到我妻子的学习可以成为AI开发者的有效工作之后，我体悟到了这一点，” Duhaime回忆道。“如今，我们已经有数以万计的人使用我们的应用，其中大约有一半是医学生，他们在学习的过程中赢得奖金感到非常惊喜。因此，我们打造了一个带有游戏化特色的平台，在这里人们相互竞争，以训练数据，并在表现出色的同时赢得奖金、提高技能 —— 而通过这样的方式，他们为构建拯救生命的人工智能团队完成数据标注的工作。”

医学标注的游戏化

杜哈伊姆在托马斯·马隆的指导下完成了他的博士学位，马隆是管理学院的帕特里克·J·麦戈文教授兼集体智能中心的创始主任。

“真正吸引我的是群体智慧现象，” Duhaime表示。“问一群人一个玻璃瓶里有多少颗软糖，每个人的答案的平均数是相当接近的。我对如何在需要技能或专业知识的任务中解决这个问题非常感兴趣。显然，你不会仅仅想问一群随机的人你是否得了癌症，但同时，我们知道在医疗保健领域，所谓的“第二意见”非常有价值。你可以将我们的平台看作是获取第二意见的高效方式。”

Duhaime开始探索利用集体智慧来改进医学诊断的方法。在一项实验中，他训练了一组非专业人士和医学院学生，他将他们描述为“半专家”，用于对皮肤病进行分类。他发现，通过结合最优秀者的意见，他能够比专业皮肤科医生的诊断表现更出色。他还发现，通过将训练有素的用于检测皮肤癌的算法与专家的意见相结合，他能够比任一方法单独使用时的效果更好。

“核心洞察是你要做两件事，”杜埃姆解释道。“第一件事是衡量人们的表现-这听起来很明显，但即使在医疗领域也没有做得很多。如果你问一个皮肤科医生他们是否很好，他们会说'是的，当然了，我是个皮肤科医生。'他们未必知道自己在具体任务上有多好。第二件事是当你得到多个意见时，你需要找出不同人之间的互补之处。你需要认识到专业知识是多维的，所以它更像是组建最佳小组的琐事而不是得到五个在同一方面都最好的人。例如，一个皮肤科医生可能更擅长识别黑素瘤，而另一个可能更擅长分类银屑病的严重程度。”

在攻读博士学位的同时，杜埃姆创建了Centaur，并利用麻省理工学院的创业生态系统进一步发展了这个想法。他在2017年获得了麻省理工学院沙盒创新基金的资助，并在2018年夏季参加了由麻省理工学院创业中心主导的delta v初创企业加速器。这一经历帮助他在同年晚些时候进入了享有盛誉的Y Combinator加速器。

法诊断我们应用程式（DiagnosUs），由杜海默与Centaur的共同创始人扎克·劳斯尼茨和汤姆·盖拉特利共同开发，旨在帮助用户测试和提升自己的技能。杜海默表示，大约一半的用户是医学院的学生，另一半主要是医生、护士和其他医疗专业人员。

“这比备考更好，因为备考时你可能会遇到多项选择题，”杜艾美说道。“而在这里，他们可以亲眼目睹真实案例并加以实践。”

Centaur每周从全球数以万计的人中收集数百万个意见。杜哈姆表示，大多数人只能拿到一些零花钱，尽管从这个平台上赚到的最多的人是一位来自东欧的医生，他大约赚了1万美元。

"“人们可以在沙发上做这件事，也可以在电视上做这件事，”杜埃姆表示。“这不会让人感觉像工作 ——— 它非常有趣。”

这一方法与传统的数据标注和人工智能内容的审查形成了鲜明对比，传统的做法往往将这些工作外包到资源较为匮乏的国家。

星人的方法也能产生准确的结果。在一篇与布里格姆妇女医院、马萨诸塞州综合医院（MGH）和埃因霍温科技大学的研究者合作的论文中，星人展示了它众包的意见能够像专家一样可靠地标记肺部超声图像。还有一项与纪念斯隆·凯特琳医院的研究者合作的研究表明，众包标记皮肤镜图像的准确性超过经验丰富的皮肤科医生。除了图像，星人的平台还可以处理视频、音频、来自研究论文或医生与患者之间匿名对话的文本，以及脑电图（EEG）和心电图（ECG）的波形。

找到专家

半人马公司发现，最佳的表现者来自意想不到的地方。2021年，为了收集专家对脑电图模式的意见，研究人员通过 DiagnosUs 应用在一次会议上举办了一个比赛，参赛者包括约50位癫痫学专家，每位专家拥有超过10年的经验。组织者为这个比赛制作了一件定制衬衫，准备在会议上颁给比赛的获胜者，他们假设获胜者将会出席这次会议。

然而当结果出来时，加纳的两名医学生Jeffery Danquah和Andrews Gyabaah击败了所有在场的人。最高排名的与会者只排在第九位。

“起初，我只是为了赚钱而这么做，但后来我意识到它实际上对我帮助很大，” Gyabaah后来对Centaur团队表示。“在诊所里，有时候我意识到，由于我在DiagnosUs应用上学到的知识，我做得比其他人更好。”

随着人工智能继续改变工作的性质，杜埃姆认为Centaur Labs将被用作对人工智能模型进行持续检测的手段。

"目前，我们主要帮助人们训练算法，但我认为我们将越来越多地用于算法监控，并与算法协作，基本上充当一系列任务中的人类环节，" Duhaime 说道。“你可以把我们视为培训人工智能的一种方式，更可以将我们看作完整生命周期中的一部分，通过提供模型输出的反馈或者监控模型来支持。”

杜黑姆认为人类和人工智能算法的工作将愈加融合，并且相信Centaur Labs在这个未来中扮演着重要的角色。

“这不仅仅是训练算法、部署算法，”杜海姆说。“相反，在整个经济中将存在着这些数字化的生产线，你需要即时提供专业的人工判断，将其注入价值链的不同环节中。”