跳转到内容

人类被试与数据伦理

涉及人的研究需要伦理审查(IRB)与知情同意;使用公开数据也有隐私与许可问题(爬取的数据、人脸数据集的撤回)。本章讲审查流程、数据集的伦理清单(datasheets)、以及 CS 中容易被忽视的场景(用户日志、众包标注)。

涉及人的研究需要两条底线:伦理审查(IRB)与知情同意。

  • IRB:机构审查委员会对研究方案的审查(目的、风险、招募、数据管理)。用户研究、访谈、问卷、可用性测试、众包实验都在其列(流程与样本量见用户研究与定性方法);
  • 知情同意:被试知道自己在参与研究、参与什么、数据如何使用、如何退出。同意书不是流程文档,是伦理契约。

CS 中容易被忽视的场景——它们都涉及人,都需要同样的审查:

  • 用户日志:分析产品日志 = 分析人的行为数据,需要审查与匿名化;
  • 众包标注:众包标注者也是人类被试——他们的公平报酬、知情同意、工作条件都是伦理问题;
  • 线上实验(A/B test、插桩实验):影响真实用户的行为,需要审查。

公开可获取不等于可以使用:

  • 爬取的数据:来源网站的许可条款、数据的个人信息属性都要检查;
  • 人脸/生物特征数据集:多个知名数据集(如 MegaFace、MS-Celeb-1M)因隐私问题被撤回——使用撤回的数据集是明确的违规;
  • 许可与出处:数据集的使用许可(研究专用?允许商用?)与来源链都要可追溯。

数据集应有来源、许可与已知偏差的文档。datasheets for datasets 的标准字段:

  • 数据的来源与收集方式(谁、何时、如何);
  • 许可与使用限制;
  • 已知偏差(人群覆盖、标注者构成、采样偏差);
  • 适用与不适用的场景。

发布数据集时这些文档是必备的(也是评审清单的一部分);使用别人的数据集时,先读它的 datasheet——偏差会传导进你的结论(见实证研究的常见错误的数据集选择偏差)。

  • 最小化:只收集分析所需的数据;
  • 匿名化/去标识化:直接标识与可组合的间接标识都处理;
  • 存储与访问控制:原始数据的最小化访问;
  • 发布衍生数据集前,单独过一遍隐私审查——匿名化失败导致的去匿名化是已知的攻击面。
  • 公开可获取不等于可以使用
  • 众包标注者也是人类被试
  • 数据集应有来源、许可与已知偏差的文档