人类被试与数据伦理
涉及人的研究需要伦理审查(IRB)与知情同意;使用公开数据也有隐私与许可问题(爬取的数据、人脸数据集的撤回)。本章讲审查流程、数据集的伦理清单(datasheets)、以及 CS 中容易被忽视的场景(用户日志、众包标注)。
涉及人的研究需要两条底线:伦理审查(IRB)与知情同意。
- IRB:机构审查委员会对研究方案的审查(目的、风险、招募、数据管理)。用户研究、访谈、问卷、可用性测试、众包实验都在其列(流程与样本量见用户研究与定性方法);
- 知情同意:被试知道自己在参与研究、参与什么、数据如何使用、如何退出。同意书不是流程文档,是伦理契约。
CS 中容易被忽视的场景——它们都涉及人,都需要同样的审查:
- 用户日志:分析产品日志 = 分析人的行为数据,需要审查与匿名化;
- 众包标注:众包标注者也是人类被试——他们的公平报酬、知情同意、工作条件都是伦理问题;
- 线上实验(A/B test、插桩实验):影响真实用户的行为,需要审查。
公开数据 ≠ 可以使用
Section titled “公开数据 ≠ 可以使用”公开可获取不等于可以使用:
- 爬取的数据:来源网站的许可条款、数据的个人信息属性都要检查;
- 人脸/生物特征数据集:多个知名数据集(如 MegaFace、MS-Celeb-1M)因隐私问题被撤回——使用撤回的数据集是明确的违规;
- 许可与出处:数据集的使用许可(研究专用?允许商用?)与来源链都要可追溯。
数据集的伦理文档
Section titled “数据集的伦理文档”数据集应有来源、许可与已知偏差的文档。datasheets for datasets 的标准字段:
- 数据的来源与收集方式(谁、何时、如何);
- 许可与使用限制;
- 已知偏差(人群覆盖、标注者构成、采样偏差);
- 适用与不适用的场景。
发布数据集时这些文档是必备的(也是评审清单的一部分);使用别人的数据集时,先读它的 datasheet——偏差会传导进你的结论(见实证研究的常见错误的数据集选择偏差)。
处理个人数据的实操
Section titled “处理个人数据的实操”- 最小化:只收集分析所需的数据;
- 匿名化/去标识化:直接标识与可组合的间接标识都处理;
- 存储与访问控制:原始数据的最小化访问;
- 发布衍生数据集前,单独过一遍隐私审查——匿名化失败导致的去匿名化是已知的攻击面。
- 公开可获取不等于可以使用
- 众包标注者也是人类被试
- 数据集应有来源、许可与已知偏差的文档