NLP模型上测量性别相关性

研究发现，BERT或ALBERT在WinoGender上都没有零得分，而在OntoNotes上获得了极高的准确性（接近100％）。实验表明，在一些情况下，模型在推理决策中会考虑性别相关性。这符合我们的预期，模型可以使用多种线索来理解文本，可以只采用其中的一种或是选择全部线索。当然，在实际应用中我们还是要谨慎，不能寄希望于模型根据先验的性别相关性进行预测，其他可用信息对于预测也非常重要。

 

实践指南

鉴于预训练模型嵌入中的隐式关联有可能影响下游任务，因此在开发新的NLP模型时，我们要考虑可以采取哪些措施来减轻这种风险？

 

隐式相关性的衡量非常重要：虽然可以使用准确性度量来评估模型质量，但是这样度量方式仅从单一角度评估模型，在测试数据与训练数据分布相同时其不足尤为显著。例如，BERT和ALBERT检查点的准确度相差1％以内，但使用性别相关性进行共指解析的相对偏差为26％。这意味着，对于某些任务，这样的差异尤为重要。在处理一些反固定思维的文本时（如男护士），选择WinoGender分数较低的模型更加合理。

 

更改任何模型配置时都要谨慎，哪怕看似影响不大：神经网络模型训练由许多超参数控制，一般通过选择合理的超参数以最大化训练目标。尽管某些参数选择看似不会对模型产生什么影响，但我们却发现，它们可能会导致性别相关性发生重大变化。例如，Dropout正则化用于避免模型的过度拟合，当我们在BERT和ALBERT训练过程中增大Dropout参数，即使进行微调，性别相关性还是会显着降低。这意味着微小的配置更改就可以影响训练模型，从而降低相关性风险，但同时也表明，在对模型配置进行任何更改时，我们应该谨慎行事、仔细评估。