AI 伦理与公平性

1. 人口统计平价（Demographic Parity）
   不同群体的正面预测比例应该相同
   P(Ŷ=1 | A=0) = P(Ŷ=1 | A=1)
   适用场景：招聘、录取

2. 均等机会（Equal Opportunity）
   真正例率在不同群体间相同
   P(Ŷ=1 | Y=1, A=0) = P(Ŷ=1 | Y=1, A=1)
   适用场景：贷款审批（合格的申请者应被公平对待）

3. 预测平等（Predictive Parity）
   预测为正的结果中，实际为正的比例相同
   P(Y=1 | Ŷ=1, A=0) = P(Y=1 | Ŷ=1, A=1)
   适用场景：犯罪风险评估

⚠️ 不可能定理：以上三种公平性指标通常不能同时满足
   需要根据具体场景选择最合适的公平性定义

def audit_model_bias(model, test_data, protected_attribute: str):
    """审计模型偏见"""
    
    results = {"groups": {}, "metrics": {}}
    
    # 按受保护属性分组
    for group_value in test_data[protected_attribute].unique():
        group = test_data[test_data[protected_attribute] == group_value]
        predictions = model.predict(group)
        
        results["groups"][group_value] = {
            "count": len(group),
            "positive_rate": predictions.mean(),
            "accuracy": accuracy_score(group.labels, predictions),
            "false_positive_rate": fpr(group.labels, predictions),
            "false_negative_rate": fnr(group.labels, predictions),
        }
    
    # 计算公平性指标
    groups = list(results["groups"].values())
    results["metrics"] = {
        "demographic_parity_diff": max_positive_rate - min_positive_rate,
        "equal_opportunity_diff": max_tpr - min_tpr,
        "disparate_impact": min_positive_rate / max_positive_rate,
        # < 0.8 通常被认为存在显著偏见
    }
    
    return results

大模型去偏见的层次：

1. 预训练阶段
   - 数据去偏：过滤或平衡训练数据中的偏见内容
   - 数据多样化：确保训练数据覆盖不同视角

2. 对齐阶段
   - RLHF 中的公平性偏好
   - Constitutional AI 中的非歧视原则
   - DPO 中的公平性对比数据

3. 推理阶段
   - 系统提示中明确要求公平
   - 输出检测和过滤
   - 多样性采样（降低刻板印象输出）

AI 红队测试（Red Teaming）：

目的：通过模拟攻击来发现 AI 系统的安全漏洞

红队测试场景：
1. 提示注入测试
   - 直接注入、间接注入、多语言注入
   
2. 越狱测试
   - 角色扮演、编码绕过、多步骤诱导
   
3. 偏见测试
   - 不同性别/种族/年龄的平行测试
   - 输出中的刻板印象检测
   
4. 有害内容测试
   - 尝试诱导生成暴力、色情、违法内容
   
5. 隐私测试
   - 尝试提取训练数据中的个人信息
   - 尝试获取系统提示

6. Agent 安全测试
   - 诱导 Agent 执行危险工具操作
   - 测试 Agent 的权限边界