AI测试与质量可视化实验室

AI 测试金字塔：单元测试验证算子/层；集成测试验证模块协作；系统测试端到端评测；验收测试对齐业务指标。LLM 还需 Prompt 回归、输出契约测试。

AI 覆盖率多维：神经元覆盖率、边界覆盖率、决策路径覆盖率。DeepGauge 等工具度量激活模式，识别未充分测试的输入空间，指导生成补充用例。

FGSM/PGD 沿梯度方向添加微小扰动，使模型高置信误判。对抗训练将对抗样本纳入训练提升鲁棒性。LLM 对抗测试包括 Prompt 注入、越狱、越界输出检测。

鲁棒性曲线展示模型在扰动下的准确率衰减。鲁棒模型曲线平缓，标准模型急剧下降。CIFAR-10-C、ImageNet-C 等损坏基准评估对噪声/模糊/天气的稳定性。

公平性指标：统计平等（demographic parity）、机会平等（equal opportunity）、校准。差分测试识别不同群体表现差异。缓解策略包括重采样、对抗去偏、后处理校准。

A/B 测试将流量随机分桶对照实验组，统计检验（t-test/卡方）判断差异显著性。需计算样本量、最小可检测效应、置信区间。在线实验注意新颖效应与交互效应。

回归测试监控模型迭代中指标退化。Golden Set 固定关键用例集合，每次发版对比。指纹哈希检测输出漂移。LLM 用 eval 基准集持续追踪质量变化，防止静默退化。

生产监控四大维度：性能（延迟/吞吐）、可靠性（成功率/错误率）、数据漂移（分布变化）、质量（在线 eval）。告警阈值触发自动回滚，保障线上 SLA。