FlightFinder发布航空事故数据集：整合128个来源，涵盖27万起事故记录

摘要：FlightFinder团队发布了一款名为FlightFinder Occurrence Corpus的航空事故数据集，整合了来自128个来源的279,485起事故记录和131,882个相关叙述。该数据集采用统一的数据模式，通过事件签名、注册信息、日期等关键字段进行标准化处理，并设计了严格的冲突解决机制和错误率评估方法。该数据集旨在为跨国航空安全统计、来源差异研究和叙述文本挖掘提供可靠的数据基础。

---

核心突破

FlightFinder团队发布了FlightFinder Occurrence Corpus，这是一款整合了128个航空事故数据来源的综合性数据集。该数据集包含279,485起事故记录和131,882个相关叙述，涵盖了国家事故调查机构、事件报告系统以及四个全球性汇编的数据。

技术机制剖析

1. 数据标准化与模式统一：所有记录被映射到一个统一的数据模式中，通过事件签名、注册信息、日期等关键字段进行标准化处理。每个记录通过有序的“梯级键”系统进行唯一标识，确保数据的一致性和完整性。

2. 冲突解决机制：对于无法通过梯级键直接匹配的数据，FlightFinder采用了基于评分的阻塞传递方法，将数据放入显式合并表中，并仅在自动批准的分值范围内或经过人工确认后进行合并。

3. 错误率评估：通过五个经过仲裁的样本集（总计200对记录）进行错误率评估，发现自动合并机制的错误率为0%，其95%置信区间的错误率上限为6.0%。

4. 数据来源追溯：每条记录保留一个来源行，包含其原生标识符和URL，并附有每条记录的归属权和许可条款。

工程权衡与实测表现

• 优势：该数据集为跨国航空安全统计和文本挖掘提供了统一的数据基础，解决了现有数据来源分散、格式不统一的问题。
• 挑战：由于数据来源的多样性，FlightFinder Occurrence Corpus继承了原始数据的漏报问题。此外，梯级键系统的确定性连接未被仲裁，可能导致部分数据未被正确匹配。

开发者落地与部署建议

• 数据使用场景：该数据集适用于跨国航空安全研究、来源差异分析和叙述文本挖掘等场景。
• 数据获取与使用：用户可以通过API访问实时数据，或下载附带DOI引用的快照版本进行离线分析。
• 注意事项：在使用数据时，应注意数据的漏报问题，并结合其他数据来源进行交叉验证。

总结

FlightFinder Occurrence Corpus的发布标志着航空事故数据整合的重要一步，为全球航空安全研究提供了宝贵的数据资源。其统一的数据模式和严格的冲突解决机制为后续的数据分析和研究奠定了坚实的基础。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-30)

—— 完 ——

主题标签： #FlightFinder 关注 #航空安全 关注 #数据集 关注 #数据整合 关注 #AI 关注