缺失且无替代数据的，标记为“数据不可用”，触发人工复核流程（如联系券商研究所补充调研纪要）。
实战案例：第222章提到的“某房企表外负债”数据中，“其他非流动负债-待转销项税”科目下的23亿信托融资，因财报未明确披露“负债性质”，系统先按“行业均值（3.2%利息支出/有息负债）”推算合理性，再标记为“表外负债嫌疑”，交由分析师实地核查。
（二）第二步：异常值狙击——揪出“数据叛徒”
异常值是数据中的“定时炸弹”。第222章抓取的数据中，异常值占比达18%，其中既有真实经营突变（如某芯片厂“晶圆良率”从90%骤降至75%），也有数据抓取错误（如PDF解析时将“应收账款1.2亿”误读为“12亿”），更有黑产链植入的虚假信号（如第222章“境外IP转发的异常数据”）。
清洗策略：双重校验+场景化识别
• 统计校验（3σ原则+孤立森林算法）：对服从正态分布的字段（如“毛利率”），用3σ原则剔除超出均值±3倍标准差的值；对非线性分布的字段（如“股价波动率”），用孤立森林算法识别“离群点”（如某股票单日换手率从5%飙升至80%）；
• 逻辑校验（业务规则冲突检测）：预设300+条业务逻辑（如“应收账款增速≤营收增速×1.5”“经营现金流净额/净利润≥0.3”），若数据违反规则则标记为“逻辑异常”。例如第222章某新能源车企“存货周转天数同比激增40%”，系统通过“存货增速（50%）＞营收增速（15%）”的逻辑冲突，判定为“异常”并追溯至“经销商库存积压”的真实原因；
• 来源校验（反爬污染识别）：对高频访问时段（如凌晨3-5点）抓取的数据、境外IP来源的数据（如第222章“离岸服务器转发数据”），额外叠加“可信度评分”（满分10分，低于6分触发人工复核）。
技术攻坚：为解决PDF解析错位问题（如表格跨页导致“营业收入”与“营业成本”错行），工程师开发了“表格结构指纹库”——预先标注1000+份标准财报的表格行列特征，抓取新数据时自动比对指纹，错位率从22%降至3%。
（三）第三步：标准化对齐——让数据“说同一种语言”
“行业分类混乱”是跨公司比较的最大障碍。第222章抓取的数据中，“新能源汽车”被分为“动力电池”“整车制造”“充电桩”等1
本章未完，请点击下一页继续阅读！