Project
水陆场站边缘安检视觉分析与通行态势预警中台
端边协同的秒级安检视觉分析与客流预警中台
项目介绍
针对水陆客运枢纽、码头航线与景区进站通道人工看包易漏检、节假日闸机过客拥堵及违规滞留风险，把传统离线录像抽检升级为端边协同的秒级实时感知与态势预警中台，直连现场闸机、刷脸机、客流传感器与监控视频流。
Before
离线录像人工抽检，漏检与拥堵发现问题都滞后
After
秒级实时分析与预警，形成「AI 初筛 → 现场处置 → 样本回流」闭环
关键结果
- 自适应抽帧过滤静态背景，下游推理算力开销降低约 60%
- 事务状态机 + 僵尸任务扫描，恶劣工况下不漏包、不丢任务
架构链路
- 闸机 / 刷脸机 / 摄像头→
- 抽帧与结构化→
- VLM 异步推理→
- 状态机与重试→
- 预警与现场联动
技术栈
Qwen2-VLPython asyncioFFmpeg.wasmOCRTCP / HTTP
核心功能
- 多源设备接入
- 自适应抽帧
- VLM 图文推理
- 异步削峰
- 任务事务状态机
- 态势预警联动
我的职责
- 对接安检闸机、刷脸通道、人流量传感器与网络摄像头，完成点位映射、心跳保活与断线自愈重连
- 基于 FFmpeg.wasm 与轻量运动检测算子实现自适应抽帧，过滤冗余静态背景帧
- 集成 Qwen2-VL 对包裹切片与过通道人员做端到端推理，输出结构化违禁告警
- 用 asyncio 构建异步并发网关削峰，基于事务机制设计任务状态机，失败任务自动回滚重入队
- 基于站端通行数据建立人流密度建模，超阈值触发预警并联动现场分流