智能化开采是推动煤炭产业高质量发展的主要内容^[1]。“十四五”时期以及未来更长一段时期，以煤矿智能化为标志的煤炭技术革命、技术创新将成为行业发展的核心驱动力^[2]，当前煤矿井下综采工作面已经通过各种先进技术及装备等实现了初步智能化开采，然而煤矿井下由于其自身具有的特殊性与复杂性，井下空间地质条件恶劣、环境复杂，煤矿智能化发展过程中，存在人员安全管理薄弱且与智能化控制系统之间各自独立、数据融合性相对较低的问题。智能化综采工作面系统复杂庞大、设备相互关联程度高，智能化综采装备系统的可靠性成为制约工作面安全高效开采、智能化开采的关键性因素^[3-4]。

诸多科技人员针对综采工作面智能化安全高效开采展开了深入研究。李锐^[5]在分析当前工作面智能化建设基本现状的基础上，从5G技术、三维实体建模、综采智能化控制技术层面阐述了智能化建设中涉及的关键技术及应用效果；李春等^[6]研究了多传感器信息融合定位、协同控制、刮板输送机煤流调速等关键技术，设计构建了超长综采工作面智能控制系统，实现了井下控制中心与地面调度室实时动态远程监测；苏杰等^[7]提出并形成了综采工作面智能化控制系统体系，控制系统以安全生产综合管控一体化平台为中心、智能化电液控制系统为基础，融合了物联网、云计算、大数据、人工智能、自动控制等技术，极大保障了工作面安全、少人、智能化开采；林勇等^[8]为了解决大倾角复杂煤层开采时面临的三机协同、设备自身防倒防滑、防窜矸飞石问题，设计将“三机”、挡矸板的控制与采煤工艺相融合，相互形成逻辑控制系统，实现了大倾角复杂煤层的智能化开采；张登山等^[9]针对综采面控制系统存在的系统通信协议和接口不统一、设备兼容性差等问题，建立了由采煤机电控系统、支架电液控制系统、集中控制系统、智能视频系统等组成的成套控制系统，实现了采煤、支护、运输、供电、供液等各工艺环节的智能化控制；郭志国等^[10]对综采工作面智能化控制系统技术方案及关键技术进行了全面、系统的阐述，设计并建立了适合于高山煤矿的综采面智能化控制系统，实现了支架自动跟机、采煤机记忆截割、远程集控与监控等功能；岳刘杰等^[11]针对综采工作面控制系统自动化程度低、信息孤岛严重等问题，基于5G通信技术、视频分析系统、远控云平台及工作面数字孪生系统，实现了多系统的有效融合，提高了系统流数据的传输速率和稳定性；倪少军等^[12]通过引进LASC技术，并融合智能单兵装备与智能化控制系统，提升了智能化生产模式下生产巡检人员的单兵作业能力，保障了智能化控制系统对异常情况的自适应能力；龚轩^[13]结合工作面现场条件，构建综采工作面智能化控制系统，确定了工作面智能化生产工艺流程，实现了综采工作面支架自主跟机移架、采煤机记忆截割、“三机”设备的远程集中控制等功能；李伟^[14]开发了“装备自动控制、数据自动采集、岗位无人值守”的智能化综放控制系统，提出了综放开采智能化控制系统技术路径与架构体系，实现了“自动控制为主，人工干预为辅”的智能综放生产模式。

上述诸多学者通过对综采工作面综合安全管控系统进行了分析研究，对保证综采工作面安全高效运行具有重要意义。但针对当前智能化发展存在的人员安全管理薄弱且与控制系统之间相对独立、数据融合性低等问题研究相对较为薄弱。为此，提出了一种基于千眼视频智能分析的综合安全管理系统，从对各生产环节区域的实时监控、设备的安全状态、环境因素、人员的安全行为等入手，借助AI智能识别与AR增强现实技术，实现矿山数据的精准实时采集、高效可靠传输、动态可视化展现、生产自主协同、业务安全高效运营及全面精细管控，建设安全、高效、绿色的新型矿山。

1.   “千眼”视频综合安全管理系统

1.1   系统架构

智慧矿山“千眼”视频智能综合安全管理系统基于分布式微服务架构应用体系，在各个场景的生产工艺下，有针对性地应用AI智能场景识别分析；辅助融合设备实时运行工况，对当前生产场景进行评定，进行设备级别、系统级别的各种联锁保护控制，实现各应用子系统之间的智能化联动，提高系统的联动性、稳定性、安全性；利用全生产控制的生产链控制技术对设备行为、生产场景、预警、保护控制、人员撤离情况等一系列记录，最终形成“画面捕捉、信息识别、平台预警+后台记录、远程警告+联动控制”的规范化流程，形成有效的组合控制策略，保障矿井安全高效生产。安全管理系统架构图如图1所示。

图  1  安全管理系统架构图

Figure  1.  Architecture diagram of safety management system

下载: 全尺寸图片 幻灯片

系统主要实现对人员行为、场景信息、设备工况、安全环境因素等监控视频数据的采集与处理，将数据进行过滤、处理、优化、存储、分析、数据建模，为后续智能识别提供基础数据服务。智能监控设备分布于综采、综掘工作面、关键运输节点、泵房及变电站等位置，实现整个采场全方位无死角监控及可视化，为系统提供基础监控数据；采集数据主要为人员位置、人员行为、设备运行工况、安全环境因素等，对各项数据进行综合分析，对人员违规行为进行预警、记录，必要时远程控制设备联动停机，避免不安全事件发生。

充分利用机器学习和人工智能技术，实现系统数据的深度特征提取和建模；通过采用多场景、多模型的方法对传感数据进行多层次解析，完成对系统的建模，为功能层提供多视角、多尺度的系统模型和评估结果；实现设备状态识别、环境识别、人员识别、风险预警分析等功能。通过虚拟化、边缘计算、模糊识别等技术，完成环境监控、设备监控、人员监控、综合分析预警等各项支撑性服务，并通过与生产控制系统交互，实现闭锁联动控制，最终构建以实时分析、自主学习、预警决策、联动控制为核心的矿山视频场景识别预警安全控制平台。

综合安全管理系统主要包含：智能识别、环境监测预警、岗位风险作业可视化管控、安全决策分析、联动控制等功能。系统的建设提供整个采场空间的智能监控，安全预警，对矿井人员安全行为、安全隐患等进行全方位智能监测与预警，实现视频实时监控、分级权限管理、告警视频取证。

1.2   系统优势

系统以IMS平台为基础，具备超强的兼容性；矿山各场景摄像仪采集基础数据、以AI场景识别技术为核心、配备综合性自动化智能联锁保护控制系统，做到视频场景AI识别与工业控制相结合，实现对矿井全场景自动保护停机控制，达到安全生产的建设目标。千眼视频安全管理系统界面展示如图2所示。

图  2  千眼视频安全管理系统界面展示

Figure  2.  Thousand eyes video safety management system interface

下载: 全尺寸图片 幻灯片

千眼视频安全管理系统具有如下优势：

1）全面的系统集成。基于系统内部通信与数据库共享机制，实现用户统一配置与管理，并统一分配全局权限，实现对多个子系统的无缝衔接与集成。

2）灵活的服务架构。系统基于IMS平台架构，对系统功能体系进行模块化组合，面向服务的开发方式，使系统具备随需应变的灵活特性。

3）丰富的联动控制策略。根据现场工艺需求，能够对各大生产系统进行协同化控制，系统之间能够根据安全分级要求，进行线性控制；并可根据现场实际生产要求，开放关键控制参数，进行适配参数设置，联动各生产系统、设备，形成高效率的组合控制策略。

4）全方位的安全管理。从系统安全和数据安全2个层面进行全方位的管理，提供全方位的信息安全管理。

5）多层次的可靠性保障。“千眼”智能视频平台支持集群部署，采用错误自动发现及恢复技术，提高了平台的可靠与稳定性，能够满足大规模、大并发量的业务应用需求。

6）强大的扩展性支持。根据实际应用场景，可进行扩展配置，充分考虑了各服务的扩展能力，各分项服务可分别根据规模进行集群扩展，采用多级架构来支持系统平台自身规模的扩展，并提供可开放、可共享的接口。

7）便捷的操作体验。系统维护方便快捷，无论是系统管理、对各业务系统的参数配置管理、网络管理，还是对监控的远程控制、检索、录像回放、日志查询等都可通过WEB方式来完成，界面人性化设计，能够让用户快速掌握操作方式，方便远程管理。

8）精细的权限设定。系统对用户权限按管理功能、设备资源和中心管理权限进行划分，设置用户的管理权限等级，并将用户操作权限细化到每台设备的具体功能分项。

2.   综合安全管理系统功能

2.1   “千眼”大数据安全分析决策

安全智能分析决策大数据中心，以IMS平台大数据决策中心为基础，集合矿山多场景工业设备采集、多种协议、各设备驱动，实现多设备协议解析，并根据需求定制专用数据采集接口。

依托多场景布置摄像系统及矿井自有环境监测、运输、通风、人员定位、网络、采掘等系统，对各区域设备、人员、环境实施监测，实时反馈井下人员设备环境及地面安防等信息，做到集安防布控、安全防护、设备状态、环境等全方位区域监测监控。大数据安全分析监控决策中心界面如图3所示。

图  3  大数据安全分析监控决策中心界面

Figure  3.  Interface of big data safety analysis monitoring decision center

下载: 全尺寸图片 幻灯片

2.2   “千眼”AR+AI增强现实智能场景分析

视频流通过专属网络接入视频服务器中转，同时多个GPU服务器根据不同场景视频以任务槽形式异步执行对设备、人员进行特征提取、轨迹计算，将最终识别标识与AR增强可视化技术结合，实现AI识别标识、设备工况数据及视频流的三者融合，传入视频服务器存储，在系统视频界面通过AI识别与AR增强可视化还原虚拟现实。“千眼”AR+AI增强现实智能场景分析系统界面如图4所示。

图  4  “千眼”AR+AI增强现实智能场景分析系统界面

Figure  4.  Interface of “thousand eyes” AR+AI augmented reality intelligent scene analysis system

下载: 全尺寸图片 幻灯片

针对采掘工作面而言，通过AI场景识别与AR增强可视化，对采掘工作面人为交互工艺执行完整度评定，并设置工艺偏移度告警。

2.3   大数据智能风险管控分析

系统能够以日、周、月、年为统计周期，对不安全行为事发时间、地点、人员、所属单位等数据进行统计分析，同时记录事件发生后应急处理措施、处理时间、处理进度等，并以多种图示予以展示。大数据智能风险管控分析系统界面如图5所示。

图  5  大数据智能风险管控分析系统界面

Figure  5.  Interface of big data intelligent risk management and control analysis system

下载: 全尺寸图片 幻灯片

系统具备给安全管理人员提供巡查路线、巡查位置、现场状况、问题清单、不安全行为描述、视频及图片上传等功能，支持异常事件处置；能够对不安全行为（事发时间、事发地点、人员身份信息、班次、所属单位、行为描述）进行考核、上报，并能够按报警级别、报警地点、报警起始时间维度进行分级警示，支持排列，支持查看报警详情、3个月内历史报警视频回放，实现历史报警信息的处置；且能够根据智能识别、安全巡查结果，根于不安全行为制定针对性的安全教育宣传内容，用于后续班前会集中学习，提升人员安全教育素质。

2.4   “千眼”智能视频平台

视频监控子系统是整个智慧矿山“千眼”视频智能综合安全管理系统建设的核心，负责矿区内的视频安全监控，实现视频图像的预览、回放、视频分析、存储、可视化及云台设备的云台控制等，提供安全监视、设备监控、案发后查、证据提取等有效的技术手段，使管理人员能远程实时掌握矿区各重要区域发生的情况。“千眼”智能视频平台界面如图6所示。

图  6  “千眼”智能视频平台界面

Figure  6.  Interface of “thousand eyes” intelligent video platform

下载: 全尺寸图片 幻灯片

“千眼”智能视频平台具有以下优势：

1）高清化。采用高清视频监控技术，实现视频图像信息高清采集、编码、传输、存储、显示。

2）网络化。基于IP网络传输技术，提供视频监控的联网功能，实现全网调度、管理及智能化应用。

3）信令、业务分离。当中心服务器故障时，存储及可视化业务不中断。

4）存储稳定性。采用流直存技术的专业存储设备对视频、图像进行存储，提升存储系统的可靠及稳定性。

5）资源高效利用。充分利用原有系统，实现新老系统的无缝衔接，降低资源成本。

智慧矿山“千眼”视频智能综合安全管理采用对视频监控设备和用户进行统一管理，实现视频的预览、回放、权限控制以及各类智能应用。

2.5   AR+AI增强现实智能场景分析

井下场景识别子系统包含综采、综掘、主运、辅运、供电硐室及泵房等关键场所智能识别，主要通过对人员违规、定时巡检、危险区域人员侵入等场景进行识别，通过视频AI场景分析结合设备状态实时信息，对井下人员违规行为、安全进行综合分析，并接入现有语音广播系统，进行预警提示，保障井下安全生产。综采工作面智能识别场景界面如图7所示。

图  7  综采工作面智能识别场景界面

Figure  7.  Intelligent recognition scene interface of fully mechanized mining face

下载: 全尺寸图片 幻灯片

2.6   设备智能控制联动保护决策

通过对综采工作面、综掘工作面、主运输场景智能监控识别，主要对刮板输送机、带式输送机、运输场景及工作面人员侵入进行识别预警，根据煤流场景综合评定条件，对综采工作面生产与运输装备进行协同控制。综采工作面负载平衡及异物控制包括：采煤机联动控制、泵站联动控制、运输机联动控制、转载机联动控制、带式输送机联动控制，并实时推送报警信息。

系统识别各生产作业现场的异常情况，进行报警提示，包括声光报警、“四员两长”地面监控系统报警等方式，报警信息包含：报警类型、报警点位置、报警级别、报警时间。

如人员仍未按照提示退出危险区域时，系统将识别结果转换为标准设备控制指令，将设备停机控制指令发送给综采工作面集中控制系统，使其停机，并将设备停机信息通过地面PC端、现场语音广播推送给井上、井下管理人员。其中，设备停机控制优先级根据矿方需求实现，满足矿方设备停机控制逻辑需求。

2.7   综合安全管理

综合安全管理实现对智能化管理系统数据的采集、数据存储与分析、数据应用3个大数据处理功能，总体架构设计分为数据源、井下场景智能化系统、云服务系统以及移动应用4个层次，完成煤矿开采、掘进、运输、地面安防等数据规范和数据标准设计，整合开采核心数据，构建统一完整的大数据可视化图，以此实现煤矿开采数据资源的统一管理和利用。

针对井下自动化系统的管理应用升级，研发基于PC端与移动端，诊断与分析相结合的智能综采管理应用平台，实现业务部门各工作岗位人员在保证生产安全、网络安全、数据安全的前提下，随时随地在PC端、移动端对综采工作面各相应系统及设备的工况实时监测，同时部门各项业务工作流程实现数字化，实现高效的调度管理工作。移动应用平台实时动态控制界面如图8所示。

图  8  移动应用平台实时动态控制界面

Figure  8.  Real-time dynamic control interface of mobile application platform

下载: 全尺寸图片 幻灯片

3.   结　语

1）针对当前存在的人员安全管理薄弱且与控制系统之间相对独立、数据融合性低等问题，提出了构建“千眼”视频智能分析综合安全管理系统平台，采用分布式微服务架构应用体系，在各个场景的生产工艺下，有针对性地应用AI智能场景识别分析，辅助融合设备实时运行工况，对当前生产场景进行评定，进行设备级别、系统级别的各种联锁保护控制，实现各应用子系统之间的智能化联动。

2）智慧矿山“千眼”视频智能综合安全管理系统以IMS平台为基础，对煤矿各场景井上设备数据采集，综合集成视频监控、场景分析、人物行为分析等系统，通过上层综合安全管理平台的统一协调实现各应用子系统间的资源共享与信息互通，可根据需要融合现有矿山智能管控、安全及其他管理等系统，从而达到管理便捷性、数据直观性，实现各场景安全智能分析、预警、联动闭锁，进而实现各系统的资源共享、业务整合。

3）从对生产系统的实时监控、工艺执行程度、设备运行工况、人员的安全行为、安全环境因素等多个关键方向入手，结合AI智能识别技术和生产系统的AR增强现实技术，基于全生产控制的生产链控制技术对设备行为、生产场景、预警、保护控制、人员撤离情况等一系列记录，形成“画面捕捉、信息识别、平台预警+后台记录、远程警告+联动控制”的规范化梯度管理模式流程，最大限度保证井下生产高效有序及人员安全规范化作业。