跳转至

框架层

框架层位于应用层与组件层之间,对底层接口进行更高层次的封装,向上提供统一 API,支持直连与跨进程两种调用方式。

媒体框架接口

概述

媒体框架接口是媒体子系统的框架层,位于应用层与 Pipeline 组件层之间。它对 Pipeline 提供的底层 hi_mapi_* 接口进行更高层次的封装,并支持直连模式与跨进程模式两种调用方式,使应用无需关心媒体服务是运行在本进程还是独立进程中。

核心能力:

  • 直连(Direct)与跨进程(Client/Server)双模式,API 完全一致
  • 基于 Unix Domain Socket 的轻量级 IPC 通道,支持同步/异步消息
  • 内置直播服务器(LiveServer),支持音视频推流
  • 场景化参数预设,通过 audio/video scene 一键配置

AI 检测接口

概述

AI 检测接口通过 hi_fw_aidetect_* 管理目标检测任务。应用指定 VPSS 图像源、模型和检测间隔,框架取帧推理,并通过回调上报结果。支持直连和跨进程模式。

核心能力:

  • 检测人脸、人形、宠物和包裹等目标
  • 跨进程模式下订阅任务结果和状态推送

人脸识别接口

概述

人脸识别接口通过 hi_fw_fr_* 管理识别任务,结合人脸检测、特征提取和底库比对,从 VPSS 通道取帧并通过回调上报识别结果。支持直连和跨进程模式。

核心能力:

  • 加载和卸载人脸库,支持现场采集并录入人脸特征
  • 通过回调获取人脸位置、置信度和匹配分数

人形跟踪接口

概述

人形跟踪接口通过 hi_fw_human_track_* 管理跟踪任务,从 VPSS 通道取帧推理,并通过回调上报目标位置、置信度和跟踪状态。支持直连和跨进程模式。

核心能力:

  • 跟踪人形和人脸目标,获取目标 ID 与坐标

直播服务接口

概述

直播服务接口通过 hi_fw_livesvr_* 将已初始化的 VENC 和 AENC 编码通道组成 RTSP 直播流,供客户端拉流。支持直连和跨进程模式。

核心能力:

  • 创建和管理 RTSP 直播流
  • 复用媒体框架的音视频编码通道
  • 通过事件回调获知客户端接入、断开及服务异常

录像接口

概述

录像接口通过 hi_fw_record_* 管理 MP4 录像任务,将 VENC 视频流和可选的 AENC 音频流封装并保存到存储设备。支持直连和跨进程模式。

核心能力:

  • 多路录像
  • 按分片策略生成 MP4 文件,查询存储状态和容量
  • 通过回调上报文件关闭和存储异常等事件

WebRTC 对讲接口

概述

WebRTC 对讲接口通过 hi_fw_webrtc_* 建立点对点音视频会话,复用媒体框架已创建的编解码通道收发数据。本模块仅支持直连模式。

核心能力:

  • 启停 WebRTC 会话并收发音视频帧
  • 支持由应用转发信令,或使用内建 WebSocket 信令客户端
  • 处理 SDP 和 ICE candidate,建立点对点连接

相关文档