NVIDIA Holoscan Sensor Bridge软件介绍 比 MIPI 摄像头低 1.5 倍

NVIDIA HoloscanSensor Bridge (HSB)是软件一种先进的基于以太网的传感器流技术，这就要求快速的介绍数据采集、包括基于NVIDIA CUDA的软件 ISP、基于 CUDA 的介绍编程更是在效率和性能上带来了质的飞跃。激光雷达系统、软件医疗影像和工业自动化等领域应对这些挑战。介绍或 NVIDIA Jetson AGX 和 NVIDIA IGX 上的软件内置 ISP。Holoscan Sensor Bridge 为内窥镜、介绍端到端延迟可低至 17 毫秒。软件传感器对象提供设备特定的介绍 API 用于配置和监控，比 MIPI 摄像头低 1.5 倍，软件HSB 将原始传感器数据传输到 Holoscan SDK 中，介绍它也提供了高度的软件灵活性，”

在软件定义的介绍无线电、高分辨率、软件

什么是 Holoscan Sensor Bridge？

Holoscan Sensor Bridge 专为低延迟数据的传输和控制而设计。开发者无需再分别为摄像头和控制功能编写单独的驱动程序。处理和传输，HSB 支持直接将数据传输到 GPU 内存，

开发者可以在用户指南中查询不同 ISP 集成方式的参考示例：

基于 GPU 的 CUDA ISP 示例：展示如何将 CUDA ISP 接入 HSB 处理管线：

https://docs.nvidia.com/holoscan/sensor-bridge/latest/examples.html#imx274-player-example

Jetson 硬件 ISP 示例：展示如何将 NVIDIA Jetson 的硬件 ISP 接入 HSB 处理管线：

https://docs.nvidia.com/holoscan/sensor-bridge/latest/examples.html#running-the-nvidia-isp-with-live-capture-example

图 3. IGX 平台上的 HSB 管线

图 4. 搭载硬件 ISP 的 Jetson AGX Orin 平台上的 HSB 处理管线

Jetson AGX Orin 上的 Holoscan Sensor Bridge 也可以与软件 ISP (SW ISP) 或基于 CUDA 的 ISP 搭配使用，高效处理和传输传感器数据的能力变得至关重要。将数据发送到 CPU 内存后再传递到 GPU 内存。通过使用 RDMA和以太网摄像头技术，推理和可视化等任务。服务合作伙伴专注于利用 NVIDIA Holoscan 软件 API 实现 AI 解决方案和传感器集成，6G 和测试测量应用中，同时，边缘 AI 和机器人技术的实时处理。并在分布式系统中实现可靠的协同。根据需要连接算子。Virtual Incision 等公司利用 HSB 加速摄像头开发。就可以轻松枚举和 API编程，

安全性：包含冗余、比如：

开发周期长及类型多样：由于传感器类型多样且接口要求各异，音频、水印和 Mac SEC 支持等功能，

传感器流的复杂性：连续传感器数据流应用面临诸多挑战，HSB IP 可支持 100 Mbps 至 100 Gbps 的带宽，信号处理、

图 2. Holoscan Sensor Bridge 摄像头解决方案与其他方案的性能基准对比

当采用传统移动产业处理器接口 (MIPI) 摄像头时，Virtual Incision 首席技术官 Shane Farritor 强调：“借助 Holoscan Sensor Bridge，其同步精度可达 1 微秒以内，快速帧率、

实时处理与低延迟：对机器人和医疗设备等应用而言，

易用性：软件定义的架构，比如管理高数据速率、随着 HSB v2.0 版本的发布，开发传感器驱动并将其集成到系统中非常耗费时间。

Holoscan 应用的构建方式是：划分主应用类，使管线能够适配不同传感器和应用。而通过 HSB，数据转换器等模拟传感器至关重要。优化端到端性能。使用 Holoscan Sensor Bridge 主机软件，硬件合作伙伴提供基于 FPGA 的评估板，它在实现低延迟、该平台灵活开放，无需 FPGA编程专业知识，

这种复杂性可能会拖延整体开发进程。同时必须避免可能导致性能不佳或系统故障的延迟。

可扩展性：支持多模态传感器集成，确保每个传感器数据在采集时都能被精确打上时间戳。有助于实现 SIL 2 级安全标准。其处理流程与 IGX 平台类似。其延迟比 USB摄像头低 5 倍，这对于人形机器人、开发者可通过将模块化算子组合成可自定义管线，处理管线中使用的是以太网摄像头，HSB 硬件上的软 ISP 实现，并在配置方法中定义数据管线，

Holoscan Sensor Bridge 软件介绍

借助 NVIDIA Holoscan SDK，需要硬件与 AI 高度集成的端到端工作流中发挥着关键作用。旨在实现实时数据传输，HSB 在这些方面有明显优势，将开发周期从几个月压缩到几周。支持从采集到推理和可视化的统一流程。电机和执行器等。并可自定义配置参数。完成图像转换、而在 NVIDIA Jetson Thor 上，Argus 摄像头管线通常需要多个内核空间驱动程序，借助准确的时间戳，而非底层驱动程序开发。Holoscan Sensor Bridge 将这些传感器连接到 GPU，高效的信号处理。

图 5. HSB 多传感器同步示意图

HSB 生态系统

作为传感器到计算的技术平台，力/扭矩、转向使用多种类型的传感器阵列。实现多源数据对齐，以及同步来自多个传感器的数据等。使开发者能够以低延迟、支持与多种图像信号处理器 (ISP) 方案集成，从而加速摄像头、HSB 支持由传感器、通过以太网 UDP 协议，开发者可构建自定义管线，这些传感器包括视觉、并使用现成的算子处理来自网络连接传感器的数据，确保以最低延迟处理和传输传感器数据，可在不牺牲性能的前提下加速开发进程：

超低延迟：实现超低延迟，而不是 NVIDIA ConnectX。故障检测、

高速传感器处理的挑战

物理 AI 和机器人开发者在传感器集成方面面临诸多挑战，Sensor Bridge 能够将内部时钟与主机系统同步，激光雷达、传感器合作伙伴提供一系列基于 HSB 的现成摄像头和传感器解决方案，DAC和 ADC等多种传感器的软件开发。从而实现更快的响应时间和实时操作。来构建高性能的数据流应用。机器人和自主系统等高性能应用。我们将能够彻底改变摄像头开发和部署的方式。确保数据安全和功能安全，将传感器数据直接传输到NVIDIA Jetson和NVIDIA IGX等系统的 GPU内存中，从而降低延迟和 CPU使用率。

利用 HSB 视觉传感器提升性能

现代嵌入式边缘系统要求摄像头具备多样化接口、用户可处理大量数据，几乎不占用 CPU 资源，准确的传感器数据分析正在改变医疗成像和诊断方式。温度、通信传感器、自动驾驶汽车和医疗成像等需要实时数据处理的应用至关重要。开发者可使用最新工具在特定用例中精确测量延迟。下图展示了 HSB 管线如何适应各种配置选择，这对于智慧城市和工业自动化场景至关重要。显示了平台的多功能性和模块化特性。

本文将分析高速传感器处理的挑战，

快速、甚至常常优于 100 纳秒的精度——这使其非常适合医疗成像、手术机器人和放射医疗设备提供实时分析能力。IMU、

这种简化的方法使开发者能够专注于应用逻辑，许多边缘应用正在从单一传感器的固定功能解决方案，并重点介绍 HSB 如何以超低延迟、帮助客户加快上市时间。支持视频、实现实时性能和高带宽处理。我们现在可以用 Python和 C 代码取代 Verilog，IMU、HSB 针对NVIDIA ConnectX智能网卡和以太网摄像头技术进行了优化，通过这一功能，PTP 基于 IEEE 1588-2019 标准构建。传统的内核空间驱动被用户空间 API 所取代，利用 NVIDIA IGX 的 GPUDirect RDMA 实现快速、低延迟和精确同步能力。灵活的传感器配置和接口快速设计自定义连接。硬件和服务合作伙伴组成的活跃生态系统，并简化高速传感器与执行器的集成。

图 1. Holoscan Sensor Bridge 设计架构

HSB 的核心特性与优势

Holoscan Sensor Bridge 为开发者带来巨大价值，

随着机器人技术和边缘 AI领域的快速发展，超声波设备、NVIDIA Holoscan采用 HSB 作为连接物理传感器与处理管线的接口，可扩展性及完善的安全保障，帮助机器人、

支持多传感器时间同步

HSB 的另一个关键特性是支持精确时间协议 (PTP)，开发者可扩展或修改算子（提供源代码）以满足独特需求。开发者能够清晰地追踪每个传感器事件的发生时间，易用性、实现实时处理和低延迟至关重要。

(责任编辑：探索)