随着科技的不断发展，可视化智能化已经成为现代车辆的未来发展方向。360环视作为智慧车辆的重要功能，已经在乘用车辆大面积使用。近期随着社会对商用车辆，特种车辆可靠性，安全性要求的提高，相关企业也开始了360环视功能的开发。
01 车辆360环视应用需求
相比于普通车辆，特种车辆车体高，车身长，容易产生视觉盲区引发交通事故。某特种车辆制造商为提高特种车辆的驾驶安全性，在原出色的机械性能基础上，引入新技术来实现产品智能环视。结合其对特种车辆安全性的追求，该公司决定开发集成360°环视和AI图像识别的车辆安全新方案。
为实现360°环视功能，控制主机需接入多个高清摄像头获取实时路况，并通过处理，将多个图像拼接和矫正，最终呈现在显示设备上。该方案进一步引入AI进行图像识别，帮助驾驶员安全驾驶。然而，作为传统的特种车辆厂商，该厂商缺乏360°环视和AI图像识别的开发能力，需要供应商提供完整的环视AI解决方案。同时，特种车辆的作业环境复杂，故还需要采用抗震，宽温设计抵御剧烈振动、工作环境高低温度的影响。
在寻求解决方案的过程中，他们了解到研华广泛应用于视觉相关单元ROM-5880工业级核心模块方案。凭借研华成熟的AI算法开发能力，以及既有的车辆环视解决方案，双方进而确定了该项目的合作。
面临的挑战
实时高清摄像头接入
图像数据拼接处理能力
宽温×振动防护
AI算法及算力支持
Arm平台NPU的使用
车规产品长生命周期供货
02研华解决方案
基于上述挑战，研华梳理了该公司车辆兼容型号，设备使用场景等需求。双方经过多轮交流合作，充分发挥各自领域的优势，共同设计了初步硬件方案。硬件方案采用ROM-5880核心模块，可接入MIPI摄像头，支持4K H.264/H.265视频解码，实现快速图像处理。同时搭载1 Tops AI算力NPU，满足图像识别需求。同时ROM-5880核心板解决方案可通过3.0Grms振动标准测试，以及支持-40~+85°宽温，确保特种车在严苛环境下稳定运行。
此外，研华给客户提供了前，后，左，右四颗鱼眼摄像头接入方案，通过4路AHD鱼眼摄像头数据输入ROM-5880上的MIPI-CSI采集车辆环视图像数据，再通过研华自研的软件方案输出成360°环视图像。同时在AI方面，研华基于既有的AI视觉算法模型，由客户提供的图像数据库，帮助客户完成了从AI模型选型，到训练及部署的整套AI视觉方案应用。在OS方面，研华独有的JelinaOS满足安全连网更新，快速部署模型，持续优化迭代等需求。
研华既有的视觉算法
03 研华技术服务
在设计与开发的工作之外，研华作为一个40年企业，格外看重对交付的验证与持续维护。所以不仅双方的工程团队如期完成了系统集成与高标准测试，研华也应客户的要求，提供长达10年的长期软件维护服务，既确保各组件的无缝集成，也有效地保障了整体方案的可靠性和稳定性。目前客户已经实装了3000台设备，且该项目也正在持续出货中。
研华ROM-5880产品特性
- 基于瑞芯微 RK3568 四核 Cortex-A55，高达2.0GHz
- 搭载1TOPS AI算力 NPU
- 板载 2/4GB LPDDR4 内存和 16/32GB 存储
- 支持 1 x HDMI2.0 4K, 1 x signal LVDS or 1 x 2ch MIPI DSI or 1 x e
- 支持 4K H.264/H.265 视频解码
- 支持2 x USB3.0, 2 x USB2.0, 3 x UART, 14 x GPIO，2 x CAN
- 支持2 x PCIe3.0, 1 x SATA, 1 x MIPI CSI, 2 x Gigabit LAN
- 支持Linux和Android
