摄像头详解

1. 概述¶

仿真基础：构建真实世界虚拟三维模型，赋予物体真实材质、纹理、颜色及光学属性；采用物理渲染与物理光照技术，确保光线能量守恒，还原真实成像逻辑。
关键参数与坐标转换：核心参数含外参（安装状态）、内参（光学固有属性）、畸变参数（修正几何失真），参数会转换为投影矩阵，保障 “ 世界坐标系 → 相机坐标系 → 图像坐标系 → 像素坐标系 ” 精准转换，输出与真实相机一致的图像。
场景与天气支持：依托 SimOne 多样化仳真场景，可模拟复杂天气与光线条件，支持时间、光照、太阳高度角及云、雨、雪、雾、沙尘等自定义设置，效果参考配置环境 (天气/时间)。
数据输出与测试能力：每帧输出 RGB 图、深度图、2D/3D 包围盒、语义 / 实例分割图等原始数据；支持摄像头识别算法的 SIL（软件在环）、HIL（硬件在环）测试，并输出主车状态、目标障碍物信息等结构化真值数据，用于算法评价。

2. 附录：仿真参数解释¶

2.1 输入参数¶

模拟真实硬件摄像头的工作效果，使虚拟场景中生成的图像接近真实摄像机采集结果。

2.1.1 基础信息¶

序号	参数名称	定义
1	频率	图像输出的帧率（刷新频率）。影响图像更新速度与计算负载。
2	水平分辨率	图像在水平方向的像素数量。
3	垂直分辨率	图像在垂直方向的像素数量。
4	水平 FOV（视场角）	摄像头的水平可视范围角度，影响画面宽度与畸变效果。
5	探测范围	摄像头可识别或输出的最大距离。
6	触发时间	图像采集的触发延迟时间，用于同步多传感器输出。

2.1.2 内参¶

序号	参数名称	定义
1	焦距	镜头焦距，决定视野范围与成像比例。焦距越大，视野越窄、远处物体更大。
2	曝光补偿	对仿真图像亮度进行调整，正值增加亮度，负值降低亮度。
3	色温	表示图像整体色调的冷暖。数值低偏蓝，数值高偏黄。
4	色调	调整图像整体色彩偏向。低值偏绿色，高值偏洋红色。
5	饱和度	控制图像色彩的鲜艳程度。值越高颜色越鲜艳，越低越灰暗。
6	对比度	控制图像亮部与暗部的反差。较高值使图像层次更明显。
7	清晰度（锐化）	调整图像边缘的锐利程度。适度锐化可增强边缘清晰度，过高可能引入噪点。
8	伽马（亮度）	控制亮度曲线的非线性响应，一般设为 2.2。值越高，整体亮度越低。
9	炫光	镜头直接面对强光源时产生的反射或光斑现象，模拟真实镜头物理光晕。
10	泛光	明亮区域光线外溢的现象，使高亮物体周边泛白、柔和。
11	晕影	图像四周亮度低于中心的光学现象，由镜头结构或遮挡导致。
12	运动模糊	摄像头曝光时物体或自身运动导致的图像模糊。值越大模糊越明显。
13	色像差	不同波长光线折射率差异造成的边缘彩色条纹。
14	噪点	模拟成像传感器产生的随机噪声，数值越大图像越粗糙。
15	摄像头脏迹	模拟摄像头镜面污染或天气影响的视觉效果： • 污渍（轻度/中度/重度） • 结霜（轻度/中度/严重） • 水渍（少量/中度/大量） • 结冰（少量/中度/重度）
16	原始数据像素模式	输出像素排列模式，决定 Bayer 图像的原始格式。支持：RGB、BGGR、RGGB、RCCB、RCCC、GRBG。
17	原始数据类型	指定原始数据输出格式。 • 标准输出（Standard） • Raw12 输出（高精度模式）

2.1.3 畸变¶

摄像头因镜头制造工艺、装配误差或光学结构造成图像几何失真的修正参数。常见畸变包括：

径向畸变：导致直线向中心或外侧弯曲，主要由 K1、K2、K3、K4、K5、K6 决定。
切向畸变：由镜头与图像平面不完全平行导致，主要由 P1、P2 控制。
薄棱镜畸变：一般影响极小，可由 S1、S2 调整或忽略。

序号	参数名称	定义
1	焦距 Fx, Fy	图像平面水平方向与垂直方向的焦距（通常与像素尺寸相关）。
2	光心 Cx, Cy	图像中心点（主点）在像素坐标系中的位置。通常接近图像中心。
3	径向畸变系数 K1, K2, K3, K4, K5, K6	控制图像向内（桶形）或向外（枕形）弯曲程度。数值为负时通常表现为桶形畸变，为正时为枕形畸变。
4	切向畸变系数 P1, P2	控制镜头倾斜造成的非对称畸变（图像某一方向偏移）。
5	薄棱镜畸变系数 S1, S2	模拟光线通过镜头边缘的轻微偏折，一般为 0，可忽略。

2.1.4 鱼眼¶

序号	参数名称	定义
1	K1, K2, K3, K4	径向畸变系数（Radial Distortion Coefficients）。用于描述鱼眼镜头图像边缘的畸变程度。其数学表达为：\(r_d = r \left(1 + K_1 r^2 + K_2 r^4 + K_3 r^6 + K_4 r^8 \right)\) 其中 \(r\) 为理想投影半径，\(r_d\) 为畸变后半径。通常通过相机标定获得。正值表示桶形畸变（边缘向外扩张），负值表示枕形畸变（边缘向内收缩）。
2	投影模型：立体投影	数学关系：\(r = 2f \tan\left(\frac{\theta}{2}\right)\) 特点：保角性好，失真较自然，适用于全景拼接与渲染。
3	投影模型：等距投影	数学关系：\(r = f \theta\) 特点：角度与图像半径线性对应，计算简便，广泛应用于 SLAM 与视觉测量。
4	投影模型：等角投影	数学关系：\(r = 2f \sin\left(\frac{\theta}{2}\right)\) 特点：保证相同立体角对应相同面积，常用于摄影镜头与 VR 相机，成像真实感强。
5	投影模型：正交投影	数学关系：\(r = f \sin(\theta)\) 特点：图像中心区域变形小，边缘压缩明显，多用于仿真显示或工程场景。

2.1.5 感知误差¶

感知误差包括目标位置误差、目标速度误差、目标角度误差，主要用来仿真目标在真实环境中的实际抖动。

序号	参数名称	定义
1	目标位置误差	摄像头感知系统测量到的目标位置与目标真实位置之间的差值。该误差通常由图像分辨率、标定精度、目标检测算法误差等因素引起，用于模拟感知系统在实际环境中因抖动、遮挡或识别精度不足造成的位置偏差。
2	目标速度误差	摄像头输出的数据经过算法估算得到的目标速度与真实目标速度之间的差值。该误差可反映速度估计算法的精度，用于仿真传感器采样频率、延迟或噪声导致的速度波动。
3	目标角度误差	摄像头测量数据并结合算法计算得到的目标相对于摄像头的方向角，与真实方向角之间的差值。该误差反映系统在检测目标姿态或角度时的偏差，用于仿真摄像头角度识别不准、标定误差或动态抖动等情况。

2.2 输出设置¶

包括 3 种输出方式：网络，Dump，Dump视频流。

2.2.1 输出到【网络】¶

序号	参数名称	定义
1	原始数据	是否输出摄像头的原始图像数据（未经压缩或编码处理）。启用后，将输出最接近传感器原始信号的数据，便于算法调试与验证。
2	编码格式	设置图像输出的数据编码方式。不同编码方式影响数据质量、带宽占用与处理性能： • RGB：无压缩的标准三通道图像格式，保留完整色彩信息，数据量大，适合高精度算法验证； • JPEG：有损压缩格式，图像体积小，适合带宽有限或存储受限的场景； • H.265：高效视频编码格式（HEVC），支持连续帧压缩传输，带宽占用低，常用于实时视频流。
3	订阅通道	用于配置数据流的网络订阅地址和端口号。该字段定义了客户端接收摄像头数据的网络接口，支持 UDP 协议。
4	RLE语义分割	是否启用 RLE（Run-Length Encoding）压缩方式输出语义分割结果。 RLE是一种轻量级无损压缩编码，可有效减少语义图像数据量。

2.2.2 输出到【Dump】¶

序号	数据类型	定义与用途	图示
1	RGB 图像	摄像头输出的标准三通道彩色图像（Red, Green, Blue）。用于视觉感知、目标检测、图像识别等任务，是最基础的输出类型。真实场景渲染图像，与车辆前视摄像头获取的画面一致。
2	语义分割图	将场景中每个像素分类到特定语义类别（如道路、行人、车辆、建筑等）。用于训练和验证语义分割算法。每个像素颜色代表一种语义类别。
3	深度图	表示图像中每个像素点到摄像头的距离（深度值），单位通常为米（m）。用于三维重建、避障、感知融合等。颜色越亮代表距离越远。
4	实例分割图	在语义分割基础上进一步区分同类别的不同实例（例如两辆不同的车）。用于精细的目标检测与识别。同类别不同目标使用不同颜色标识。
5	车道线 (OpenLane)	输出符合 OpenLane 数据集格式的车道线标注信息，用于车道检测、路径规划等算法验证。支持可视化和算法评测接口。
6	法线图	表示场景中每个像素表面的法线方向（即表面朝向）。用于光照仿真、材质识别和三维感知优化。RGB 三通道分别表示 X、Y、Z 法向分量。
7	真值	用于算法评估的真实标注数据，包括目标类别、位置、姿态、速度等信息。可作为模型训练或性能评估基准。 • 3DBBox：3D包围盒 • Vehicle Rect Threshhold：车辆目标遮挡阈值（识别框） • Vehicle Pix Threshhold：车辆目标遮挡阈值（像素） • Pedestrian Rect Threshhold：行人目标遮挡阈值（识别框） • Pedestrian Pix Threshhold：行人目标遮挡阈值（像素） • Bike Rect Threshhold：自行车目标遮挡阈值（识别框） • Bike Pix Threshhold：自行车目标遮挡阈值（像素） • Other Rect Threshhold：其他目标遮挡阈值（识别框） • Other Pix Threshhold：其他目标遮挡阈值（像素）	以车辆目标为例：若识别框遮挡阈值设 0.45、像素遮挡阈值设 0.30，当车辆识别框遮挡超 45% 或像素遮挡超 30%，则判定为遮挡状态，dump 的 colorbox 图片中识别框标红（未遮挡标绿）。红框：目标遮挡超自定义阈值；蓝框：目标超出图像边界（上下左右任一方向），部分未完整显示。

2.2.3 输出到【Dump视频流】¶

序号	参数名称	含义
1	比特率	视频质量控制，数值越高画面越清晰、文件越大
2	编码格式	视频压缩格式，MPEG4常用于通用视频文件，H264 和 H265 则是目前广泛应用的高效压缩格式
3	3D BBox	可选项，若勾选则在视频中叠加3D边界框