算法后评价 

1. 概述 

后评价是指在测试任务完成后进行的评价，主要用于评估智驾算法在性能、功能等方面的情况。其中，评价体系是后评价的基础和核心。

SimOne 目前支持三种评价体系：

内置评价体系 ：SimOne 内置的评价体系，按照「指标-维度」层级计算各指标各维度的得分，最后统一为一个整体分数；最终的评价报告由 SimOne 生成进行展示。
内置评价体系+自定义指标算子 ：使用 SimOne 内置的评价体系，并在此基础上通过外接算子方式对内置指标进行补充，最后将算子的打分结果进行融合计算得到一个整体分数；最终的评价报告也由 SimOne 生成进行展示。
自定义报告算子 ：整个评价体系完全由用户通过外接算子的方式进行自定义，最终的评价报告也由算子生成。

三种评价体系的差异如下表所示：

	内置评价体系	内置评价体系+自定义指标算子	自定义报告算子
评价方式	打分制（7 个内置维度 +100 多个内置指标）	打分制（7 个内置维度 +100 多个指标+自定义指标）	自定义
可配置项	1. 各维度下需要的指标 2. 各维度和各指标在分值中的权重值 3. 各指标的打分函数	“内置评价体系的 3 个配置“+关联的指标算子（算子基本信息）	算子基本信息
报告展示形式	web 界面（SimOne 内置）		算子生成的 pdf
报告展示内容	a. 单个任务打分情况 b. 任务集打分统计情况		由算子控制
适用算法	规控、整体、端到端		任意
评价触发方式	a. 任务计划或创建任务时勾选评价 b. 任务完成后在任务管理已完成界面触发评价

2. 操作流程 

2.1 总述 

无论使用哪种评价体系，后评价操作流程主要分为 3 步：

创建评价体系
创建及执行评价任务
查看评价报告

具体说明详见下述章节。

2.2 创建评价体系 

2.2.1 使用「内置评价体系」 

使用内置评价体系，需要根据具体的评价要求对「评价维度及其权重」、「评价指标及其权重」，以及「评价指标函数进行配置」，主要步骤如下：

调起内置评价体系 ：进入「资源管理」，在「评价 - 规控评价 - 评价预设」中调起内置评价体系。

ID	项目	描述
1	新建按钮	点击按钮直接进入一个全新的评价配置界面，需要从头配置评价体系，配置完毕保存后会在该界面展现新建的评价体系名称。
2	内置评价体系	内置的评价体系，可以直接使用或者修改另存为新的评价体系。

配置评价体系：① 评价体系的名称 ②各评价维度下的指标及指标打分函数 ③各评价维度和评价指标的权重值

注意

仅使用内置评价体系，关联算子要选择「无」，且配置完成后需保存。

ID	项目	描述
1	预设名称	显示此评价预设名称，支持重命名。
2	保存预设	点击后可保存已修改项。
3	评价维度及维度权重	为评价指标的上一级，内置7大维度，包括安全维度、违规维度、能耗维度、效率维度、稳定性维度、舒适性维度、准确性维度。维度权重值为该维度在整体评价中的相对重要程度，将影响总分的计算。
4	评价指标及指标权重	评价指标是进行评价判断的定量指标。指标权重是指该指标在对应维度中的相对重要程度，将影响维度得分计算。
5	指标函数	用于计算指标得分的函数，与指标值相关。
6	指标阈值	用于计算指标值的临界值，与指标定义相关，不是每个指标都有阈值。
7	指标列表	所有内置指标列表及其解释，可以拖动指定指标到相关维度下进行配置。
8	搜索指标	搜索评价指标列表。
9	关联算子	用于配置评价预设关联的自定义指标算子。若使用内置评价体系，请选择“无”；若使用内置评价体系+自定义指标算子，请选择对应的指标算子。

2.2.2 使用「内置评价体系+自定义指标算子」 

在内置评价体系的基础上使用自定义指标算子主要步骤如下：

开发指标算子 ：根据评价需要，具体要求如下
- 开发语言 ：必须使用 Python 开发，确保与 SimOne 内置评价算法的兼容性；
- 接入形式 ：算子需以脚本格式（ .bat 或 .sh ）呈现，并通过参数传递方式接入 SimOne 内置评价算法；
- 指标数量 ：单个算子可包含单个或多个指标，用户可根据评价任务自主决定。
导入指标算子信息 ：进入「资源管理」，在「评价-规控评价-自定义算子」中点击「导入」按钮，并在弹框中录入算子信息。

注意

对于算子及其执行环境的位置建议

Windows：可放到自定义目录下；
Ubuntu：可放到自定义目录下，并映射到 SimOne docker 下；或者直接放到 SimOne docker 下。

对于指标算子，弹框中的「自定义报告」需要选择「无」。
弹框中的超时配置会涉及算子调用的超时判断，可根据算子计算情况酌情填写。

调起内置评价体系
配置评价体系，关联指标算子 ：在评价体系配置界面，选择关联对应的指标算子。

2.2.3 使用「自定义报告算子」 

完全使用自定义报告算子，，其主要步骤是：

开发报告算子 ：根据评价需要，具体要求如下
- 开发语言 ：必须使用 Python 开发，确保与 SimOne 内置评价算法的兼容性；
- 接入形式 ：算子需以脚本格式（ .bat 或 .sh ）接入；
- 报告算子 ：报告算子需要区分合集报告算子和单任务报告算子。
导入报告算子信息 ：进入「资源管理」，在「评价 - 规控评价 - 自定义算子」中点击「导入」按钮，并在弹框中录入报告算子信息；弹框展示与指标算子一致。

注意

合集报告算子和单任务报告算子均需要单独录入。
在弹框中，「自定义报告」项需要根据算子情况选择「单任务报告」或「合集报告」；且选择「单任务报告」后需要再次选择关联的「合集报告」。

2.3 创建及执行评价任务 

评价体系创建保存成功后，即可在触发后评价任务时选择使用，触发方式包含以下 3 种：

方式1 ： 提交任务时，选择评价体系 （如下图所示）

⚠️ 必须勾选「自动评价」，否则无法保存任务过程数据，后续无法执行评价。

方式2 ： 创建任务计划时，选择评价体系 （如下图所示）

⚠️ 同方式 1 一样，务必勾选「自动评价」。

方式3：任务完成后，在「任务管理-已完成」中点击「评价」按钮并选择评价体系 （如下图所示）

⚠️ 若是方式 1 或方式 2 中的「自动评价」未勾选，此操作不会执行。

2.4 查看评价报告 

评价完成后，在「任务管理-已完成」中可以点击「报告」按钮查看具体的报告内容（如下图所示）。

评价报告主要包括「任务集报告」和「单个任务报告」，其中由 SimOne 生成的报告内容如下：

a. 任务集报告

SimOne 内置任务集报告主要展现整个任务集在「综合得分」、「评价维度得分」、「评价指标得分」方面的统计情况，界面如下图所示：

ID	项目	描述
1	目录	报告目录，可快速定位至指定目录。
2	基本信息	评价报告基本信息，包括得分等信息。
3	综合得分	包括平均分、最高分、最低分、均方差等。
4	按评价维度得分	各评价维度的得分汇总。
5	按评价指标得分	各评价指标的得分汇总。
6	用例列表	该用例集合下所有用例的列表，支持跳转至指定用例下的评价报告。

注意

若采用自定义报告算子，任务集报告将由算子生成。

b. 单个任务报告

SimOne 内置任务报告主要展现单个任务的「综合得分」、「评价维度得分」、「评价指标得分」得分及「评价指标变化情况」，界面如下图所示：

ID	项目	描述
1	目录	报告目录，可快速定位至指定目录。
2	基本信息	评价报告基本信息，包括得分等信息。
3	按评价维度得分	各评价维度的得分汇总。
4	按评价指标得分	各评价指标的得分汇总。
5	评价指标变化情况	各评价指标随着时间的变化情况。