AC531N ISPTOOL调试流程

📎 原始文档：https://www.kdocs.cn/l/cuIASj2rtEls

AC531N ISPTOOL调试流程

珠海市杰理科技股份有限公司

Zhuhai Jieli Technologyco., LTD

版权所有，未经许可，禁止外传
2022年03月10 日
目录
一、 ISP调试流程............................................................................................................................ 3
（一） BLC调试........................................................................................................................ 3
（二）自动曝光调试...............................................................................................................4
（三）白平衡调试...................................................................................................................4

自动白平衡调试...........................................................................................................4
2.手动白平衡调试......................................................................................................... 12
（四）镜头阴影校正调试.....................................................................................................13
（五）伽马曲线调试............................................................................................................. 14
（六）去坏点调试................................................................................................................. 15
（七） 2D 降噪调试................................................................................................................ 16
（八）锐化模块调试............................................................................................................. 16
（九）色度降噪调试............................................................................................................. 18
（十）颜色矩阵调试............................................................................................................. 18
（十一）亮度对比度调试.....................................................................................................19

一、 ISP调试流程

整体调试过程基本是按照以下步骤进行的。

（一）BLC调试

因为BLC会对其它模块造成影响，首先应该调试BLC模块。如果图像有朦胧模糊的效果，可以微调BLC，一般是小范围内调试；
若不知道如何调试，可以计算sensor驱动中BLC target 的值，一般通过读取寄存器。若不知道sensor驱动的BLC target 的值为多少，则可以通过以下方式来测试得到：将sensor置于无光环境，具体可以带上黑帽子，然后在没有调试其它模块的情况下录取视频，视频中图像整体都是黑色的，可以截取一张图片出来，用python或者 matlab或者其它软件等查看图像中R ,G ,B 三份量的值，将该值换算成（-16）的倍数即可。例如，按照上述所述求得R ,G ,B 的值都为2，那么ISP 中BLC调试时的值应为-32。见图一。
需要注意，如果BLC参数调试过大，会增加对应的分量，使图像偏色，而且对后续的白平衡处理也会有影响。

图一

（二）自动曝光调试

自动曝光沿用了AC54/56工具配置，具体如图二所示：

图二

可根据实际场景和图像的亮度来调节自动曝光，主要是调节测光矩阵的类型，或者是测光矩阵自定义类型的情况下调试曝光矩阵以及调试期望均值或者是微调曝光补偿。期望均值越大，图像越亮；曝光补偿越大，图像越亮。

（三）白平衡调试

AWB 目前主要分为自动白平衡和手动白平衡。

1.自动白平衡调试

自动白平衡主要采用三种方式，其通过sensor驱动配置，例如当前是bg0806_miPi 的 sensor，则打开bg0806_mipi_awb.h文件，更改其中的 #define AWB_ALG_TYPE 配置，如图三所示。

图三

若定义 #define AWB_ALG_TYPE AWB_ALG_GW1，则为方式 1。
若定义 #define AWB_ALG_TYPE AWB_ALG_HYBRID，则为方式 2。
若定义 #define AWB_ALG_TYPE AWB_ALG_CT2，则为方式3。

(1)方式 1 AWB调试

方式 1AWB调试如图四所示。

图四

主要调试为权重矩阵类型为自定义情况下的权重矩阵或者直接调试权重矩阵类型。可根据实际场景选择不同的权重矩阵类型，如图五所示。

图五

需要注意，方式 1，方式2和方式3都是自动AWB，所以白平衡类型应该设置为自动，如图六所示：

图六

除此之外，方式 1 的 AWB 调试还可以改驱动，例如打开 bg0806_mipi_awb.c，更改如图七的配置：
图七只要调试wp_th， r_th， g_th， b_th， rgain_min， rgain_max， b gain_min和b gain_max，其余的不建议调试。具体的，wp_th，r_th， g_th， b_th 为数据统计时的阈值，因为AWB算法会将原始大图统计成一个小图来做，只有像素值满足要求的点才会被统计。要求一：r_th， g_th，b_th分别代表R ,G ,B ,三通道的阈值，当像素值在0~阈值之间
即满足统计要求；要求二：wp_th是对Y，U，V分量做的一个限制，当为-256 时，所有点都可满足统计要求。
满足要求一和要求二的点会被统计。当图像有很多区域过曝时，若统计所有点可能会导致结果偏差，因此可以设置阈值来截断过曝的像素点。
rgain_min，rgain_max，bgain_min和bgain_max是对结果做一个截断。例如对输出的R 通道增益会做一个判断，使得其范围在 rgain_min~rgain_max之间。

(2)方式2 AWB调试

方式2 的AWB调试需要采集样张，而且需要通过awbtool训练，和AC57 中AWB 的方式2一样。
采样配置如图八所示：
在sensor驱动的 iq.c 中按照如上配置之后，即可进行采样。
采样的方式和AC57稍有不同，这里一般通过 isp tool 中的截图
功能完成采样工作。截图之前需要配置预设白平衡类型为晴天，如图九所示。

图九

采样完成后即可通过awbtool进行训练。

(3)方式3 AWB调试

AWB 中的CT2算法主要是通过设置不同的色温区域从而进行颜色矫正。
通常需要设置的区域包括极高色温区域（uhct_zone），高色温区域（hct_zone），中色温区域（mct_zone）以及低色温区域（lct_zone）。该方式需要采集标准光源下的图片，采集样张的配置和方式2 中一样。
这样设置之后，就可以在灯箱中采集样张了。样张采集完毕之后就可以根据样张的色温点设置各个区域的参数，主要需要设置区域权重以及区域的边界和中心。
权重设置：区域的权重通常设置为 1，如下是uhct_zone 的权重： static u8 awb_zone_uhct_desc [] = {
1 , 1 , 1 , 1 , 1 , 1 , 1 , 1 ,
1 , 1 , 1 , 1 , 1 , 1 , 1 , 1 ,
1 , 1 , 1 , 1 , 1 , 1 , 1 , 1 ,
1 , 1 , 1 , 1 , 1 , 1 , 1 , 1 ,
1 , 1 , 1 , 1 , 1 , 1 , 1 , 1 ,
1 , 1 , 1 , 1 , 1 , 1 , 1 , 1 ,
1 , 1 , 1 , 1 , 1 , 1 , 1 , 1 ,
1 , 1 , 1 , 1 , 1 , 1 , 1 , 1 ,} ;
区域的边界和中心如图十所示

图十

以hct_zone 区域为例
static isp_awb_zone_t hct_zone = {
.type = ISP_AWB_ZONE_HCT ,.rg_min = (int) (0.47 * 256) ,.bg_min = (int) (0.54 * 256) ,.rg_max = (int) (0.70 * 256) ,
.bg_max = (int) (0.77 * 256) ,
.rg_center = (int) (0.58 * 256) ,
.bg_center = (int) (0.65 * 256) ,
.desc = awb_zone_hct_desc ,} ;
通常，高色温区域（hct_zone）以D65 为中心点，即rg_center 和bg_center 的值为D65对应的值。（具体做法可以将采集得到的D65 图像通过AWBTOOL添加进去，即可看到对应的值）rg_min和rg_max 即为高色温区域的左右边界，bg_min和bg_max 即为高色温区域的上下边界（注意，rg_center和bg_center 不一定在区域的中心）。边界对应的值通常是根据经验设置，如果有偏色，则可以根据具体测试情况调整边界大小（偏色场景下采集的图片对应的色温点应该落在区域内）。区域的描述图示可以参照图 3。示例代码可以参照 isp_awb_zone_thct_zone 的设置。在该例子中，我们首先将采集到的D65添加到AWBTOOL 中，其色温点是（0.58， 0.65），所以我们将 rg_center和bg_center 的值分别设置为
.rg_center = (int) (0.58 * 256) ,
.bg_center = (int) (0.65 * 256) ,接下来需要设置左右边界，按照图 3 的图示，
rg_min <rg_center <rg_max ,在高色温区域中，通常（rg_centerrg_min）的最大值为0.15，所以在该例子中， rg_min 的最小值即为 0.43，（rg_max-rg_center）的最大值为0.15，所以在该例子中， rg_max 的最大值为0.73。在该例子中，我们将rg_min和rg_max分

别设置为

.rg_min = (int) (0.47 * 256) ,
.rg_max = (int) (0.70 * 256) ,
接下来需要设置上下边界，按照图 3 的图示， bg_min <bg_center <bg_max ,在高色温区域中，通常（bg_centerbg_min）的最大值为0.15 ,所以在该例子中，bg_min 的最小值即为 0.5，（bg_max-bg_center）的最大值为0.15，所以在该例子中， bg_max 的最大值为0.80。在该例子中，我们将bg_min和bg_max分别设置为
.bg_min = (int) (0.54 * 256) ,
.bg_max = (int) (0.77 * 256) ,中色温区域（mct_zone）通常以TL84 为中心点，而且（rg_center
-rg_min）的最大值为0.15，（rg_max-rg_center）的最大值为0.15。（bg_center-bg_min）的最大值为0.15 ,（bg_max-bg_center）的最大值为0.15，
低色温区域（lct_zone）通常以A和U30 为中心点，或者取两者的均值为中心点，而且（rg_center-rg_min）的最大值为0.12，（rg_max-rg_center）的最大值为0.12。（bg_center-bg_min）的最大值为0.10 ,（bg_max-bg_center）的最大值为0.10，
注意，极高色温区域（uhct_zone）通常是根据经验设置的，它对应的rg_center 比高色温区域小，对应的bg_center 比高色温区域大。具体的做法可以采集D75作为中心点，如果灯箱没有D75，则可
以采集一张极高色温的（如阴天，树荫下等）作为中心点，或者根据经验值设置，通常，uhct_zone的rg_center 比hct_zone的rg_center 小不超过0.15， uhct_zone 的bg_center 比hct_zone 的bg_center 大不超过0.15。设置完中心点后，需要设置边界，通常，（rg_center-rg_min）的最大值为0.10，（rg_max-rg_center）的最大值为0.15。（bg_center-bg_min）的最大值为0.12 ,（bg_max-bg_center）的最大值为0.12。

2.手动白平衡调试

主要调试分为白平衡类型和预设白平衡训练。可以根据当前场景选择不同得白平衡类型，如图十一所示：

图十一

例如当前场景是晴天，则白平衡类型，选择晴天5600K，如果发现图像颜色会偏，那么则需要调试预设白平衡训练，如图十二所示：

图十二

需要根据当前场景如晴天，将类型配置为晴天，并配置晴天所对应三列的数值，这些值分别对应为R ,G ,B三通道的增益。一般来说，
G通道的增益就是 1024，而R ,B通道的增益可以通过色卡在灯箱采集图片之后计算得出（类型中的选择对应灯箱中的色温），这里可以利用自动白平衡中的白平衡工具计算得到，和自动白平衡方式2 中灯箱采集样张方式相同，获取样张之后将图片添加进去然后看底部样张的信息，如图十三所示：

图十三

则R通道的增益为：1/0.7131024=1436；
B通道的增益为：1/0.7991024=1281；
将这两个增益设置为晴天模式对应的增益即可。
若没有灯箱环境，则在所需场景的环境下采集样张，按照类似的步骤计算并设置增益。
此步骤调试完成之后，图像的颜色应该正常，亮度可能会稍微有点暗，因此继续对亮度进行调整。如果此时图像出现偏色，则排除 BLC 的问题之后，就是白平衡不准导致的。

（四）镜头阴影校正调试

如图十四所示，通过调整A1 ,A2 ,B1 ,B2 的值来拟合增益曲线，也可以自定义设置曲线。调试曲线时，R ,G ,B应该一起调试，否则可能会引起偏色。其中，中心x 坐标和中心y坐标分别代表sensor输出图像宽和高的一半。

图十四

（五）伽马曲线调试

伽玛曲线设置和AC54/56 工具的配置曲线保持了延续性和一致性。通过调节gamma 曲线来增加图像亮度。如图十五所示。

图十五

此模块调试比较灵活，可以通过“标准式”， “多项式”， “五点式”， “多点式”来调试。同时可以保存调试好的曲线并通过自定义的方式加载。
此步骤调试完成之后，图像的颜色和亮度都应该保持正常。之后继续对图像进行去噪，锐化以及色度，饱和度调试等。

（六）去坏点调试

去坏点功能和AC54/56工具的 ISP去坏点功能一致，见图十六。

图十六

其中，坏点阈值越小，像素越可能被认为是坏点并进行去坏点处理；坏点阈值越大，越不可能是坏点，但可能会对像素进行噪声抑制。是否进行噪声抑制会根据噪点阈值 1和2来确定，噪点阈值1越小，噪点阈值2越大的情况下越可能进行噪声抑制。

（七）2D 降噪调试

2D 降噪和AC54/56 中的降噪模式类似，如图十七。
滤波系数越大，降噪强度越大，图像越模糊。边缘保持系数越小，越能保持图像边缘。纹理阈值是设置一个阈值对满足条件（大于阈值）的像素点才做降噪处理。

图十七

（八）锐化模块调试

如果图像中景物的边缘不清楚或者希望进一步增强边缘，可以调节锐化模块。锐化模块设置比AC54/56工具的锐化设置相似，见图十八。

图十八

孤点阈值0和孤点阈值1是对图像中的孤点和其他点做不同处理。当邻域满足大于孤点阈值1 时，则不做任何处理；满足大于孤点阈值 0小于孤点阈值 1 时，则做中值滤波；当小于孤点阈值0 时，则不是孤点，才做锐化处理。
锐化配置则依据高频和中频的配置参数。高频锐化强度和中频锐化强度越大，图像纹理越丰富，但同时会增加图像的噪点。高频抑制
系数和中频抑制系数则是对高频边缘和中频边缘进行加强或弱化处理，系数的基准值是 128，当大于基准值时，则加强对应边缘，反之，则弱化对应边缘。高频阈值0，高频阈值1和高频阈值2是为了将高频边缘做区分处理；中频阈值0和1是为了对中频边缘做区分处理。

（九）色度降噪调试

色度降噪一般开启为最大值即可，见图十九。

图十九

色度降噪是对U ,V分量进行滤波。总共分为两步：第一步，中值滤波，通过使能控制；第二步，后续的滤波过程，根据色度滤波的阈值和色度降噪强度来定，只有像素值小于色度滤波的阈值才会进行后续滤波，滤波强度通过降噪强度控制。所以不想进行后续滤波的话可以将阈值设为0。

（十）颜色矩阵调试

颜色矩阵CCM基本和AC54/56工具保持一致性，见图二十。

图二十

到此步骤时图像颜色应该是正常的，不会出现偏色现象。但是可以根据个人喜好或者希望达到的效果来调试此模块，但是如果参数没有调试好，则会导致偏色现象。此模块是一个3x4 的矩阵，第一二三行分别代表R ,G ,B通道。第一行第一列代表R 主通道，第一行第二列代表R-G辅通道，第一行第三列代表R-B辅通道，第一行第四列代表 R通道偏移值；第二行第一列代表G-R辅通道，第二行第二列代表G 主通道，第二行第三列代表G-B辅通道，第二行第四列代表G通道偏移值；第三行第一列代表B-R辅通道，第三行第二列代表B-G辅通道，第三行第三列代表B 主通道，第三行第四列代表B通道偏移值。具体地，比如希望图像是暖色调，则可以增加R 主通道，R辅通道和R偏移值；若希望是冷色调，则可以增加B 主通道，B辅通道和B通道偏移值。。

（十一）亮度对比度调试

Y分量增益是指亮度精细调节，饱和度是U分量增益和V分量增益，
Y分量偏移是指亮度粗调节。如图二十一所示。

图二十一

Y分量增益是对Y通道乘以一个增益系数，系数基准为256，即增益若为256，相当于 1倍的增益；增益若为512，相当于2倍的增益。Y分量偏移是对Y通道加上一个偏移量。 U ,V分量的增益也是以256 为基准，调整方式和Y分量增益一样。
调节Y通道其实是调整图像亮度，调节U ,V通道其实是调图像整体的色度饱和度。
编辑：杨远飞
审核：朱高锋珠海市杰理科技股份有限公司
2022年03 月 10 日