前言 ¶

ot_isp_sensor_exp_func¶

【说明】

定义sensor回调函数结构体。

【定义】

typedef struct {
    ot_void (*pfn_cmos_sensor_init)(ot_vi_pipe vi_pipe);
    ot_void (*pfn_cmos_sensor_exit)(ot_vi_pipe vi_pipe);
    ot_void (*pfn_cmos_sensor_global_init)(ot_vi_pipe vi_pipe);
    td_s32 (*pfn_cmos_set_image_mode)(ot_vi_pipe vi_pipe, ot_isp_cmos_sensor_image_mode *sensor_image_mode);
    td_s32 (*pfn_cmos_set_wdr_mode)(ot_vi_pipe vi_pipe, td_u8 mode);
 
    td_s32 (*pfn_cmos_get_isp_default)(ot_vi_pipe vi_pipe, ot_isp_cmos_default *def);
    td_s32 (*pfn_cmos_get_isp_black_level)(ot_vi_pipe vi_pipe, ot_isp_cmos_black_level *black_level);
    td_s32 (*pfn_cmos_get_blc_clamp_info)(ot_vi_pipe vi_pipe, td_bool *clamp_en);
    td_s32 (*pfn_cmos_get_sns_reg_info)(ot_vi_pipe vi_pipe, ot_isp_sns_regs_info *sns_regs_info);
 
    ot_void (*pfn_cmos_set_pixel_detect)(ot_vi_pipe vi_pipe, td_bool enable);
    td_s32 (*pfn_cmos_get_awb_gains)(ot_vi_pipe vi_pipe, td_u32 *sensor_awb_gain);
} ot_isp_sensor_exp_func;

【成员】

成员名称	描述
pfn_cmos_sensor_init	初始化sensor的回调函数指针。
pfn_cmos_sensor_exit	sensor的回调退出函数指针。
pfn_cmos_sensor_global_init	初始化全局变量的回调函数指针。
pfn_cmos_set_image_mode	设置分辨率和帧率切换的回调函数指针。返回值0表示sensor模式发生改变，ISP会调用pfn_cmos_sensor_init重新配置sensor；返回值为-2 sensor模式没有变化，ISP不会重新配置sensor。
pfn_cmos_set_wdr_mode	设置wdr模式的回调函数指针。
pfn_cmos_get_isp_default	获取ISP基础算法的初始值的回调函数指针。
pfn_cmos_get_isp_black_level	获取sensor的黑电平值的回调函数指针，支持根据sensor增益动态调整黑电平值。若此处动态调整黑电平值，则外部只能通过接口ss_mpi_isp_set_black_level_attr的手动模式设置黑电平。
pfn_cmos_get_blc_clamp_info	获取sensor内部黑电平开关信息的回调函数指针。
pfn_cmos_get_sns_reg_info	获取sensor寄存器信息的回调函数指针，用于实现内核态配置AE信息。
pfn_cmos_set_pixel_detect	设置坏点校正开关的回调函数指针。
pfn_cmos_get_awb_gains	获取AWB增益的回调函数指针。

【注意事项】

pfn_cmos_sensor_init, pfn_cmos_get_isp_default, pfn_cmos_get_isp_black_level, pfn_cmos_set_pixel_detect和pfn_cmos_get_sns_reg_info必须赋值，其他回调函数指针如果不需要赋值，应置为NULL。例如有的sensor不支持切换分辨率，那么pfn_cmos_set_image_mode需要置为NULL。
SS928V100不支持AWB增益在sensor配置，仅支持sensor侧获取当前AWB增益。
不支持切换AWB增益配置位置。

【相关数据类型及接口】

ot_isp_sensor_register
ot_isp_sns_state
ot_isp_cmos_default

ot_isp_cmos_sensor_image_mode¶

【说明】

定义sensor输出的宽高和帧率属性。

【定义】

typedef struct {
    td_u16   width;
    td_u16   height;
    ot_float fps;
    td_u8    sns_mode;
} ot_isp_cmos_sensor_image_mode;

【成员】

成员名称	描述
width	Sensor输出的宽度。
height	Sensor输出的高度。
fps	Sensor输出的帧率。
sns_mode	用于进行Sensor初始化序列的选择，在分辨率和帧率相同时，配置不同的sns_mode对应不同的初始化序列；其他情况，sns_mode默认为0。

【注意事项】

无

【相关数据类型及接口】

ot_isp_cmos_lsc¶

【说明】

定义LSC 参数。

【定义】

typedef struct {
    ot_isp_shading_attr     lsc_attr;
    ot_isp_shading_lut_attr  lsc_lut;
} ot_isp_cmos_lsc;

【成员】

成员名称	描述
lsc_attr	Mesh Shading算法参数。
lsc_lut	Mesh Shading增益表属性。

【注意事项】

无

【相关数据类型及接口】

ss_mpi_isp_get_noise_calibration

ot_isp_acs_y_shading_lut¶

【说明】

定义Auto Color Shading亮度分量上的校正强度表，也就是Gr/Gb分量的校正强度，用标定工具生成。

【定义】

typedef struct {
    td_u16 g_param_high_ct[OT_ISP_LSC_GRID_POINTS];
    td_u16 g_param_low_ct[OT_ISP_LSC_GRID_POINTS];
} ot_isp_acs_y_shading_lut;

【成员】

成员名称	描述
g_param_high_ct	Gr/Gb分量上的校正强度表，校正强度较大。
g_param_low_ct	Gr/Gb分量上的校正强度表，校正强度较小。

【注意事项】

算法根据场景从g_param_high_ct和g_param_low_ct两张表中进行插值。

【相关数据类型及接口】

ot_isp_cmos_acs

ot_isp_acs_color_shading_lut¶

【说明】

定义Auto Color Shading颜色分量上的Lut表，用标定工具生成，算法会根据R/B分量上的Lut表，动态生成适合当前场景的Lut表。

【定义】

typedef struct {
    ot_float avg_rg_map[OT_ISP_LSC_GRID_POINTS];
    ot_float avg_bg_map[OT_ISP_LSC_GRID_POINTS];
    ot_float prof_rg_map[OT_ISP_LSC_GRID_POINTS];
    ot_float prof_bg_map[OT_ISP_LSC_GRID_POINTS];
} ot_isp_acs_color_shading_lut;

【成员】

成员名称	描述
avg_rg_map	R分量上的Color Shading表。
avg_bg_map	B分量上的Color Shading表。
prof_rg_map	R分量上的Color Shading表。
prof_bg_map	B分量上的Color Shading表。

【注意事项】

无

【相关数据类型及接口】

ot_isp_cmos_acs

ot_isp_acs_calib_param¶

【说明】

定义Auto Color Shading的标定参数，用标定工具生成。

【定义】

typedef struct {
    td_s16   light_index[OT_ISP_ACS_LIGHT_NUM * OT_ISP_ACS_CHN_NUM];
    ot_float  model_ar_min;
    ot_float  model_ar_step;
    ot_float  model_ab_min;
    ot_float  model_ab_step;
    td_s16   light_type_g_high;
    td_s16   light_type_g_low;
} ot_isp_acs_calib_param;

【成员】

成员名称	描述
light_index	标定的光源在算法模型当中的光源坐标。
model_ar_min	标定得到的算法模型参数。
model_ar_step	标定得到的算法模型参数。
model_ab_min	标定得到的算法模型参数。
model_ab_step	标定得到的算法模型参数。
light_type_g_high	对于g_param_high_ct表对应的光源坐标。
light_type_g_low	对于g_param_low_ct表对应的光源坐标。

【注意事项】

无

【相关数据类型及接口】

ot_isp_cmos_acs

ot_isp_cmos_acs¶

【说明】

定义Auto Color Shading的CMOS参数。

【定义】

typedef struct {
    ot_isp_acs_attr               acs_attr;
    ot_isp_acs_calib_param        acs_calib_param;
    ot_isp_acs_y_shading_lut      acs_y_shading_lut;
    ot_isp_acs_color_shading_lut  acs_color_shading_lut;
} ot_isp_cmos_acs;

【成员】

成员名称	描述
acs_attr	参考ot_isp_acs_attr
acs_calib_param	参考ot_isp_acs_calib_param
acs_y_shading_lut	参考ot_isp_acs_y_shading_lut
acs_color_shading_lut	参考ot_isp_acs_color_shading_lut

【注意事项】

增益表的默认配置与ot_isp_cmos_alg_key中的bit1_acs标志位有关，如果bit1_acs=1，则采用cmos_ex.h中的配置值作为默认值；否则默认配置都为0。
ACS模块的otp通过ot_isp_cmos_lsc中的lsc_lut.lsc_gain_lut接口实现，其中lsc_lut.lsc_gain_lut[0]配置为golden sample在D50下标定的表，lsc_lut.lsc_gain_lut[1[配置为当前镜头模组在D50下标定的表，可以解决镜头的一致性问题，模组与golden之间的差异越小，校正的效果越好。也可以在ISP启动后配置接口ss_mpi_isp_set_mesh_shading_gain_lut_attr中的lsc_gain_lut[0]和lsc_gain_lut[1]，用法与上面描述一致。

【相关数据类型及接口】

ot_isp_cmos_default
ot_isp_acs_y_shading_lut
ot_isp_acs_color_shading_lut
ot_isp_acs_calib_param

ot_isp_noise_calibration¶

【说明】

定义NOISE 校正参数。

【定义】

typedef struct {
    td_double calibration_coef[OT_BAYER_CALIBRATION_PARA_NUM_NEW];
} ot_isp_noise_calibration;

【成员】

成员名称	描述
calibration_coef[OT_BAYER_CALIBRATION_PARA_NUM_NEW]	噪声标定表。

【注意事项】

无

【相关数据类型及接口】

ot_isp_cmos_sensor_max_resolution¶

【说明】

定义sensor最大分辨率结构体。

【定义】

typedef struct {
    td_u32  max_width;
    td_u32  max_height;
} ot_isp_cmos_sensor_max_resolution;

【成员】

成员名称	描述
max_width	最大宽度。
max_height	最大高度。

【注意事项】

无

【相关数据类型及接口】

ot_isp_cmos_clut¶

【说明】

定义CLUT结构体。

【定义】

typedef struct {
    ot_isp_clut_attr clut_attr;
    ot_isp_clut_lut clut_lut;
} ot_isp_cmos_clut;

【成员】

成员名称	描述
clut_attr	定义clut的增益。
clut_lut	定义clut的查找表。

【注意事项】

无

【相关数据类型及接口】

ot_isp_cmos_sensor_mode¶

【说明】

定义sensor模式寄存器。

【定义】

typedef struct {
    td_u32  sensor_id;
    td_u8   sensor_mode;
    td_bool  valid_dng_raw_format;
    ot_isp_dng_raw_format dng_raw_format;
} ot_isp_cmos_sensor_mode;

【成员】

成员名称	描述
sensor_id	Sensor id号。
sensor_mode	Sensor自定义工作模式，不同分辨率与帧率对应不同的工作模式。
valid_dng_raw_format	有效的DNG raw格式。
dng_raw_format	DNG Raw格式。

【注意事项】

无

【相关数据类型及接口】

ot_isp_cmos_dng_color_param¶

【说明】

定义DNG白平衡校正系数。

【定义】

typedef struct {
    ot_isp_dng_wb_gain wb_gain1;
    ot_isp_dng_wb_gain wb_gain2;
} ot_isp_cmos_dng_color_param;

【成员】

成员名称	描述
wb_gain1	DNG白平衡校正系数1。
wb_gain2	DNG白平衡校正系数2。

【注意事项】

无

【相关数据类型及接口】

ot_isp_cmos_wdr_switch_attr¶

【说明】

定义WDR切换属性。

【定义】

typedef struct {
    td_u32   exp_ratio[OT_ISP_EXP_RATIO_NUM];
} ot_isp_cmos_wdr_switch_attr;

【成员】

成员名称	描述
exp_ratio	曝光比期望值

【注意事项】

在cmos_get_isp_default函数里根据WDR模式给exp_ratio赋默认值，所赋值要与cmos_get_ae_default中AE初始化的曝光比保持一致性：

若ae_sns_dft->man_ratio_enable为TRUE，exp_ratio与ae_sns_dft->arr_ratio的值相同；
若ae_sns_dft->man_ratio_enable为FALSE，exp_ratio为0x40。

【相关数据类型及接口】

ot_isp_cmos_alg_key¶

【说明】

定义ISP的各算法是否采用cmos中的默认配置的标志位。

【定义】

SS928V100中定义：

typedef union {
    td_u64  key;
    struct {
        td_u64  bit1_drc              : 1 ;   /* [0] */
        td_u64  bit1_demosaic         : 1 ;   /* [1] */
        td_u64  bit1_pregamma         : 1 ;   /* [2] */
        td_u64  bit1_gamma            : 1 ;   /* [3] */
        td_u64  bit1_sharpen          : 1 ;   /* [4] */
        td_u64  bit1_ldci             : 1 ;   /* [5] */
        td_u64  bit1_dpc              : 1 ;   /* [6] */
        td_u64  bit1_lsc              : 1 ;   /* [7] */
        td_u64  bit1_ge               : 1 ;   /* [8] */
        td_u64  bit1_anti_false_color : 1 ;   /* [9] */
        td_u64  bit1_bayer_nr         : 1 ;   /* [10] */
        td_u64  bit1_ca               : 1 ;   /* [11] */
        td_u64  bit1_expander         : 1 ;   /* [12] */
        td_u64  bit1_clut             : 1 ;   /* [13] */
        td_u64  bit1_wdr              : 1 ;   /* [14] */
        td_u64  bit1_dehaze           : 1 ;   /* [15] */
        td_u64  bit1_lcac             : 1 ;   /* [16] */
        td_u64  bit1_acs              : 1 ;   /* [17] */
        td_u64  bit1_rgbir            : 1 ;   /* [18] */
        td_u64  bit1_bshp             : 1 ;   /* [19] */
        td_u64  bit1_acac             : 1 ;   /* [20] */
        td_u64  bit1_crb              : 1 ;   /* [21] */
        td_u64  bit42_reserved        : 42;   /* [22:63] */
    };
} ot_isp_cmos_alg_key;

【成员】

成员名称	描述
bit1_drc	drc模块是否采用cmos默认配置的标志位。
bit1_demosaic	demosaic模块是否采用cmos默认配置的标志位。
bit1_pregamma	pregamma模块是否采用cmos默认配置的标志位。
bit1_gamma	gamma模块是否采用cmos默认配置的标志位。
bit1_sharpen	sharpen模块是否采用cmos默认配置的标志位。
bit1_ldci	ldci模块是否采用cmos默认配置的标志位。
bit1_dpc	dpc模块是否采用cmos默认配置的标志位。
bit1_lsc	lsc模块是否采用cmos默认配置的标志位。
bit1_ge	ge模块是否采用cmos默认配置的标志位。
bit1_anti_false_color	anti false color模块是否采用cmos默认配置的标志位。
bit1_bayer_nr	bayer nr模块是否采用cmos默认配置的标志位。
bit1_ca	ca模块是否采用cmos默认配置的标志位。
bit1_expander	expander模块是否采用cmos默认配置的标志位。仅sensor built-in模式有效。
bit1_clut	clut模块是否采用cmos默认配置的标志位。
bit1_wdr	wdr模块是否采用cmos默认配置的标志位。
bit1_dehaze	dehaze模块是否采用cmos默认配置的标志位。
bit1_lcac	Local cac模块是否采用cmos默认配置的标志位。
bit1_acs	acs模块是否采用cmos默认配置的标志位。
bit1_rgbir	RGBIR 模块是否采用cmos默认配置标志位。仅线性模式有效。
bit1_bshp	Bayer sharpen模块是否采用cmos默认配置标志位。
bit1_acac	acac模块是否采用cmos默认配置的标志位。
bit1_crb	crb模块是否采用cmos默认配置的标志位。仅WDR模式有效。

【注意事项】

如果ISP的某个算法模块要使用cmos中的配置，要将对应的标志位置为1，否则采用的是算法内部的默认配置。

【相关数据类型及接口】

ot_isp_cmos_default¶

【说明】

定义ISP基础算法库的初始化参数结构体。

【定义】

SS928V100定义：

typedef struct {
    ot_isp_cmos_alg_key                key;
    const ot_isp_drc_attr              *drc;
    const ot_isp_demosaic_attr         *demosaic;
    const ot_isp_pregamma_attr         *pregamma;
    const ot_isp_gamma_attr            *gamma;
    const ot_isp_sharpen_attr          *sharpen;
    const ot_isp_ldci_attr             *ldci;
    const ot_isp_dp_dynamic_auto_attr  *dpc;
    const ot_isp_cmos_lsc              *lsc;
    const ot_isp_cr_attr               *ge;
    const ot_isp_anti_false_color_attr *anti_false_color;
    const ot_isp_nr_attr               *bayer_nr;
    const ot_isp_ca_attr               *ca;
    const ot_isp_expander_attr         *expander;
    const ot_isp_cmos_clut             *clut;
    const ot_isp_wdr_fs_attr           *wdr;
    const ot_isp_dehaze_attr           *dehaze;
    const ot_isp_local_cac_attr        *lcac;
    const ot_isp_acac_attr             *acac;
    const ot_isp_bayershp_attr         *bshp;
    const ot_isp_cmos_acs              *acs;
    const ot_isp_rgbir_attr            *rgbir;
    const ot_isp_crb_attr              *crb;
    ot_isp_noise_calibration     noise_calibration;
    ot_isp_cmos_sensor_max_resolution sensor_max_resolution;
    ot_isp_cmos_sensor_mode          sensor_mode;
    ot_isp_cmos_dng_color_param       dng_color_param;
    ot_isp_cmos_wdr_switch_attr       wdr_switch_attr;
} ot_isp_cmos_default;

【成员】

成员名称	描述
key	标识各算法是否采用cmos中默认配置的key。
*drc	DRC结构体指针。
*demosaic	Demosaic结构体指针。
*pregamma	PreGamma结构体指针。
*gamma	Gamma结构体指针。
*sharpen	Sharpen结构体指针。
*ldci	LDCI结构体指针。
*dpc	DPC结构体指针。
*lsc	LSC结构体指针。
*ge	GE模块结构体指针。
*anti_false_color	AntiFalse结构体指针。
*bayer_nr	BayerNR结构体指针。
*ca	CA模块结构体指针。
*expander	Expander结构体指针。仅sensor built-in模式有效。
*clut	Clut结构体指针。
*wdr	WDR模式结构体指针。
*dehaze	Dehaze结构体指针。
*lcac	Local cac结构体指针。
*acac	acac结构体指针。
*bshp	Bayer sharpen结构体指针。
*acs	ACS结构体指针。
*rgbir	RGBIR模式结构体指针。仅线性模式有效。
*crb	CRB结构体指针。仅WDR模式有效。
noise_calibration	Noise校正结构体。
sensor_max_resolution	Sensor最大宽高结构体。
sensor_mode	Sensor模式结构体。
dng_color_param	DNG结构体。
wdr_switch_attr	WDR切换属性。

【注意事项】

sensor_max_resolution、sensor_mode、dng_color_param的默认值在cmos.c中，其他ISP基础算法的默认值均在cmos_ex.h中，如果用户需要修改默认值，请修改相应参数，如果用户需要对接新的sensor，请参考已经提供的其他sensor的默认值。
ISP的各算法模块如果要采用cmos的默认配置，要在cmos_get_isp_default函数中将对应的标志位置1，并给该算法模块的cmos结构体指针赋值。如果cmos默认值配置的不合法，会导致算法初始化失败，同时run起来之后算法不能正常调节（调用算法的MPI接口会返回错误码0xa01c8047，同时logmpp中会有算法初始化失败的提示）。

【相关数据类型及接口】

ot_isp_black_level_auto_attr¶

【说明】

定义黑电平auto模式结构体。

【定义】

typedef struct {
    td_bool update;
    td_u16  black_level[OT_ISP_WDR_MAX_FRAME_NUM][OT_ISP_BAYER_CHN_NUM];
} ot_isp_black_level_auto_attr;

【成员】

成员名称

描述

update

Sensor的黑电平是否会动态根据增益改变，取值范围：[0,1]。若设置为TD_TRUE，ISP内部始终使用cmos.c内联动的黑电平配置；此时若需要手动改变ISP的黑电平，则设置ss_mpi_isp_set_black_level_attr为手动模式。

black_level

Sensor的黑电平数组，取值范围：[0, 0x3FFF]

black_level为14bit raw数据的黑电平。

【注意事项】

如果sensor的黑电平不会动态根据增益改变，update配置为TD_FALSE即可。

【相关数据类型及接口】

ot_isp_sensor_total_size_attr¶

【说明】

定义sensor写出数据的实际宽高。

【定义】

typedef struct {
    ot_size    ob_sensor_size;
} ot_isp_sensor_total_size_attr;

【成员】

成员名称

描述

ob_sensor_size

sensor写出数据的实际宽高。

若sensor写出的数据中包含ob区，ob_sensor_size应为包含ob区的宽高。

【注意事项】

若sensor写出的数据中包含ob区，为保证dynamic blc功能的正常，mipi的输出宽高要与ob_sensor_size一致。

【相关数据类型及接口】

ot_isp_cmos_black_level

ot_isp_cmos_black_level¶

【说明】

定义sensor的黑电平结构体。

【定义】

typedef struct {
    td_bool  user_black_level_en;
    td_u16   user_black_level[OT_ISP_WDR_MAX_FRAME_NUM][OT_ISP_BAYER_CHN_NUM];
    ot_isp_black_level_mode         black_level_mode;
    ot_isp_black_level_manual_attr  manual_attr;
    ot_isp_black_level_dynamic_attr dynamic_attr;
    ot_isp_black_level_auto_attr    auto_attr;
    ot_isp_sensor_total_size_attr   sensor_with_ob_attr;
} ot_isp_cmos_black_level;

【成员】

成员名称	描述
user_black_level_en	自定义黑电平的使能。
user_black_level	自定义的黑电平值。
black_level_mode	黑电平的模式选择。
manual_attr	手动模式下黑电平配置属性。
dynamic_attr	Dynamic模式下黑电平配置属性。
auto_attr	Auto模式下黑电平配置属性。
sensor_with_ob_attr	带ob区的sensor输出宽高，用于指导DynamicBlc修改ob区统计范围。

【注意事项】

如果black_level_mode配置为OT_ISP_BLACK_LEVEL_MODE_AUTO模式：若cmos.c里面的ot_isp_black_level_auto_attr结构体成员update设置为TD_TRUE，则表示始终使用cmos.c内联动的黑电平配置，而update设置为TD_FALSE，则表示使用cmos.c非联动的黑电平配置；
如果black_level_mode配置为OT_ISP_BLACK_LEVEL_MODE_MANUAL模式：此时cmos_ex.h文件中配置的手动黑电平配置会生效；
如果black_level_mode配置为OT_ISP_BLACK_LEVEL_MODE_DYNAMIC，则采用dynamic blc算法统计OB区得到的黑电平配置值。
如果使用虚拟pipe，即vi_pipe>=4时，不支持将black_level_mode配置为OT_ISP_BLACK_LEVEL_MODE_DYNAMIC。Sensor built-in模式下不支持将black_level_mode配置为OT_ISP_BLACK_LEVEL_MODE_DYNAMIC。
如果使能user_black_level_en，ISP的所有模块所使用的黑电平均为user_black_level。
如果使用虚拟pipe，即vi_pipe>=4时，不支持使能user_black_level_en；Sensor built-in模式下不支持使能user_black_level_en。

【相关数据类型及接口】

ot_isp_sns_regs_info¶

【说明】

定义sensor的寄存器信息。

【定义】

typedef struct {
    ot_isp_sns_type sns_type;
    td_u32  reg_num;
    td_u8   cfg2_valid_delay_max;
    td_u32  exp_distance[OT_ISP_WDR_MAX_FRAME_NUM - 1];
    ot_isp_sns_commbus  com_bus;
    union {
        ot_isp_i2c_data i2c_data[OT_ISP_MAX_SNS_REGS];
        ot_isp_ssp_data ssp_data[OT_ISP_MAX_SNS_REGS];
    };
    struct {
        td_bool update;
        td_u8   delay_frame_num;
        td_u32  slave_vs_time;
        td_u32  slave_bind_dev;
    } slv_sync;
    td_bool config;
} ot_isp_sns_regs_info;

【成员】

成员名称	子成员名称	描述
sns_type	OT_ISP_SNS_I2C_TYPE	Sensor与ISP使用I2C接口通信。
sns_type	OT_ISP_SNS_SSP_TYPE	Sensor与ISP使用SSP接口通信。
reg_num	-	曝光结果写到sensor时需要配置的寄存器个数，不支持动态修改。
cfg2_valid_delay_max	-	所有Sensor寄存器从配置到生效延迟的帧数的最大值，单位为帧，用于保证sensor寄存器和ISP寄存器的同步。一般情况下，cmos sensor的曝光时间寄存器的延迟最大，为1~2帧，因此配置一般为1或2。
exp_distance	-	Sensor在wdr模式下曝光长帧与中帧的行差，中帧与短帧的行差，短帧与短短帧的行差。
com_bus	i2c_dev	Sensor绑定的I2C设备号
	ssp_dev	Sensor绑定SPI设备号结构体
		bit4_ssp_dev	Sensor绑定的SPI设备号
		bit4_ssp_cs	Sensor绑定的SPI片选信号
i2c_data	update	TD_TRUE：数据会配置sensor寄存器； TD_FALSE：数据不会配置sensor寄存器。
	delay_frame_num	Sensor寄存器延迟配置的帧数。此变量的目的是保证曝光时间和增益同时生效。
	interrupt_pos	Sensor寄存器的配置生效的位置。设置为0x0时表示寄存器在超短帧起始中断配置生效，设置为0x1时表示寄存器在超短帧结束中断配置生效。设置为0x10时表示寄存器在短帧起始中断配置生效，设置为0x11时表示寄存器在短帧结束中断配置生效。设置为0x20时表示寄存器在中帧起始中断配置生效，设置为0x21时表示寄存器在中帧结束中断配置生效。设置为0x30时表示寄存器在长帧起始中断配置生效，设置为0x31时表示寄存器在长帧结束中断配置生效。
	dev_addr	Sensor设备地址。
	reg_addr	Sensor寄存器地址。
	addr_byte_num	Sensor寄存器地址位宽。
	data	Sensor寄存器数据。
	data_byte_num	Sensor寄存器数据位宽。
ssp_data	update	TD_TRUE：数据会配置sensor寄存器；TD_FALSE：数据不会配置sensor寄存器。
	delay_frame_num	sensor寄存器延迟配置的帧数。此变量的目的是保证曝光时间和增益同时生效。
	interrupt_pos	Sensor寄存器的配置生效的位置。设置为0x0时表示寄存器在帧起始中断配置生效，设置为1时表示寄存器在AF中断配置生效。设置为0x10时表示寄存器在短帧起始中断配置生效，设置为0x11时表示寄存器在短帧结束中断配置生效。设置为0x20时表示寄存器在中帧起始中断配置生效，设置为0x21时表示寄存器在中帧结束中断配置生效。设置为0x30时表示寄存器在长帧起始中断配置生效，设置为0x31时表示寄存器在长帧结束中断配置生效。
	dev_addr	Sensor设备地址。
	dev_addr_byte_num	Sensor设备地址位宽。
	reg_addr	Sensor寄存器地址。
	reg_addr_byte_num	Sensor寄存器地址位宽。
	data	Sensor寄存器数据。
	data_byte_num	Sensor寄存器数据位宽。
slv_sync	update	TD_TRUE：数据会配置sensor寄存器； TD_FALSE：数据不会配置sensor寄存器。
	delay_frame_num	sensor寄存器延迟配置的帧数。此变量的目的是保证曝光时间和增益同时生效。
	slave_vs_time	XVS信号周期，单位：sensor输入时钟周期。
	slave_bind_dev	Slave设备号与vi_pipe绑定关系。
config	--	Sensor寄存器数据配置完成标志。 TD_TRUE：完成配置。 TD_FALSE：还未配置。

【注意事项】

无

【相关数据类型及接口】

ot_isp_3a_alg_lib¶

【说明】

定义AE/AWB算法库结构体。

【定义】

typedef struct {
    td_s32  id;
    ot_char lib_name[ALG_LIB_NAME_SIZE_MAX];
} ot_isp_3a_alg_lib;

【成员】

成员名称	描述
id	算法库实例的Id。
lib_name	标识算法库名称的字符数组。

【注意事项】

库的名字lib_name，用以区分不同的算法库；库的id，用以支持运行同一个算法库的多个实例。

【相关数据类型及接口】

无

ot_isp_bind_attr¶

【说明】

定义ISP库与Sensor、3A库之间绑定关系的结构体。

【定义】

typedef struct {
    ot_sensor_id       sensor_id;
    ot_isp_3a_alg_lib  ae_lib;
    ot_isp_3a_alg_lib  af_lib;
    ot_isp_3a_alg_lib  awb_lib;
} ot_isp_bind_attr;

【成员】

成员名称	描述
sensor_id	Sensor的Id。
ae_lib	AE库结构体。
af_lib	AF库结构体。
awb_lib	AWB库结构体。

【注意事项】

无

【相关数据类型及接口】

无

ot_isp_ctrl_proc_write¶

【说明】

定义ISP的PROC信息。

【定义】

typedef struct {
    ot_char *proc_buff;
    td_u32   buff_len;
    td_u32   write_len;
} ot_isp_ctrl_proc_write;

【成员】

成员名称	描述
proc_buff	ISP传给当前算法的Proc信息Buffer指针。
buff_len	ISP传给当前算法的Proc信息Buffer当前剩余字节数。Buffer总大小为8K字节。
write_len	当前算法传给ISP的Proc信息字节数。

【注意事项】

用户使用自己的3A算法，并需要支持3A算法的proc信息功能时，才需要关注此接口。

【相关数据类型及接口】

无

ot_isp_ctrl_cmd¶

【说明】

定义ISP对3A的控制命令。

【定义】

typedef enum {
    OT_ISP_WDR_MODE_SET = 8000,
    OT_ISP_PROC_WRITE,
    OT_ISP_AE_FPS_BASE_SET,
    OT_ISP_AE_BLC_SET,
    OT_ISP_AE_RC_SET,
    OT_ISP_AE_BAYER_FORMAT_SET,
    OT_ISP_AE_INIT_INFO_GET,
    OT_ISP_AWB_ISO_SET,
    OT_ISP_CHANGE_IMAGE_MODE_SET,
    OT_ISP_UPDATE_INFO_GET,
    OT_ISP_FRAMEINFO_GET,
    OT_ISP_ATTACHINFO_GET,
    OT_ISP_COLORGAMUTINFO_GET,
    OT_ISP_AWB_INTTIME_SET,
    OT_ISP_BAS_MODE_SET,
    OT_ISP_PROTRIGGER_SET,
    OT_ISP_AWB_PIRIS_SET,
    OT_ISP_AWB_SNAP_MODE_SET,
    OT_ISP_AWB_ZONE_ROW_SET,
    OT_ISP_AWB_ZONE_COL_SET,
    OT_ISP_AWB_ZONE_BIN_SET,
    OT_ISP_AWB_ERR_GET,
    OT_ISP_CTRL_CMD_BUTT,
} ot_isp_ctrl_cmd;

【成员】

成员名称	描述
OT_ISP_WDR_MODE_SET	设置WDR 模式，将ISP控制单元的WDR模式配置到算法模块，此命令对应的参数数据类型是ot_wdr_mode。
OT_ISP_PROC_WRITE	设置写PROC信息，将算法模块的PROC信息配置到ISP控制单元，此命令对应的参数数据类型是ot_isp_ctrl_proc_write。
OT_ISP_AE_FPS_BASE_SET	设置帧率，将ISP控制单元的帧率信息配置到AE算法模块，此命令对应的参数与ot_isp_pub_attr里面的frame_rate一样。
OT_ISP_AE_BLC_SET	设置黑电平，将黑电平信息配置到AE算法模块。
OT_ISP_AE_RC_SET	设置RC模块使能，将Radial Crop模块是否使能信息传入AE算法模块。
OT_ISP_AE_BAYER_FORMAT_SET	设置Bayer图像数据格式，将Bayer图像数据格式信息传入AE算法模块。
OT_ISP_AWB_ISO_SET	设置ISO值，将AE当前的ISO值配置到AWB模块，用于自动调整饱和度，此命令对应的参数与ot_isp_ae_result里面的iso一样。
OT_ISP_CHANGE_IMAGE_MODE_SET	设置图像分辨率切换标识，将ISP控制单元的图像分辨率标识配置到算法模块，此命令对应的参数数据类型为td_u8，参数值为0表示图像分辨率未切换，其他值表示图像分辨率已切换。
OT_ISP_UPDATE_INFO_GET	AE，AWB状态信息更新，将算法获取运行过程中的状态信息，包括AE，AWB的状态信息。
OT_ISP_FRAMEINFO_GET	获取ISP帧信息，包括ISO、去噪强度，与编码模块配合使用。
OT_ISP_ATTACOTNFO_GET	获取ISP帧额外信息，包括ISO、各个模块的算法参数等。
OT_ISP_COLORGAMUTINFO_GET	获取通道色域属性。
OT_ISP_AWB_INTTIME_SET	设置曝光量值，将AE当前的曝光量值配置到AWB模块，用于室内外检测，此命令对应的参数与ot_isp_ae_result里面的int_time一样。
OT_ISP_BAS_MODE_SET	设置BAS模式。
OT_ISP_PROTRIGGER_SET	专业拍照触发信号设置，当用户触发一次专业拍照时，ISP将此信号设置给AE，AE启动专业曝光控制。注：该版本不支持。
OT_ISP_AWB_PIRIS_SET	设置piris运行的增益信息，用于获取当前piris实际的状态信息。
OT_ISP_AWB_SNAP_MODE_SET	设置是否为抓拍模式，将ISP当前是否为抓拍模式的信息配置到AWB模块。
OT_ISP_AWB_ZONE_ROW_SET	设置AWB分块统计信息的行数。拼接、Crop等处理导致AWB统计信息的行数不固定，需要将行数配置到AWB模块。
OT_ISP_AWB_ZONE_COL_SET	设置AWB分块统计信息的列数。拼接、Crop等处理导致AWB统计信息的列数不固定，需要将列数配置到AWB模块。
OT_ISP_AWB_ZONE_BIN_SET	设置AWB分块统计信息的亮度分组数。

【注意事项】

无

【相关数据类型及接口】

无

ot_isp_stitch_attr¶

【说明】

定义ISP拼接结构体。

【定义】

typedef struct {
    td_bool stitch_enable;
    td_bool main_pipe;
    td_u8   stitch_pipe_num;
    td_s8   stitch_bind_id[OT_VI_MAX_PIPE_NUM];
} ot_isp_stitch_attr;

【成员】

成员名称	描述
stitch_enable	拼接使能
main_pipe	是否为主Pipe
stitch_pipe_num	拼接总路数
stitch_bind_id	拼接绑定的pipe的号 OT_VI_MAX_PIPE_NUM详情请见《MPP 媒体处理软件 V5.0 开发参考》“视频输入”章节。

【注意事项】

无。

【相关数据类型及接口】

无。

ot_isp_ae_register¶

【说明】

定义AE注册结构体。

【定义】

typedef struct {
    ot_isp_ae_exp_func ae_exp_func;
} ot_isp_ae_register;

【成员】

成员名称	描述
ae_exp_func	AE注册的回调函数结构体。

【注意事项】

封装的目的是为了扩展。

【相关数据类型及接口】

无

ot_isp_ae_exp_func¶

【说明】

定义AE回调函数结构体。

【定义】

typedef struct {
    td_s32 (*pfn_ae_init)(td_s32 handle, const ot_isp_ae_param *ae_param);
    td_s32 (*pfn_ae_run)(td_s32 handle,
                         const ot_isp_ae_info *ae_info,
                         ot_isp_ae_result *ae_result,
                         td_s32 reserved);
    td_s32 (*pfn_ae_ctrl)(td_s32 handle, td_u32 cmd, ot_void *value);
    td_s32 (*pfn_ae_exit)(td_s32 handle);
} ot_isp_ae_exp_func;

【成员】

成员名称	描述
pfn_ae_init	初始化AE的回调函数指针。
pfn_ae_run	运行AE的回调函数指针。
pfn_ae_ctrl	控制AE内部状态的回调函数指针。
pfn_ae_exit	销毁AE的回调函数指针。

【注意事项】

调用ss_mpi_isp_init时将调用pfn_ae_init回调函数，以初始化AE算法库。
调用ss_mpi_isp_run时将调用pfn_ae_run回调函数，以运行AE算法库，计算得到sensor的曝光时间和增益、ISP的数字增益。
设计思路中，算法库实现ctrl接口用以改变内部运行状态，ctrl接口提供一个参数传输命令，提供一个VOID类型的指针传输数据。ctrl接口一方面以回调函数指针的形式注册给ISP库，ISP控制单元隐式调用一些命令控制算法库内部运行状态，另一方面，以算法库的用户接口的形式，从而用户可以改变算法库内部运行状态。示例：
```
td_s32 ae_ctrl_cmd(td_s32 handle, td_u32 cmd, ot_void *value)
{
    ae_check_pointer_return(value); 
    switch (cmd) {
        case OT_ISP_WDR_MODE_SET:
            ……
            break;
        …… 
    }
    return TD_SUCCESS;
}
```
运行时ISP控制单元会隐式调用pfn_ae_ctrl回调函数，通知AE算法库切换WDR和线性模式、设置FPS、通知配置sensor。

当前Firmware定义的ctrl命令详参ot_isp_ctrl_cmd。
调用ss_mpi_isp_exit时将调用pfn_ae_exit回调函数，以销毁AE算法库。

一个算法库支持初始化和运行多个实例，参数handle以区分不同的算法库实例。如果需要支持多个实例，可以用不同的alg_lib. id注册多次算法库。例如：

ot_isp_3a_alg_lib ae_lib;
ae_lib.id = 0;
ot_vi_pipe vi_pipe = 0;
strncpy(ae_lib.lib_name, OT_AE_LIB_NAME, sizeof(OT_AE_LIB_NAME)); 
ss_mpi_ae_register(vi_pipe,&ae_lib);
ae_lib.id = 1;
ss_mpi_ae_register(vi_pipe,&ae_lib);

【相关数据类型及接口】

ot_isp_ae_register

ot_isp_ae_param¶

【说明】

定义ISP提供给AE的初始化参数结构体。

【定义】

typedef struct {
    ot_sensor_id sensor_id;
    td_u8  wdr_mode;
    td_u8  hdr_mode;
    td_u16 black_level;
    ot_float fps;
    ot_isp_bayer_format bayer;
    ot_isp_stitch_attr stitch_attr;
    td_s32 reserved;
} ot_isp_ae_param;

【成员】

成员名称	描述
sensor_id	向ISP注册的sensor的id，用以检查向ISP注册的sensor和向AE注册的sensor是否一致。
wdr_mode	宽动态模式，ISP向AE提供宽动态模式信息。
hdr_mode	HDR模式，ISP向AE提供HDR模式信息。不支持。
black_level	黑电平值，12bit精度，ISP向AE提供黑电平信息。
fps	帧率，ISP向AE提供帧率信息。
bayer	Sensor Bayer Pattern，包括RGGB、GRBG、GBRG、BGGR四种格式。
stitch_attr	拼接模式，ISP向AE提供拼接模式信息。

【注意事项】

无

【相关数据类型及接口】

ot_isp_ae_exp_func

ot_isp_people_roi¶

【说明】

定义ISP提供给AE的人形、人脸统计信息结构体。

【定义】

typedef struct {
    td_bool  enable;
    td_bool  available;
    td_u8    luma ;
} ot_isp_people_roi;

【成员】

成员名称	描述
enable	模型是否使能。
available	模型是否有可用的检测结果。
luma	模型检测结果的整体亮度。取值范围：[0x0, 0xFF]

【注意事项】

当仅由人形模型可用时，会根据人形检测结果估算出一个人脸亮度，此亮度可靠性会低于人脸检测结果。
luma采用的是YUV图像中检测到的人脸或人形框内Y分量的亮度平均值。客户在使用自己的智能信息时，当存在多个人脸或人形检测结果，建议取多个检测结果的整体亮度平均值。

【相关数据类型及接口】

ot_isp_tunnel_roi¶

【说明】

定义ISP提供给AE的隧道统计信息结构体。

【定义】

typedef struct {
    td_bool  enable;
    td_bool  available;
    td_u32   tunnel_area_ratio;
    td_u32   tunnel_exp_perf;
} ot_isp_tunnel_roi;

【成员】

成员名称	描述
enable	模型是否使能。
available	模型是否有可用的检测结果。
tunnel_area_ratio	模型检测结果占画面的面积比例。取值范围：[0, 10000]
tunnel_exp_perf	模型检测结果的曝光表现。取值范围：[0, 10000]

【注意事项】

tunnel_exp_perf当前仅隧道出口使用，采用的是YUV图像中检测到的隧道出口框内过曝区域占整个检测框的比例。
向AE传递隧道检测结果信息，可实现行车使用场景中出入隧道时的极限收光。此功能仅支持在WDR模式下使用，同时需要设置曝光比为自动模式。在线性模式下不建议使用，否则效果不保证。

【相关数据类型及接口】

ot_isp_face_roi¶

【说明】

定义ISP提供给AE的人脸快速收敛算法的结构体。

【定义】

typedef struct {
    td_bool  enable;
    td_bool  available;
    td_u64   frame_pts;
    ot_rect face_rect[OT_ISP_FACE_NUM];
} ot_isp_face_roi;

【成员】

成员名称	描述
enable	是否使能人脸快速收敛算法。
available	是否检测到人脸。
frame_pts	检测到人脸时对应帧的时间戳。
face_rect	人脸的坐标信息数组，最多支持5个人脸坐标，具体坐标信息参考ot_rect描述。

【注意事项】

ot_isp_face_roi支持人脸模型检测坐标的传入，face_rect中的宽度和高度不要求4对齐。AE算法通过人脸坐标以及对应帧的pts进行快速收敛。需要enable和ot_isp_fast_face_ae_attr中的enable同时使能算法才能生效。
当前最多支持传入5个人脸信息，当人脸数量不足5个时，需要将face_rect数组中其他坐标设置为0。
人脸快速收敛算法仅支持在近距离使用，要求人脸在图像中占比较大。如果人脸占比较小，可能画面导致闪烁。建议传入的人脸坐标占画面的面积以上。

【相关数据类型及接口】

ot_isp_people_type¶

【说明】

定义ISP提供给AE的人形、人脸统计信息枚举类型。

【定义】

typedef enum {
    OT_ISP_FACE_INDEX = 0,
    OT_ISP_PEOPLE_INDEX = 1,
    OT_ISP_PEOPLE_BUTT
} ot_isp_people_type;

【成员】

成员名称	描述
OT_ISP_FACE_INDEX	人脸类型。
OT_ISP_PEOPLE_INDEX	人形类型。

【注意事项】

无

【相关数据类型及接口】

ot_isp_tunnel_type¶

【说明】

定义ISP提供给AE的隧道统计信息枚举类型。

【定义】

typedef enum {
    OT_ISP_TUNNEL_IN_INDEX = 0,
    OT_ISP_TUNNEL_OUT_INDEX = 1,
    OT_ISP_TUNNEL_BUTT
} ot_isp_tunnel_type;

【成员】

成员名称	描述
OT_ISP_TUNNEL_IN_INDEX	隧道入口类型。
OT_ISP_TUNNEL_OUT_INDEX	隧道出口类型。

【注意事项】

无

【相关数据类型及接口】

ot_isp_smart_info¶

【说明】

定义ISP提供给AE的智能信息结构体。

【定义】

typedef struct {
    ot_isp_people_roi  people_roi[OT_ISP_PEOPLE_CLASS_MAX];
    ot_isp_tunnel_roi  tunnel_roi[OT_ISP_TUNNEL_CLASS_MAX];
    ot_isp_face_roi    face_roi;
} ot_isp_smart_info;

【成员】

成员名称	描述
people_roi	人形人脸的模型检测结果。
tunnel_roi	隧道出入口的模型检测结果。
face_roi	人脸的坐标信息，以及对应pts信息。

【注意事项】

people_roi仅支持人脸模型与人形模型检测结果，people_roi下标为0时为人脸检测结果，下标为1时为人形检测结果。
tunnel_roi当前支持隧道入口、出口模型检测结果，tunnel_roi下标为0时为隧道入口检测结果，下标为1时为隧道出口检测结果。

【相关数据类型及接口】

ot_isp_fe_ae_stat_1¶

【说明】

定义ISP FE中AE统计属性。

【定义】

typedef struct {
    td_u32 pixel_count[OT_ISP_WDR_MAX_FRAME_NUM];
    td_u32 pixel_weight[OT_ISP_WDR_MAX_FRAME_NUM];
    td_u32 histogram_mem_array[OT_ISP_WDR_MAX_FRAME_NUM][OT_ISP_HIST_NUM];
    td_u32 histogram_mem_array_ir[OT_ISP_HIST_NUM]; /* only support fe0 */ 
}ot_isp_fe_ae_stat_1;

【成员】

无

【注意事项】

无，详情请见ot_isp_ae_info。

【相关数据类型及接口】

无

ot_isp_be_ae_stat_1¶

【说明】

定义ISP BE中AE统计属性。

【定义】

typedef struct {
    td_u32 pixel_count;
    td_u32 pixel_weight;
    td_u32 histogram_mem_array[OT_ISP_HIST_NUM];
    td_u32 estimate_histogram_mem_array[OT_ISP_HIST_NUM];
} ot_isp_be_ae_stat_1;

【成员】

无

【注意事项】

无，详情请见ot_isp_ae_info。

【相关数据类型及接口】

无

ot_isp_ae_info¶

【说明】

定义ISP提供给AE的统计信息结构体。

【定义】

typedef struct {
    td_u32  frame_cnt;    /* the counting of frame */
    td_u64 frame_pts;
    td_u16 frame_width;
    td_u16 frame_height;
    ot_isp_smart_info smart_info;  /* not support */
    ot_isp_fe_ae_stat_1 *fe_ae_stat1;
    ot_isp_fe_ae_stat_2 *fe_ae_stat2;
    ot_isp_fe_ae_stat_3 *fe_ae_stat3;
    ot_isp_fe_ae_stitch_stat_3 *fe_ae_sti_stat;
    ot_isp_be_ae_stat_1 *be_ae_stat1;
    ot_isp_be_ae_stat_2 *be_ae_stat2;
    ot_isp_be_ae_stat_3 *be_ae_stat3;
    ot_isp_be_ae_stitch_stat_3 *be_ae_sti_stat;
} ot_isp_ae_info;

【成员】

成员名称	子成员名称	描述
frame_cnt	-	帧的累加计数，取值范围：[0, 0xFFFFFFFF]
frame_pts	-	当前raw的时间戳
frame_width	-	画面宽度
frame_height	-	画面高度
smart_info	-	请参考ot_isp_smart_info接口说明。
fe_ae_stat1	pixel_count	统计的像素点总个数。
	pixel_weight	带权重统计的像素点总个数。
	histogram_mem_array	1024段直方图的统计信息数组，取值范围：[0, 0xFFFFFFFF]
	histogram_mem_array_ir	仅FE0支持
fe_ae_stat2	global_avg_r	全局R分量平均值，取值范围：[0, 0xFFFF]
	global_avg_gr	全局Gr分量平均值，取值范围：[0, 0xFFFF]
	global_avg_gb	全局Gb分量平均值，取值范围：[0, 0xFFFF]
	global_avg_b	全局B分量平均值，取值范围：[0, 0xFFFF]
	global_avg_ir	仅FE0支持
fe_ae_stat3	zone_avg	分区间R、Gr、Gb、B分量平均值，取值范围：[0, 0xFFFF]
fe_ae_stat3	zone_avg_ir	仅FE0支持
fe_ae_sti_stat	zone_avg	拼接模式下拼接后分区间R、Gr、Gb、B分量平均值，取值范围：[0, 0xFFFF] 只有参与拼接的Pipe分区间均值有效，其余Pipe的均值无效。
be_ae_stat1	pixel_count	统计的像素点总个数。
	pixel_weight	带权重统计的像素点总个数。
	histogram_mem_array	1024段直方图的统计信息数组，取值范围：[0, 0xFFFFFFFF]
	estimate_histogram_mem_array	使用fe统计信息估算be统计信息，在be统计信息延迟较大且需要使用be统计信息的场景使用。
be_ae_stat2	global_avg_r	全局R分量平均值，取值范围：[0, 0xFFFF]
	global_avg_gr	全局Gr分量平均值，取值范围：[0, 0xFFFF]
	global_avg_gb	全局Gb分量平均值，取值范围：[0, 0xFFFF]
	global_avg_b	全局B分量平均值，取值范围：[0, 0xFFFF]
be_ae_stat3	zone_avg	分区间R、Gr、Gb、B分量平均值，取值范围：[0, 0xFFFF]
be_ae_sti_stat	zone_avg	拼接模式下拼接后分区间R、Gr、Gb、B分量平均值，取值范围：[0, 0xFFFF] 只有进行拼接对应Pipe的分区间均值有效，其余Pipe的均值无效。

【注意事项】

AE库可以根据frame_cnt控制运算频率，例如两帧运算一次。
fe_ae_stat1、be_ae_stat1分别表示位于FE及BE的全局1024段直方图统计信息。该统计信息是取输入数据流中的高10bit数据统计得到的，每个bin中数据表示该灰度值对应的像素个数。全局1024段直方图会受到分区间权重的影响，1024个bin的数据之和即为带权重参与统计的像素点个数。目前，AE算法默认只用了Gr通道的统计信息，在大面积红色时，会采用R和Gb通道的统计信息，在大面积蓝色时，会采用B和Gr通道的统计信息。
当MIPI、VI DEV的data_rate配置为DATA_RATE_X2时，fe_ae_stat1中的pixel_count、pixel_weight数目会减半。
fe_ae_stat2、be_ae_stat2分别表示位于FE及BE的全局R/Gr/Gb/B 4分量取高16bit统计得到的均值，取值范围：[0, 0xFFFF]。全局4分量平均值会受分区间权重影响。
fe_ae_stat3、be_ae_stat3分别表示位于FE及BE的15*17区间每个区间R/Gr/Gb/B 4分量取高16bit统计得到的均值，取值范围：[0, 0xFFFF]
AE统计模块可将输入数据开方后再进行统计。所谓数据开方，指的是对输入数据归一化至1后做开方处理。以1024段直方图统计为例，若输入数据为12bit，某个像素值为2048，若数据开方关闭，直接取高10bit数据进行统计，为灰度值512对应的bin像素个数加1；若数据开方使能，像素值2048归一化至1后为0.5，0.5开方为0.707，用10bit表示0.707为724，此时在直方图上表现为灰度值724对应的bin像素个数加1。由此可见，像素值较小的数据开方处理后像素值明显变大，相当于统计信息通过压缩亮区的统计精度来提升了暗区的统计精度。建议在WDR模式下数据开方使能，线性模式下数据开方关闭。在开方模式下，统计精度为11bit，低5bit值为0，因此16bit最大值为0xFFE0。此外，AE统计模块在ISP pipeline的位置可以变化，具体可参考“统计信息”章节部分相关描述。

表 1 统计信息ot_isp_ae_info的成员变量默认配置说明

成员名称	主要统计信息	默认位置	黑电平	权重表影响
fe_ae_stat1	WDR合成前1024段直方图	FE-WB之后	未减	是
fe_ae_stat2	WDR合成前全局均值	FE-WB之后	未减	是
fe_ae_stat3	WDR合成前分块均值	FE-WB之后	未减	否
be_ae_stat1	WDR合成后1024段直方图	BE-WB之后	已减	是
be_ae_stat2	WDR合成后全局均值	BE-WB之后	已减	是
be_ae_stat3	WDR合成后分块均值	BE-WB之后	已减	否

说明：

表中说明仅在ISP默认配置下生效，实际会受到黑电平配置及AE统计信息位置的影响。

WDR合成前（FE）统计信息为固定在WB模块之后，不可配置。使用FE统计信息时需要减去黑电平，直方图应减去10bit黑电平，均值应减去16bit黑电平。WDR合成前(FE)统计信息受到位于FE AE之前处理模块（在SS928V100中，FE AE之前的处理模块有DG/WB）增益影响，这些模块的FE增益值由算法内部保证与BE保持一致，无需单独配置。

在SS928V100中第0路FE统计信息会经过水平下采样，因此点数减半。

线性模式推荐使用WDR合成前(FE)1024段直方图。WDR模式推荐使用WDR合成前(FE)1024段直方图，或者使用WDR合成后(BE)开方模式的1024段直方图。离线模式下业务压力大时，WDR合成前(FE)实时性更好，因此离线模式下推荐使用FE统计信息。SDK提供的AE算法在如果采用的是BE统计信息，默认在线性模式下使用（BE）不开方模式的统计信息，在WDR模式下使用（BE）开方模式的统计信息。如果线性模式下使用（BE）开方模式的统计信息，或者WDR模式下使用（BE）不开方模式的统计信息，会导致SDK提供AE算法的出现异常。

【相关数据类型及接口】

ot_isp_ae_exp_func

ot_isp_ae_stat_attr¶

【说明】

定义AE库返回给ISP的配置寄存器结构体。

【定义】

typedef struct {
    td_bool change;
    td_bool hist_adjust;
    td_u8 ae_be_sel;
    td_u8 four_plane_mode;
    td_u8 hist_offset_x;
    td_u8 hist_offset_y;
    td_u8 hist_skip_x;
    td_u8 hist_skip_y;
    td_bool mode_update;
    td_u8 hist_mode;
    td_u8 aver_mode;
    td_u8 max_gain_mode;
    td_bool wight_table_update;
    td_u8 weight_table[OT_ISP_MAX_PIPE_NUM][OT_ISP_AE_ZONE_ROW][OT_ISP_AE_ZONE_COLUMN];
} ot_isp_ae_stat_attr;

【成员】

子成员名称	描述
change	该结构体中的值是否需要配置寄存器。
hist_adjust	AE算法直方图调整使能，影响ae_be_sel/four_plane_mode/hist_offset_x/ hist_offset_y/hist_skip_x/hist_skip_y六个参数的配置。 hist_adjust使能时，以上六个参数以ot_isp_ae_result中的值为准配置芯片寄存器； hist_adjust不使能时，以上六个参数以外部寄存器的值(MPI配置)为准配置芯片寄存器。
ae_be_sel	BE中AE统计模块在ISP pipeline的位置，默认值为1。FE中AE统计模块固定在WB之后，位置不可移动。 0：After ISP digital gain； 1：After static WB； 2：After DRC。
four_plane_mode	FourPlaneMode使能，默认值为0，使能时1024段直方图为BGGR四通道256段直方图。 0：不使能； 1：使能。
hist_skip_x	直方图统计时水平方向采样点设置，0=every pixel; 1=every 2nd pixel; 2=every 3rd pixel; 3=every 4th pixel; 4=every 5th pixel; 5=every 8th pixel; 6+=every 9th pixel。即取值为0时表示每1个像素采样一个进行统计；取值为1时表示每2个像素采样一个进行统计，以此类推。 0仅支持FourPlaneMode使能时配置。
hist_skip_y	直方图统计时垂直方向采样点设置，0=every pixel; 1=every 2nd pixel; 2=every 3rd pixel; 3=every 4th pixel; 4=every 5th pixel; 5=every 8th pixel; 6+=every 9th pixel。
hist_offset_x	直方图统计时水平方向起始点设置。 0表示从第一列开始统计； 1表示从第二列开始统计。
hist_offset_y	直方图统计时垂直方向起始点设置。 0表示从第一行开始统计； 1表示从第二行开始统计。
mode_update	AE算法开方模式配置使能，影响hist_mode/ aver_mode/ max_gain_mode三个参数的配置。 mode_update不为0时，以上三个参数以ot_isp_ae_result中的值为准配置逻辑寄存器； mode_update为0时，以上三个参数以外部寄存器的值(MPI配置)为准配置逻辑寄存器。
hist_mode	全局1024段直方图开方模式。 0为不开方； 1为开方。仅影响BE直方图统计信息。
aver_mode	均值开方模式。 0为不开方； 1为开方。仅影响BE均值统计信息。
max_gain_mode	MG模块开方模式。 0为不开方； 1为开方。仅影响MG模块统计信息。为了与AE分块统计信息进行比较，建议与aver_mode配置为同一模式。
wight_table_update	AE算法权重表配置使能，影响weight_table的配置。 wight_table_update不为0时，权重表以ot_isp_ae_result中的值为准配置芯片寄存器； wight_table_update为0时，权重表以外部寄存器的值(MPI配置)为准配置芯片寄存器。
weight_table	15x17个区间的AE权重表。取值范围：[0, 15]

【注意事项】

weight_table支持拼接模式下在主路配置多路权重，在主路对所有支路对应Pipe下标的权重表进行赋值即可。在非拼接模式下，只有对应Pipe下标的权重表生效。
SDK提供的AE算法只支持1024段直方图，在使用AE算法情况下使能four_plane_mode会导致AE算法异常。

【相关数据类型及接口】

ot_isp_ae_result

ot_isp_ae_result¶

【说明】

定义AE库返回给ISP的配置寄存器结构体。

【定义】

typedef struct {
    td_u32  int_time[4];
    td_u32  isp_dgain;
    td_u32  again;
    td_u32  dgain;
    td_u32  iso;
    td_u32  isp_dgain_sf;
    td_u32  again_sf;
    td_u32  dgain_sf;
    td_u32  iso_sf;
    td_u8   ae_run_interval;
    td_bool  piris_valid;
    td_s32  piris_pos;
    td_u32  piris_gain;
    td_u32  sns_lhcg_exp_ratio;
    ot_isp_fswdr_mode fswdr_mode;
    td_u32  wdr_gain[OT_ISP_WDR_MAX_FRAME_NUM];
    td_u32  hmax_times;
    td_u32  vmax;
    ot_isp_ae_stat_attr stat_attr;
    ot_isp_dcf_update_info update_info;
} ot_isp_ae_result;

【成员】

成员名称	描述
int_time	AE计算得出的曝光时间，以1/16 us为单位，将曝光时间由行数转换成us时需要考虑cmos.c中offset的影响。线性模式和sensor built-in WDR模式下，只有int_time[0]有效，int_time[1:3]建议配置等于int_time[0]；N帧合成WDR模式下，int_time[0:(N-1)]有效，配置值由小到大，依次表示最短到最长的曝光时间，用于计算长短帧曝光比，int_time[(N-1):3]建议配置等于int_time[(N-1)]。int_time[0]还需传递至其他模块用于与曝光时间相关的联动控制，会影响SDK提供的AWB效果。使用AWB算法和多帧WDR模式时必须配置该结构体。
isp_dgain	ISP的数字增益，8bit精度。使用ISP数字增益时必须配置；不使用时配置为0x100。
again	Sensor的模拟增益，10bit精度。使用多帧WDR算法时必须配置；不使用时配置为0x400。
dgain	Sensor的数字增益，10bit精度。使用多帧WDR算法时必须配置；不使用时配置为0x400。
iso	AE计算得出的总增益值，ISO表示系统增益，以常数100乘以倍数为单位,例如系统中sensor的增益为2倍，ISP的增益为1倍，那么整个系统的ISO值计算方式为：21100=200，即系统ISO为200，本文档中涉及到的ISO都是采用这种计算方法。此变量影响ISP的去噪，sharpen等自适应效果，必须配置。在2合1WDR模式下，ISO计算包含WDRGain。
isp_dgain_sf	短帧的ISP的数字增益，8bit精度。使用WDR算法时必须配置；不使用时配置为0x400。
again_sf	短帧的Sensor的模拟增益，10bit精度。使用WDR算法时必须配置；不使用时配置为0x400。
dgain_sf	短帧的Sensor的数字增益，10bit精度。使用WDR算法时必须配置；不使用时配置为0x400。
iso_sf	AE计算得出的短帧的总增益值。在2合1WDR模式下，ISO计算包含WDRGain。
ae_run_interval	AE算法运行的间隔。取值范围：[1, 255] 取值为1时表示每帧都运行AE算法；取值为2时表示每2帧运行1次AE算法，依此类推。建议该值设置不要大于2，否则AE调节速度会受到影响。WDR模式时，该值建议设置为1，这样AE收敛会更加平滑。此变量决定AE计算结果配置到sensor和ISP寄存器的间隔帧数，必须配置。
piris_valid	Piris是否有效的标志。取值为TD_TRUE时在内核态回调Piris驱动配置步进电机的位置。取值为TD_FALSE时不回调。使用AE算法和Piris驱动对接Piris镜头时，该值须置为TD_TRUE，对接非Piris镜头时该值须置为TD_FALSE。
piris_pos	Piris步进电机的位置，取值范围与具体Piris镜头相关。使用Piris驱动对接Piris镜头时，该值必须配置。
piris_gain	Piris光圈等效增益，取值范围与具体Piris镜头相关。可用于计算Piris工作时的等效曝光量，供其他模块参考。对接非Piris镜头时建议将该值配置为512。取值范围：[0, 1024]
sns_lhcg_exp_ratio	LCG+HCG模式的基础曝光比，仅Sensor支持LCG+HCG模式时生效，不使用时需将该值配置为64。
fswdr_mode	WDR合成模式。 0表示普通多帧合成WDR模式； 1表示长帧模式； 2表示自动长帧模式。
wdr_gain	WDR合成前多路的数字增益，8bit精度。使用WDR合成前多路数字ISP数字增益时必须配置；不使用时配置为0x100。
hmax_times	Sensor对应读出一行的时间，单位：ns。
vmax	Sensor每帧实际生效的总行数，单位：行。
stat_attr	AE库返回给ISP的配置寄存器结构体
update_info	用于传递AE相关DCF信息，仅曝光相关参数生效。

【注意事项】

ISP基本算法模块将会根据AE计算得出的总增益值调节配置参数，例如锐化、去噪等。
weight_table支持拼接模式下在主路配置多路权重，在主路对所有支路对应Pipe下标的权重表进行赋值即可。在非拼接模式下，只有对应Pipe下标的权重表生效。
将曝光时间int_time由行转换成us时，可以通过cmos.c中的lines_per500ms进行，转换关系如下：

int_time[0] =(((td_u64)int_time_rst[0] * 1024 - offset) * 500000 / ae_sns_dft->lines_per500ms) >> 10

上式中int_time_rst[0]是以行数为单位的曝光时间，offset=offset* 1024，offset即为曝光时间的偏移量，详见ot_isp_ae_accuracy的描述。
为了保证计算曝光比的精度，int_time中曝光时间精度为1/16us，计算曝光时间时需要保证在us的基础上左移四位，否则曝光比计算可能会有误差，其他模块获取的曝光时间也会偏小。
客户在使用非AE算法时，参数int_time、isp_dgain、again、dgain、iso、hmax_times、vmax必须配置，否则会影响其他模块的联动控制，其余参数则可根据需要选择性配置。

【相关数据类型及接口】

ot_isp_ae_exp_func

ot_isp_awb_register¶

【说明】

定义AWB注册结构体。

【定义】

typedef struct {
    ot_isp_awb_exp_func awb_exp_func;
} ot_isp_awb_register;

【成员】

成员名称	描述
awb_exp_func	AWB注册的回调函数结构体。

【注意事项】

封装的目的是为了扩展。

【相关数据类型及接口】

ot_isp_awb_exp_func¶

【说明】

定义AWB回调函数结构体。

【定义】

typedef struct {
    td_s32 (*pfn_awb_init)(td_s32 handle, const ot_isp_awb_param *awb_param, ot_isp_awb_result *awb_result);
    td_s32 (*pfn_awb_run)(td_s32 handle,
    const ot_isp_awb_info *awb_info,
    ot_isp_awb_result *awb_result,
    td_s32 reserved);
    td_s32 (*pfn_awb_ctrl)(td_s32 handle, td_u32 cmd, ot_void *value);
    td_s32 (*pfn_awb_exit)(td_s32 handle);
} ot_isp_awb_exp_func;

【成员】

成员名称	描述
pfn_awb_init	初始化AWB的回调函数指针。
pfn_awb_run	运行AWB的回调函数指针。
pfn_awb_ctrl	控制AWB内部状态的回调函数指针。
pfn_awb_exit	销毁AWB的回调函数指针。

【注意事项】

调用ss_mpi_isp_init时将调用pfn_awb_init回调函数，以初始化AWB算法库。
pfn_awb_init回调函数的ot_isp_awb_result参数返回ISP启动时的初始AWB增益和初始色彩校正矩阵。
调用ss_mpi_isp_run时将调用pfn_awb_run回调函数，以运行AWB算法库，计算得到白平衡增益、色彩校正矩阵。
运行时ISP控制单元会隐式调用pfn_awb_ctrl回调函数，通知AWB算法库切换WDR和线性模式、设置ISO和曝光时间（曝光时间单位是us）。设置ISO的目的是为了实现ISO与饱和度的联动，增益大时色度噪声也会比较大，所以需要调节饱和度。设置曝光时间是为了辅助室内外判断。

当前Firmware定义的ctrl命令详细描述参见ot_isp_ctrl_cmd。
调用ss_mpi_isp_exit时将调用pfn_awb_exit回调函数，以销毁AWB算法库。

【相关数据类型及接口】

ot_isp_awb_register

ot_isp_awb_param¶

【说明】

定义ISP提供给AWB的初始化参数结构体。

【定义】

typedef struct {
    ot_sensor_id sensor_id;
    td_u8 wdr_mode;
    td_u8 awb_zone_row;
    td_u8 awb_zone_col;
    td_u8 awb_zone_bin;
    ot_isp_stitch_attr stitch_attr;
    td_u16 awb_width;
    td_u16 awb_height;
    td_u32 init_iso;
    td_s8 reserved;
} ot_isp_awb_param;

【成员】

成员名称	描述
sensor_id	向ISP注册的sensor的id，用以检查向ISP注册的sensor和向AWB注册的sensor是否一致。
wdr_mode	宽动态模式，ISP向AWB提供宽动态模式信息。
awb_zone_row	AWB统计结果行数。
awb_zone_col	AWB统计结果列数。
awb_zone_bin	AWB统计结果亮度分组个数。
stitch_attr	拼接信息结构体
awb_width	Firmware传递给AWB算法库的图像宽度。
awb_height	Firmware传递给AWB算法库的图像高度。
init_iso	Firmware传递给AWB算法库的AE曝光ISO值。
reserved	保留参数。

【注意事项】

无

【相关数据类型及接口】

ot_isp_awb_stat_1¶

【说明】

定义AWB统计信息结构体。

【定义】

typedef struct {
    td_u16  metering_awb_avg_r;
    td_u16  metering_awb_avg_g;
    td_u16  metering_awb_avg_b;
    td_u16  metering_awb_count_all;
} ot_isp_awb_stat_1;

【成员】

成员名称	描述
metering_awb_avg_r	Bayer域全局统计信息中白点的R分量平均值。 R分量均值取值范围为[0, 0xFFFF]。
metering_awb_avg_g	Bayer域全局统计信息中白点的G分量平均值。 G分量均值取值范围为[0, 0xFFFF]。
metering_awb_avg_b	Bayer域全局统计信息中白点的B分量平均值。 B分量均值取值范围为[0, 0xFFFF]。
metering_awb_count_all	Bayer域全局统计信息中白点的个数。已做归一化。白点个数取值范围为[0, 0xFFFF]。

【注意事项】

无

【相关数据类型及接口】

ot_isp_awb_info

ot_isp_awb_stat_result¶

【说明】

定义AWB统计信息结构体。

【定义】

typedef struct {
    td_u16 *zone_avg_r;
    td_u16 *zone_avg_g;
    td_u16 *zone_avg_b;
    td_u16 *zone_count;
} ot_isp_awb_stat_result;

【成员】

成员名称	描述
*zone_avg_r	Bayer域分区间统计信息中白点的R分量平均值数组起始地址。 R分量均值取值范围为[0, 0xFFFF]。
*zone_avg_g	Bayer域分区间统计信息中白点的G分量平均值数组起始地址。 G分量均值取值范围为[0, 0xFFFF]。
*zone_avg_b	Bayer域分区间统计信息中白点的B分量平均值数组起始地址。 B分量均值取值范围为[0, 0xFFFF]。
*zone_count	Bayer域分区间统计信息中白点的个数数组起始地址。已做归一化。白点个数取值范围为[0, 0xFFFF]。

【注意事项】

无

【相关数据类型及接口】

ot_isp_awb_info

ot_isp_awb_info¶

【说明】

定义ISP提供给AWB的统计信息结构体。

【定义】

typedef struct {
    td_u32  frame_cnt;
    ot_isp_awb_stat_1 *awb_stat1;
    ot_isp_awb_stat_result awb_stat2;
    td_u8  awb_gain_switch;
    td_u8  awb_stat_switch;
    td_bool wb_gain_in_sensor;
    td_u32 wdr_wb_gain[OT_ISP_BAYER_CHN_NUM];
} ot_isp_awb_info;

【成员】

成员名称	描述
frame_cnt	帧的累加计数。取值范围：[0, 0xFFFFFFFF]
*awb_stat1	Awb统计信息1
awb_stat2	Awb统计信息2
awb_gain_switch	白平衡增益在ISP的位置。取值范围：[0,1] 0：白平衡增益配置在WDR合成前的DG1处。 1：白平衡增益配置在WB处。 SS928V100暂不支持白平衡增益配置在DG1处。
awb_stat_switch	白平衡统计模块在ISP的位置。取值范围：[0, 1, 2] 0：白平衡统计模块在DG后。 1：白平衡统计模块在EXPANDER后。 2：白平衡统计模块在DRC后。 SS928V100暂不支持配置白平衡统计模块在EXPANDER后。
wb_gain_in_sensor	白平衡增益是否在sensor配置。取值范围：[0, 1] 0：白平衡增益在ISP配置。 1：白平衡增益在sensor配置。 SS928V100暂不支持白平衡增益在sensor配置。
wdr_wb_gain[-]	在WDR合成前的DG1处配置的白平衡增益值。

【注意事项】

AWB库可以根据frame_cnt控制运算频率，例如两帧运算一次。
ot_isp_awb_info提供了全局统计信息和分块统计信息，不同模式下水平、垂直分块个数不固定，可通过ot_isp_awb_param的awb_zone_row、awb_zone_col两个参数获取。AWB分块个数 = awb_zone_row* awb_zone_col。
切换白平衡统计模块位置，会导致2帧统计信息错误，建议在启动时配置合理值，避免切换。如果必须进行位置切换，建议切换后，AWB算法冻结2帧以上，待统计信息正确后，再重新计算。
非拼接模式下，通过ss_mpi_isp_set_stats_cfg接口配置白平衡统计模块位置在DRC后，通过ss_mpi_isp_set_wb_attr接口关闭亮度对白平衡权重的影响，可以优化WDR模式下暗区偏红问题。拼接模式下不支持统计模块位置调整，建议固定统计模块位置在DG后。

【相关数据类型及接口】

ot_isp_awb_raw_stat_attr¶

【说明】

定义AWB Bayer域统计信息结构体。

【定义】

typedef struct {
    td_bool stat_cfg_update;
    td_u16  metering_white_level_awb;
    td_u16  metering_black_level_awb;
    td_u16  metering_cr_ref_max_awb;
    td_u16  metering_cb_ref_max_awb;
    td_u16  metering_cr_ref_min_awb;
    td_u16  metering_cb_ref_min_awb;
} ot_isp_awb_raw_stat_attr;

【成员】

成员名称	描述
stat_cfg_update	该结构体中的值是否需要配置寄存器。
metering_white_level_awb	Bayer域统计白点信息时，找白点的亮度上限。取值范围：[0x0, 0xFFFF]，默认值0xFFFF。
metering_black_level_awb	Bayer域统计白点信息时，找白点的亮度下限。取值范围：[0x0, metering_white_level_awb]，默认值0x0。
metering_cr_ref_max_awb	Bayer域统计白点信息时，色差R/G的最大值，8bit精度，取值范围：[0x0, 0xFFF]，默认值512。
metering_cb_ref_max_awb	Bayer域统计白点信息时，色差B/G的最大值，8bit精度，取值范围：[0x0, 0xFFF]，默认值512。
metering_cr_ref_min_awb	Bayer域统计白点信息时，色差R/G的最小值，8bit精度，取值范围：[0x0, metering_cr_ref_max_awb]，默认值128。
metering_cb_ref_min_awb	Bayer域统计白点信息时，色差B/G的最小值，8bit精度，取值范围：[0x0, metering_cb_ref_max_awb]，默认值128。

图 1 白色区域选择相关参数

【注意事项】

ot_isp_awb_raw_stat_attr结构体中的信息决定什么样的像素点被认为是白点，从而参与统计。用户开发新的AWB算法时可以使用默认值，也可以自定义配置，stat_cfg_update标识表明运行时当前帧是否需要配置stat_attr结构体中的值到寄存器。
只支持Bayer域统计信息。

【相关数据类型及接口】

无

ot_isp_awb_result¶

【说明】

定义AWB库返回给ISP的配置寄存器结构体。

【定义】

typedef struct {
    td_u32  white_balance_gain[OT_ISP_BAYER_CHN_NUM];
    td_u16  color_matrix[OT_ISP_CCM_MATRIX_SIZE];
    td_u32  color_temp;
    td_u8   saturation;
    ot_isp_awb_raw_stat_attr raw_stat_attr;
} ot_isp_awb_result;

【成员】

成员名称	描述
white_balance_gain[OT_ISP_BAYER_CHN_NUM]	白平衡算法得出的R、Gr、Gb、B颜色通道的增益，16bit精度表示。取值范围：[0x10000, 0xFFF00]
color_matrix[OT_ISP_CCM_MATRIX_SIZE]	色彩还原矩阵，8bit精度表示。
color_temp	AWB当前的色温。
saturation	当前的饱和度。
raw_stat_attr	定义AWB Bayer域统计信息结构体。

【注意事项】

AWB算法首先将会计算出R、Gr、Gb、B颜色通道的增益，以校正出白色，16bit精度表明最后16位为小数。
WDR模式，AWB统计结果和增益不需要做特别处理，和Linear模式一致。
AWB算法其次会计算一个3x3的颜色校正矩阵，以还原出真实的色彩，8bit精度表明最后8位为小数。

【相关数据类型及接口】