OpenHarmony硬件合成方案解析

server/2024/12/15 5:53:27/

本文档主要讲解在OpenHarmony中，硬件合成适配的方法及原理说明。

环境说明：

  • OHOS版本：3.1-Release及以上

一、背景介绍

1.1 什么是合成

要理解什么是合成，合成做了什么？我们先通过分解设置界面来回答这个问题:

在设置界面中，一帧完整的图像是由4个部分构成的，每一个部分我们称之为一个layer。

layer的概念

layer(图层)是图形合成中最重要的单元，一个layer对应一个buffer及显示参数。一帧图像由一个或多个layer组成，每个layer单独负责一块区域的内容刷新，大大提升了渲染及显示效率。比如：我们把鼠标的显示单独设置成一个Layer，鼠标的移动，只需要更改layer的显示坐标，不需要重复渲染背景显示区域的数据等。

在设置界面中，4个layer分别是背景层、应用层、状态栏和工具栏。合成就是把这些layer组合在一起，最终变成一帧完整的图像。

我们可以通过如下命令获取当前界面的layers信息：

hidumper -s 10 -a surface

对当前界面截屏

snapshot_display -f /data/snapshot_display.jpeg

我们可以看到，layer2和layer3背景显示为黑色，与实际效果有较大区别。要理解这个差异的原因，我们需要要知道合成做了什么。

1.2 合成做了什么

从前面的介绍我们知道，合成就是把多个layer合成了一帧图像。那这个合成的过程中，主要处理了哪些事？总结如下：

  • 颜色混合。包含透明度处理、背景填充、阴影处理等。

  • 编码格式转换。支持RGB565、RGB888、ARGB888、YUV420_2P等

  • 缩放处理。支持1/16~24倍率缩放

  • 输入/输出旋转。

不同的硬件支持的能力有差别，最基本的能力需要支持透明度处理及编码转换。

上面layer背景显示黑色的原因，是因为背景的RGBA值都是0，RGB 值为0，显示黑色。Alpha值为0，为全透明。如果给他们添加一个背景图层，那图层就会显示成背景的颜色值。

理解了合成，我们再看看合成模块在OpenHarmony系统进程中的位置。

1.3 合成在OpenHarmony中位置

图像合成在OpenHarmony进程示意图，以便了解合成模块的生命周期及运行逻辑：

如上图所示，合成模块代码由虚框标记，运行在render_service进程中。硬件适配主要是适配display_device及display_gfx模块。

  • display_device: 为composer提供接口及适配

  • display_gfx:包含具体硬件sensor的功能实现。

    重启render_service服务，Dispaly HDI服务就会重启。

1.4 合成的方式

OpenHarmony中合成方式有以下几种：

  • CPU合成。由skia或pixmax提供。
  • GPU合成。由GPU硬件提供。
  • 纯硬件sensor合成。如展锐的gsp，瑞芯微的rga等
  • drm合成。由drm通用接口封装，一般集成合成和送显功能。如展锐的dpu。

以上合成方式在相同layers数量下，xx平台性能对比如下：

类型CPUGPUGFXDRM
合成时间(ms)>80ms12.07ms11.38ms7.5ms

从合成性能看，drm性能最佳，减少了内存复制开销。GFX与GPU性能相差不多，但能完成一些drm无法完成的合成场景。CPU最差，只有适配早期，其它硬件没有调试好时，临时使用。

二、适配的方法

适配硬件合成前，我们先要理清代码的运行逻辑，并且知道适配需要做什么，去哪里修改。以下通过流程图来展示代码的运行逻辑和位置。

当Layers准备好后，进入composer模块的repaint()处理。流程如下：

  • prepare阶段。
    • gfx_prepare:为每个layer选择具体的合成方式
    • drm_prepare:把dpu类型添加到List
    • 处理GPU合成
  • commit阶段。
    • gfx_commit:处理gfx硬件合成
    • drm_commit:处理drm合成及送显

2.1 合成方式的选择

Layer合成方式选择示例:

当前合成方式并没有使用GPU合成，是否使用，可根据其它硬件能力来选择。一般情况下，为了减轻GPU负担，尽量使用其它硬件来完成合成操作。

每个硬件支持能力不同，比如：支持的layer数量，是否支持缩放时旋转，缩放倍率等。

合成方式的选择要结合具体的硬件来调整。硬件详细能力请查阅相关芯片手册。

注意事项：

  • 如果GSP列表非空，那clientLayer作为GSP的合成结果，会占用DPU的plane0.

  • 由于Layer图层是有顺序的，所以连续的图层会选择同一种硬件合成。

比如：DPU只支持4个图层，如果总图层有6个，那前面3个将使用GSP合成结果到clientLayer,再与后面的3个图层一起，共4个layer给DPU合成送显。

代码示例:

int32_t HdiGfxComposition::SetLayers(std::vector<HdiLayer *> &layers, HdiLayer &clientLayer)
{……HdiLayer *layer;uint32_t dpuSize = 0;for (uint32_t i = 0; i < layers.size(); i++) {layer = layers[i];if (CanHandle(*layer)) {if ((layer->GetCompositionType() != COMPOSITION_VIDEO) &&(layer->GetCompositionType() != COMPOSITION_CURSOR)) {if((mask == 0) && (layers.size() < 4)) {//直接给DPU处理layer->SetAcceleratorType(ACCELERATOR_DPU);……} else {//GSP+DPUint32_t tempMask = CheckLayers(layers, i);// 判断剩下的layers DPU是否支持uint32_t tempSize = layers.size() - i;if(tempMask) {//复杂场景交给GSPlayer->SetAcceleratorType(ACCELERATOR_GSP);……}  else {if((dpuSize + tempSize) < 5) {//dpu支持6个layer，先只使用4个layer->SetAcceleratorType(ACCELERATOR_DPU);……} else {layer->SetAcceleratorType(ACCELERATOR_GSP);……}}}} else {layer->SetDeviceSelect(layer->GetCompositionType());}mCompLayers.push_back(layer);} else { //GPUlayer->SetDeviceSelect(COMPOSITION_CLIENT);……}}……
}

2.2 GFX适配之GSP

2.3 DRM适配之DPU

2.4 GPU适配

三、调测及优化

3.1 测试程序-hello_composer

hello_composer在3.2-Release中默认没有参与编译，修改如下：

foundation/graphic/graphic_2d/bundle.json

--- a/bundle.json
+++ b/bundle.json
@@ -61,6 +61,7 @@"//foundation/graphic/graphic_2d/rosen/modules/2d_graphics:2d_graphics","//foundation/graphic/graphic_2d/rosen/samples/2d_graphics:drawing_sample_rs",
+            "//foundation/graphic/graphic_2d/rosen/samples/composer:hello_composer","//foundation/graphic/graphic_2d/rosen/samples/2d_graphics:drawing_engine_sample",

在第一次运行hello_composer前，需要先把render_service服务停止。

service_control stop render_service

执行hello_composer

cd /system/bin
./hello_composer

测试分以下几个点进行：

  • 图层数量测试
    foundation/graphic/graphic_2d/rosen/samples/composer/hello_composer.cpp
void HelloComposer::InitLayers(uint32_t screenId)
{
……
// status bardrawLayers.emplace_back(std::make_unique<LayerContext>(IRect { 0, 0, displayWidth, statusHeight },IRect { 0, 0, displayWidth, statusHeight },3, LayerType::LAYER_STATUS));
……
}

默认是4个图层，可以根据实际测试情况，添加、删除layers的信息。
  • 图层旋转
    foundation/graphic/graphic_2d/rosen/samples/composer/layer_context.h
drawLayers.emplace_back(std::make_unique<LayerContext>(IRect { layerPositionX, layerPositionY, 200, 400},IRect { 0, 0, 100, 200},1, LayerType::LAYER_EXTRA));

修改为true后，LayerType::LAYER_EXTRA 图层会周期旋转。
  • 图层缩放
    foundation/graphic/graphic_2d/rosen/samples/composer/hello_composer.cpp
bool testYUV_ = true;

通过修改目的图层的大小，来达到缩放测试的目的

  • yuv测试
    foundation/graphic/graphic_2d/rosen/samples/composer/layer_context.h
bool testYUV_ = true;

修改为true后，LayerType::LAYER_EXTRA图层会以yuv格式合成。
  • 透明度测试
    foundation/graphic/graphic_2d/rosen/samples/composer/layer_context.h
const std::vector<uint32_t> colors_ = {0xff0000ff, 0xffff00ff, 0xaa00ff00, 0xff00ffaa, 0xff0f0f00};

修改colors_最高8位值，可以测试透明度。0x00:全透明 0xFF:不透明

3.2 TRACE抓取分析

合成消耗了多少时间，帧率的统计都可以使用抓trace来分析。

trace命令:

hdc shell bytrace -t 5 --overwrite app graphic > mytrace.ftrace

帧率统计:

帧率首先由vsync频率决定，当合成总时间大于vsync间隔时，会影响帧率，并需要进行优化。合成计算帧率就是统计1s内合成帧的个数。

合成时间统计:

以上标记的时间就是实际硬件合成的时间，在commit方法中执行。我们从前面两个图片可看出，他们的合成间隔是有明显区别的，赵成这个现象的原因是同步及异步设置导致。

3.3 fence机制

当我们的操作需要使用其它硬件资源执行时，就涉及到同步的方式问题。总结如下：

  • 同步执行

    调用硬件接口后，需要等待硬件所有指令执行完成。libdrm接口中示例如下：

uint32_t flags = DRM_MODE_ATOMIC_ALLOW_MODESET | DRM_MODE_ATOMIC_NONBLOCK;//去掉DRM_MODE_ATOMIC_NONBLOCK代表同步执行
ret = drmModeAtomicCommit(drmFd, atomicReqPtr.Get(), flags, nullptr);

  • 异步执行

    异步在图形中常用的就是fence机制。fence机制框架由内核提供，当硬件完成时，会修改fence的状态。常用的如AcqureFenceFd、ReleaseFenceFd。

    AcqureFenceFd 由GPU提供，标记渲染结果。

    ReleaseFenceFd 由drm crtc提供，标记送显结果。

    例如 ReleaseFenceFd：

ret = drmModeAtomicAddProperty(atomicReqPtr.Get(), mCrtc->GetId(), mCrtc->GetOutFencePropId(),(uint64_t)&crtcOutFence);
……
layer->SetReleaseFence(dup(crtcOutFence));

fence机制，让CPU在硬件工作时，释放生产力，继续执行与当前操作无关代码，把流程继续向前推进。当再次需要执行与当前硬件相关的操作时，再检查fence完成状态或等待。在整个周期中，大大增加了代码执行效率。

四、常见问题分析

4.1 状态栏背景为黑色

实际显示效果状态栏和工具栏为黑色。这个一般是透明度没有处理好。修改drm blend_mode可以解决。

drmModeAtomicAddProperty(pset,  drmPlane.GetId(), drmPlane.property_blend_mode, 0);//0-2.具体类型可以使用modetest查看

4.2 滑动列表时有闪烁的现象

如果硬件没有报错，那大概率是ReleaseFence没有同步。buffer还没有使用完成，又对buffer进行了操作。

layer->SetReleaseFence(dup(crtcOutFence));//step1: 检查ReleaseFence是否设置
currSbuffer_->releaseFence_ = Merge(currSbuffer_->releaseFence_, layerReleaseFence);//step2: 检查ReleaseFece是否有合并

4.3 滑动列表时有抖动的现象

这种一般只有在低端GPU上才会出现。原因是AcqureFence没有同步，使用了未准备好的渲染结果。增加对fence的等待：

if(layer->GetAcquireFenceFd() > 0) {sync_wait(layer->GetAcquireFenceFd(), 100);
}

4.4 Layer区域显示黑色或者丢失

主要有以下几种可能。

  • zorder顺序不对，被其它图层覆盖。

  • layer内容为空。显示成了背景填充色0

  • 超出硬件支持的图层上限，需要增加循环合成处理

五、知识分享

在模块开发过程中，如果我们对layer的数据不确定时，可以把layer的数据dumper出来。

setenforce 0
param set rosen.afbc.enabled 0//start
touch /data/bq_dump
//end
rm /data/bq_dump

数据生成在/data目录下。文件可以使用yuvplayer.exe工具查看，它支持yuv、rgb等不同的格式类型及分辨率大小。

写在最后

  • 如果你觉得这篇内容对你还蛮有帮助，我想邀请你帮我三个小忙：
  • 点赞，转发，有你们的 『点赞和评论』，才是我创造的动力。
  • 关注小编，同时可以期待后续文章ing🚀，不定期分享原创知识。
  • 想要获取更多完整鸿蒙最新学习资源，请移步前往小编：https://gitee.com/MNxiaona/733GH


http://www.ppmy.cn/server/30493.html

相关文章

基于Springboot+Vue的Java项目-入校申报审批系统开发实战(附演示视频+源码+LW)

基于Springboot+Vue的Java项目-入校申报审批系统开发实战(附演示视频+源码+LW)

大家好&#xff01;我是程序员一帆&#xff0c;感谢您阅读本文&#xff0c;欢迎一键三连哦。 &#x1f49e;当前专栏&#xff1a;Java毕业设计 精彩专栏推荐&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb; &#x1f380; Python毕业设计 &am…
阅读更多...
【深入浅出MySQL】「性能调优」高性能查询优化MySQL的SQL语句编写

【深入浅出MySQL】「性能调优」高性能查询优化MySQL的SQL语句编写

高性能查询优化MySQL的SQL语句编写准则这里写目录标题 总体优化大纲&#xff08;1&#xff09;优化查询性能&#xff1a;通过索引降低全表扫描频率优化方向案例介绍问题分析解决方案建立复合索引建立单独索引 &#xff08;2&#xff09;优化数据表与查询&#xff1a;合理使用非…
阅读更多...
力扣每日一题-总行驶距离-2024.4.25

力扣每日一题-总行驶距离-2024.4.25

力扣题目&#xff1a;总行驶距离 题目链接: 2739.总行驶距离 题目描述 代码思路 直接用数学模拟计算即可 代码纯享版 class Solution {public int distanceTraveled(int mainTank, int additionalTank) {int sum 0;while(additionalTank > 0){if(mainTank > 5){mai…
阅读更多...
导出 CDH 中各组件（HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper）指标到 Prometheus

导出 CDH 中各组件（HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper）指标到 Prometheus

文章目录 前言一、提取准备1. 下载jmx2. 创建规则文件 二、HDFS指标提取1. namenode指标提取2. datanode指标提取 二、Hive指标提取1. Hive Metastore Server 指标提取2. HiveServer2 指标提取 三、Impala 指标提取1. Impala Catalog Server 指标提取2. Impala Daemon 指标提取…
阅读更多...
蚁群算法路径规划matlab

蚁群算法路径规划matlab

蚁群算法&#xff08;Ant Colony Optimization, ACO&#xff09;是一种模拟蚂蚁寻找食物路径的优化算法&#xff0c;它被广泛应用于路径规划问题中。在MATLAB中实现蚁群算法进行路径规划的基本步骤如下&#xff1a; 初始化&#xff1a;设置算法参数&#xff0c;包括蚂蚁数量、信…
阅读更多...
win11 Terminal 部分窗口美化

win11 Terminal 部分窗口美化

需求及分析&#xff1a;因为在 cmd、anaconda prompt 窗口中输入命令较多&#xff0c;而命令输入行和输出结果都是同一个颜色&#xff0c;不易阅读&#xff0c;故将需求定性为「美化窗口」。 美化结束后&#xff0c;我在想是否能不安装任何软件&#xff0c;简单地通过调整主题颜…
阅读更多...
双指针算法

双指针算法

一、Leetcode27.移除元素 1.题目描述 给你一个数组 nums和一个值 val&#xff0c;你需要 [原地] 移除所有数值等于 val的元素&#xff0c;并返回移除后数组的新长度。 不要使用额外的数组空间&#xff0c;你必须仅使用 O(1) 额外空间并 [原地 ]修改输入数组。 元素的顺序可以…
阅读更多...
ue引擎游戏开发笔记（28）——实现第三人称越肩视角

ue引擎游戏开发笔记（28）——实现第三人称越肩视角

1.需求分析 实现一个第三人称越肩视角 2.操作实现 1.思路&#xff1a;建立一个弹簧臂和摄像机&#xff0c;调整两者位置达到越肩效果。 2.直接在蓝图操作&#xff1a;添加摄像机和弹簧臂&#xff1a; 3.对弹簧臂勾选使用pawn控制旋转&#xff0c;并适当调整摄像机和弹簧臂位置…
阅读更多...
最新文章

Copyright @ 2022~2023