Android平台Unity3D下如何同时播放多路RTMP|RTSP流？

技术背景

好多开发者，提到希望在Unity的Android头显终端，播放2路以上RTMP或RTSP流，在设备性能一般的情况下，对Unity下的RTMP|RTSP播放器提出了更高的要求。实际上，我们在前几年发布Unity下直播播放模块的时候，就已经支持了Android多实例播放RTMP|RTSP，随着大家对这块的技术诉求和性能要求越来越高，我们需要持续考虑如何低资源占用的播放多实例流。

实现思路

目前，我们是通过大牛直播SDK原生的RTMP|RTSP播放器，设置回调解码后的YUV或RGB数据，然后投递到Unity层，在Unity层做渲染。

对于每一路RTMP或RTSP流，可以分别创建个播放实例，并启动播放。可以创建一个管理类，用于统一管理多个播放器实例，方便对多路流的播放状态进行监控和控制。

当从原生播放器中获取到视频流的数据后，需要将数据回调到 Unity 中进行渲染。可以使用 Unity 的纹理（Texture）来存储视频帧数据，并将其应用到相应的材质（Material）上，然后将材质应用到 3D 模型或UI元素上，以实现视频的播放显示。对于多路视频流，需要为每一路视频流创建独立的纹理和材质，并分别进行渲染。

具体实现如下：

开始播放：

/** SmartPlayerAndroidMono.cs* Author: daniusdk.com* WeChat： xinsheng120*/public void Play(int sel)
{if (videoctrl[sel].is_running){Debug.Log("已经在播放.. sel: " + sel);   return;}videoctrl[sel].player_handle_ = OpenPlayer();if (videoctrl[sel].player_handle_ == 0){Debug.LogError("open fail sel: " + sel);return;}NT_U3D_Set_Game_Object(videoctrl[sel].player_handle_, game_object_);/* ++ 播放前参数配置可加在此处 ++ */int is_using_tcp = 0;        //TCP/UDP模式设置NT_U3D_SetRTSPTcpMode(videoctrl[sel].player_handle_, is_using_tcp);int is_report = 0;int report_interval = 1;NT_U3D_SetReportDownloadSpeed(videoctrl[sel].player_handle_, is_report, report_interval);  //下载速度回调int buffer_time = 0;NT_U3D_SetBuffer(videoctrl[sel].player_handle_, buffer_time);//设置buffer timeNT_U3D_SetPlayerLowLatencyMode(videoctrl[sel].player_handle_, 0);//设置是否启用低延迟模式NT_U3D_SetMute(videoctrl[sel].player_handle_, 0);//是否启动播放的时候静音int cur_audio_volume = 100;         //默认播放音量NT_U3D_SetAudioVolume(videoctrl[sel].player_handle_, cur_audio_volume);             //设置播放音量Boolean is_hw_decode = true;NT_U3D_SetVideoDecoderMode(videoctrl[sel].player_handle_, is_hw_decode ? 1 : 0);          //设置H.264软硬解模式NT_U3D_SetVideoHevcDecoderMode(videoctrl[sel].player_handle_, is_hw_decode ? 1 : 0);          //设置H.265软硬解模式NT_U3D_SetImageReaderOutput(videoctrl[sel].player_handle_, is_output, disable_use_image_planes, is_supported_multiple_format, max_images, buffer_pool_max_size);int is_fast_startup = 1;NT_U3D_SetFastStartup(videoctrl[sel].player_handle_, is_fast_startup);                     //设置快速启动模式int rtsp_timeout = 10;NT_U3D_SetRTSPTimeout(videoctrl[sel].player_handle_, rtsp_timeout);                        //设置RTSP超时时间int is_auto_switch_tcp_udp = 1;NT_U3D_SetRTSPAutoSwitchTcpUdp(videoctrl[sel].player_handle_, is_auto_switch_tcp_udp);    //设置TCP/UDP模式自动切换int is_audiotrack = 1;NT_U3D_SetAudioOutputType(videoctrl[sel].player_handle_, is_audiotrack);                   //设置音频输出模式: if 0: 自动选择; if with 1: audiotrack模式NT_U3D_SetUrl(videoctrl[sel].player_handle_, videoctrl[sel].videoUrl);/* -- 播放前参数配置可加在此处 -- */int flag = NT_U3D_StartPlay(videoctrl[sel].player_handle_);if (flag  == DANIULIVE_RETURN_OK){videoctrl[sel].is_need_get_frame_ = true;Debug.Log("播放成功 sel: " + sel);}else{videoctrl[sel].is_need_get_frame_ = false;Debug.LogError("播放失败 sel: " + sel);}videoctrl[sel].is_running = true;  
}

对应的OpenPlayer()实现如下：

private long OpenPlayer()
{if ( java_obj_cur_activity_ == null ){Debug.LogError("getApplicationContext is null");return 0;}long player_handle = 0;player_handle = NT_U3D_Open();if (player_handle != 0)Debug.Log("open success");elseDebug.LogError("open fail");return player_handle;
}

停止播放：

private void ClosePlayer(int sel)
{videoctrl[sel].is_need_get_frame_ = false;videoctrl[sel].is_need_init_texture_ = false;int flag = NT_U3D_StopPlay(videoctrl[sel].player_handle_);if (flag == DANIULIVE_RETURN_OK){Debug.Log("停止成功");}else{Debug.LogError("停止失败");}flag = NT_U3D_Close(videoctrl[sel].player_handle_);if (flag == DANIULIVE_RETURN_OK){Debug.Log("关闭成功");}else{Debug.LogError("关闭失败");}videoctrl[sel].player_handle_ = 0;videoctrl[sel].video_format_ = VideoFrame.FORMAT_UNKNOWN;videoctrl[sel].video_width_ = 0;videoctrl[sel].video_height_ = 0;videoctrl[sel].is_running = false;
}

UpdateYUVTexture()实现如下：

private void UpdateYUVTexture(VideoFrame video_frame,int sel)
{if (video_frame == null)return;if (video_frame.java_frame_obj_ == null)return;if (video_frame.plane0_ == IntPtr.Zero || video_frame.plane1_ == IntPtr.Zero)return;if (video_frame.format_ == VideoFrame.FORMAT_I420) {if (video_frame.plane2_ptr_ == IntPtr.Zero)return;}if (videoctrl[sel].yTexture_ != null){videoctrl[sel].yTexture_.LoadRawTextureData(video_frame.plane0_, video_frame.plane0_size_);videoctrl[sel].yTexture_.Apply();}if (videoctrl[sel].uTexture_ != null){videoctrl[sel].uTexture_.LoadRawTextureData(video_frame.plane1_, video_frame.plane1_size_);videoctrl[sel].uTexture_.Apply();}if (video_frame.format_ == VideoFrame.FORMAT_I420){if (videoctrl[sel].vTexture_ != null){videoctrl[sel].vTexture_.LoadRawTextureData(video_frame.plane2_, video_frame.plane2_size_);videoctrl[sel].vTexture_.Apply();}}
}

总结

直接在Unity中播放RTMP|RTSP流可能并不简单，因为Unity没有内置对RTMP|RTSP的直接支持。你需要根据你的具体需求（如是否需要实时交互、流的来源、你的技术栈等）来选择最合适的解决方案。对于大多数应用场景，使用插件或服务器端转码可能是最简单有效的方法，但不是效率最高的办法，特别是对延迟要求比较高的场景，可以考虑使用大牛直播SDK这种专业的Unity RTMP|RTSP播放模块，无论是延迟还是稳定性，均可达到业内顶级的水准。以上是Unity下多路播放RTMP|RTSP的技术探讨，感兴趣的开发者，可以单独跟我沟通讨论。