ZEGO ExpressSDK 3 月功能上新
2023/04/19

# 3月 ZEGO ExpressSDK 功能上新速览 #

Native 新增功能

  • SDK 内置媒体播放器支持播放带透明度的视频;
  • 支持外放场景下的人声增强效果;
  • 游戏语音支持自定义设置发声模式和收听模式;
  • iOS 拉流端支持画中画能力;
  • 单流自动转码功能支持 CDN /L3 拉流;
  • 同个混流任务支持输出多个分辨率的视频流;
  • 混流任务支持输入超级白板信息;
  • 场景化音视频配置新增 【StandardVoiceCall】 标准语音通话场景;

Web 新增功能

  • 新增背景虚化与虚拟背景功能;
  • 新增实时变声功能;

Native 新增功能

内置媒体播放器支持播放带透明度视频

功能描述:媒体播放器支持渲染 Alpha 通道,开发者提供 RGB 通道与 Alpha 通道以双倍宽或者高的形式拼接后的 MP4 视频,实现播放透明礼物的动态效果。

应用场景:在语聊房和直播等场景中,客户不需要集成第三方播放器实现播放透明动态礼物的效果,透明礼物播放时不会遮挡直播间内容,大大提升用户体验。

功能优势:

  • 开发成本低:开发者不需要学习复杂的动画实现方案,只需要使用设计师处理好的素材,即可实现播放透明礼物特效,提升开发效率和效果。
  • 兼容性好:规避 Lottie、Cocos2d-X 等半透明动效实现方式复杂、性能不高以及部分机型的兼容问题较大,后期维护难度较高的问题。

 相关接口: loadResourceWithConfig更多详情可查看:播放透明礼物特效

支持外放场景下的人声增强效果

功能描述:支持开启人声增强音效并设置增强等级,可用于 KTV 外放场景下精细控制人声效果,效果推荐 level 配置为 4。

应用场景:在外放场景中,设备的 mic 与扬声器过近容易导致人声模糊/沉闷。该场景下使用人声增强能有效提升人声清晰度以及改善沉闷感。

相关接口:enableSpeechEnhance

游戏语音可自定义设置发声、收听模式

功能描述:游戏语音(旧范围语音)支持自定义设置发声模式和收听模式,用于实现加入小队后,仍支持屏蔽非范围内的同一小队玩家的场景,实现与范围内的人私密聊天。

功能描述:

  • 老模式:世界模式、小队模式、私密小队模式
  • 新模式:支持自定义设置发声模式(推流)和收听模式(拉流)

相关接口:setRangeAudioCustomMode

iOS 拉流端支持画中画能力

功能描述:iOS 拉流端支持画中画能力。调用相关接口后,支持切换到后台后也能正常拉流并且在其他应用上显示。

单流自动转码功能支持CDN/L3拉流

功能描述:单流转码,指在云端把每条原始流转换为不同编码格式、不同分辨率的转码。

应用场景:在直播等场景中,观众可以基于接入网络质量、终端设备等自行选择不同分辨率的流进行观看,以保证播放的流畅性。

*注意:若是 CDN 拉取转码流,必须使用转推 CDN,直推 CDN 暂不支持。

同个混流任务支持输出多个分辨率的视频流

功能描述:同个混流任务支持输出多个分辨率,可用于实现混流场景下的转码需求。

应用场景:混流场景下,可调用混流接口,基于同一个混流任务实现“合流+转码”能力,不需要额外触发转码任务。

功能优势:

  • 帮助开发者降低混流任务的维护成本;
  • 帮助客户节约混流的部分费用。

混流任务支持输入超级白板信息

功能描述:混流任务支持输入白板信息,将白板的操作内容在混流服务端转成实时视频。且支持设置白板配置信息,例如:设置白板 ID、白板宽高比、是否支持加载动态 PPT 等。

应用场景:在线教育等场景,将白板画面+ 摄像头采集的画面(如有)混流后转推到 CDN (比如转推到视频号等)时。

场景化音视频新增标准语音通话场景

功能描述:场景化音视频配置新增 【StandardVoiceCall】 标准语音通话场景,适用于 1v1 纯语音通话场景。

应用场景:1v1 纯语音通话场景。

相关接口:setRoomScenario

Web 新增功能

新增背景虚化与虚拟背景功能

功能描述:使用 AI 将视频中的主体分割出来,对主体外的视频区域做高斯模糊处理,或者将主体渲染到新的背景上,保护用户隐私,提升体验趣味性。

相关接口:

  • 背景虚化:setBackgroundBlurOptions(blurdegree) 可以通过此接口设置背景虚化程度
  • 虚拟背景:

setVirtualBackgroundOptions 可以通过此接口设置背景源

接口参数中的 source 为背景图片的 HTMLImageElement

objectFit 为虚拟背景的填充方式:’contain’, ‘cover’, ‘fill’

新增实时变声功能

功能描述:用户有隐私保护需求或者想提高语音玩法的趣味性时,可能希望能够实时改变声音。例如,心理咨询类的应用,用户可能不想暴露自己的真实声音,这时候需要用变声把真实的声音隐掉。

相关接口:setVoiceChangerPreset

Native 重要优化

优化1:优化超分算法,提升机型覆盖率

优化详情:优化超分算法,大幅提升机型覆盖率。

优化2:超分逻辑优化,新增初始化、反初始化接口

优化详情:超分逻辑优化,新增初始化、反初始化接口。

*注意

[enableVideoSuperResolution] 修改了调用时机,需要在 [initVideoSuperResolution] 后才能调用。

相关接口: initVideoSuperResolution, uninitVideoSuperResolution

优化3:iOS 屏幕共享进程间通信性能优化

优化详情:优化 iOS 屏幕共享功能,通过新增的 [ZegoExpressEngine > setAppGroupID] 及 [ZegoReplayKitExt > setupWithDelegate:appGroup] 接口,启动 AppGroup 配置,可以获取更好的性能与稳定性。

优化4:优化 KTV 场景的回声消除(AEC)功能

优化详情:大幅度提高外放场景下的人声音质,使人声更保真;消除回声同时,有效避免偶现的吞字或人声起伏的现象。

Web 重要优化

优化1:新增 WebRTC SDP 协商格式

优化详情:有效提升弱网和首帧表现。

优化2:Web的播放组件添加首帧播放事件

优化详情:Web 的媒体流播放组件 ZegoStreamView 的 on 方法新增事件  canPlayVideo、canPlayAudio, 分别标识播放器接收到视频数据和音频数据。

以上就是 3 月 ZEGO SK 更新迭代的主要内容,更多详细文档以及 SDK 历史更新内容,可以进入“即构官网- 开发者中心”查看!

扫一扫,获取更多服务与支持
热门推荐
H.264 与 H.265 视频编解码器的区别,哪个更好?
2024/07/26
直播产品中的“六边形战士”来了!ZEGO 超低延迟直播,高质量带来新增长!
2024/07/23
什么是抖动?如何使用抖动缓冲区来减少抖动
2024/07/22
热门标签
AI 降噪
AI课堂
ExpressSDK
MSDN
RTI
SEI
webrtc
ZIM
互动白板
即构融资
在线KTV
在线K歌
屏幕共享
录屏采集
数智人
直播技术
范围语音
行业报告
语聊房
语音社交
超分
音视频
音视频开发
音视频技术
音频编码
关注我们
获得更多服务与支持了解价格与优惠 扫码关注我们
关注我们
获得更多服务与支持了解价格与优惠 扫码关注我们