以下指导仅介绍如何实现媒体资源播放#xff0c;如果要实现后台播放或熄屏播放#xff0c;需要…1

AVPlayer音频播放

使用AVPlayer可以实现端到端播放原始媒体资源本开发指导将以完整地播放一首音乐作为示例向开发者讲解AVPlayer音频播放相关功能。

以下指导仅介绍如何实现媒体资源播放如果要实现后台播放或熄屏播放需要使用AVSession媒体会话和申请长时任务避免播放被系统强制中断。

播放的全流程包含创建AVPlayer设置播放资源设置播放参数音量/倍速/焦点模式播放控制播放/暂停/跳转/停止重置销毁资源。

在进行应用开发的过程中开发者可以通过AVPlayer的state属性主动获取当前状态或使用on(‘stateChange’)方法监听状态变化。

如果应用在音频播放器处于错误状态时执行操作系统可能会抛出异常或生成其他未定义的行为。

当播放处于prepared

completed状态时播放引擎处于工作状态这需要占用系统较多的运行内存。

当客户端暂时不使用播放器时调用reset()或release()回收内存资源做好资源利用。

1.1

创建实例createAVPlayer()AVPlayer初始化idle状态。

设置资源设置属性urlAVPlayer进入initialized状态。

下面代码示例中的url仅作示意使用开发者需根据实际情况确认资源有效性并设置

1.如果使用本地资源播放必须确认资源文件可用并使用应用沙箱路径访问对应资源参考获取应用文件路径。

应用沙箱的介绍及如何向应用沙箱推送文件请参考文件管理。

2.如果使用网络播放路径需声明权限ohos.permission.INTERNET。

3.如果使用ResourceManager.getRawFd打开HAP资源文件描述符使用方法可参考ResourceManager

准备播放调用prepare()AVPlayer进入prepared状态此时可以获取duration设置音量。

音频播控播放play()暂停pause()跳转seek()停止stop()

等操作。

可选更换资源调用reset()重置资源AVPlayer重新进入idle状态允许更换资源url。

退出播放调用release()销毁实例AVPlayer进入released状态退出播放。

1.2

注册avplayer回调函数setAVPlayerCallback(avPlayer:

media.AVPlayer)

seek操作结果回调函数avPlayer.on(seekDone,

(seekDoneTime:

error回调监听函数,当avPlayer在操作过程中出现错误时调用

reset接口触发重置流程avPlayer.on(error,

(err:

${err.message});avPlayer.reset();

状态机变化回调函数avPlayer.on(stateChange,

async

成功调用reset接口后触发该状态机上报console.info(AVPlayer

state

设置播放源后触发该状态上报console.info(AVPlayer

state

called.);avPlayer.prepare();break;case

prepared:

prepare调用成功后上报该状态机console.info(AVPlayer

state

play成功调用后触发该状态机上报console.info(AVPlayer

state

seek.);avPlayer.seek(avPlayer.duration);

//seek到音频末尾}

当播放模式不支持seek操作时继续播放到结尾console.info(AVPlayer

wait

调用暂停接口暂停播放}this.count;break;case

paused:

pause成功调用后触发该状态机上报console.info(AVPlayer

state

播放结束后触发该状态机上报console.info(AVPlayer

state

stop接口成功调用后触发该状态机上报console.info(AVPlayer

state

调用reset接口初始化avplayer状态break;case

state

called.);break;default:console.info(AVPlayer

state

以下demo为使用fs文件系统打开沙箱地址获取媒体文件地址并通过url属性进行播放示例async

avPlayerUrlDemo()

创建状态机变化回调函数this.setAVPlayerCallback(avPlayer);let

fdPath

通过UIAbilityContext获取沙箱地址filesDir以Stage模型为例let

context

打开相应的资源文件地址获取fd并为url赋值触发initialized状态机上报let

file

以下demo为使用资源管理接口获取打包在HAP内的媒体资源文件并通过fdSrc属性进行播放示例async

avPlayerFdSrcDemo()

创建状态机变化回调函数this.setAVPlayerCallback(avPlayer);//

通过UIAbilityContext的resourceManager成员的getRawFd接口获取媒体资源播放地址//

返回类型为{fd,offset,length},fd为HAP包fd地址offset为媒体资源偏移量length为播放长度let

context

context.resourceManager.getRawFd(01.mp3);let

avFileDescriptor:

为fdSrc赋值触发initialized状态机上报avPlayer.fdSrc

avFileDescriptor;}//

以下demo为使用fs文件系统打开沙箱地址获取媒体文件地址并通过dataSrc属性进行播放(seek模式)示例async

{//

创建状态机变化回调函数this.setAVPlayerCallback(avPlayer);//

dataSrc播放模式的的播放源地址当播放为Seek模式时fileSize为播放文件的具体大小下面会对fileSize赋值let

src:

通过UIAbilityContext获取沙箱地址filesDir以Stage模型为例let

pathDir

fs.statSync(path).size;src.fileSize

true;

以下demo为使用fs文件系统打开沙箱地址获取媒体文件地址并通过dataSrc属性进行播放(No

seek模式)示例async

创建状态机变化回调函数this.setAVPlayerCallback(avPlayer);let

context

通过UIAbilityContext获取沙箱地址filesDir以Stage模型为例let

pathDir

以下demo为通过url设置网络地址来实现播放直播码流的demoasync

avPlayerLiveDemo()

创建状态机变化回调函数this.setAVPlayerCallback(avPlayer);this.isSeek

false;

http://xxx.xxx.xxx.xxx:xx/xx/index.m3u8;}

SoundPool音频播放

使用SoundPool音频池提供的接口可以实现低时延短音播放。

当应用开发时经常需要使用一些急促简短的音效如相机快门音效、系统通知音效等此时建议调用SoundPool实现一次加载多次低时延播放。

SoundPool当前支持播放1MB以下的音频资源大小超过1MB的长音频将截取1MB大小数据进行播放。

本开发指导将以SoundPool进行一次低时延播放音频的过程为例向开发者讲解如何使用SoundPool。

详细的API声明请参考SoundPool

过程包括创建SoundPool实例加载音频资源包括资源的解封装与解码:解码格式参考音频解码支持设置播放参数循环模式/播放优先级等播放控制播放/停止释放资源。

在应用开发过程中开发者应通过监听方法检查当前播放状态并按照一定顺序调用接口执行对应操作否则系统可能会抛出异常或生成其他未定义的行为。

具体顺序可参考下列开发步骤及对应说明。

2.1

调用createSoundPool方法创建SoundPool实例。

import

audio.StreamUsage.STREAM_USAGE_MUSIC,rendererFlags

audioRendererInfo).***n((soundpool_:

media.SoundPool)

可以传入uri或fd加载资源此处使用传入uri的方式为例更多方法请参考API文档。

import

fs.OpenMode.READ_ONLY).***n((file:

fs.File)

作为样例使用时需要传入文件对应路径。

soundPool.load(uri).***n((soundId:

number)

}调用on(‘loadComplete’)方法用于监听“资源加载完成”。

(soundId:

});调用on(‘playFinished’)方法用于监听“播放完成”。

play

});配置播放参数PlayParameters并调用play方法播放音频。

多次调用play播放同一个soundID只会播放一次。

let

soundPool.setPriority(streamID,

import

先调用play方法获取到对应资源的streamIDsoundPool.setVolume(streamID,

0.5,

//先调用play方法给拿到对应的streamIDsoundPool.stop(streamID).***n(()

{console.info(stop

先调用load方法获取到对应资源的soundIDsoundPool.unload(soundID).***n(()

{console.info(unload

});调用off(‘loadComplete’)方法注销加载完成监听。

soundPool.off(loadComplete);调用off(‘playFinished’)方法注销播放完成监听。

soundPool.off(playFinished);调用off(‘error’)方法注销错误错误类型监听。

soundPool.off(error);调用release()方法释放SoundPool实例。

import

ohos.base;soundPool.release().***n(()

success);

下面展示了使用SoundPool进行低时延播放的完整示例代码。

import

audio.StreamUsage.STREAM_USAGE_MUSIC,rendererFlags:

let

audio.AudioRendererRate.RENDER_RATE_NORMAL,

正常倍速leftVolume:

audioRendererInfo);//注册监听loadCallback();finishPlayCallback();setErrorCallback();//

加载音频资源await

fs.OpenMode.READ_ONLY).***n((file:

fs.File)

加载完成回调soundPool.on(loadComplete,

(soundId_:

播放完成回调soundPool.on(playFinished,

{console.info(recive

开始播放,这边play也可带播放播放的参数PlayParametersstreamId

await

设置循环播放次数soundPool.setLoop(streamId,

2);

设置对应流的优先级soundPool.setPriority(streamId,

1);//

设置音量soundPool.setVolume(streamId,

0.5,

终止指定流的播放soundPool.stop(streamId);//

卸载音频资源await

soundPool.unload(soundId);//关闭监听setOffCallback();//

释放SoundPoolawait

{soundPool.off(loadComplete);soundPool.off(playFinished);soundPool.off(error);

AVRecorder音频录制

使用AVRecorder可以实现音频录制功能本开发指导将以“开始录制-暂停录制-恢复录制-停止录制”的一次流程为示例向开发者讲解AVRecorder音频录制相关功能。

在进行应用开发的过程中开发者可以通过AVRecorder的state属性主动获取当前状态或使用on(‘stateChange’)方法监听状态变化。

开发过程中应该严格遵循状态机要求例如只能在started状态下调用pause()接口只能在paused状态下调用resume()接口。

3.1

media.createAVRecorder().***n((recorder:

media.AVRecorder)

{console.error(createAVRecorder

failed);

配置音频录制参数调用prepare()接口此时进入prepared状态。

配置参数需要注意

prepare接口的入参avConfig中仅设置音频相关的配置参数如示例代码所示。

如果只需要录制音频请不要设置视频相关配置参数如果需要录制视频可以参考视频录制开发指导进行开发。

直接设置视频相关参数会导致后续步骤报错。

录制输出的url地址即示例里avConfig中的url形式为fd://xx

(fd

number)。

需要基础文件操作接口ohos.file.fs实现应用文件访问能力获取方式参考应用文件访问与管理。

import

media.ContainerFormatType.CFT_MPEG_4A,

封装格式当前只支持m4a

media.AudioSourceType.AUDIO_SOURCE_TYPE_MIC,

avProfile,url:

参考应用文件访问与管理中的开发示例获取创建的音频文件fd填入此处

avRecorder.prepare(avConfig).***n(()

{console.log(Invoke

})开始录制调用start()接口此时进入started状态。

开始录制

avRecorder.start();暂停录制调用pause()接口此时进入paused状态。

暂停录制

avRecorder.pause();恢复录制调用resume()接口此时再次进入started状态。

恢复录制

avRecorder.resume();停止录制调用stop()接口此时进入stopped状态。

停止录制

avRecorder.stop();重置资源调用reset()重新进入idle状态允许重新配置录制参数。

重置资源

avRecorder.reset();销毁实例调用release()进入released状态退出录制。

销毁实例

参考以下示例完成“开始录制-暂停录制-恢复录制-停止录制”的完整流程。

import

media.ContainerFormatType.CFT_MPEG_4A,

avConfig:

media.AudioSourceType.AUDIO_SOURCE_TYPE_MIC,

this.avProfile,url:

注册audioRecorder回调函数setAudioRecorderCallback()

{if

状态机变化回调函数this.avRecorder.on(stateChange,

(state:

错误上报回调函数this.avRecorder.on(error,

(err:

this.avRecorder.release();this.avRecorder

undefined;}//

media.createAVRecorder();this.setAudioRecorderCallback();//

2.获取录制文件fd赋予avConfig里的url参考FilePicker文档//

3.配置录制参数完成准备工作await

this.avRecorder.prepare(this.avConfig);//

4.开始录制await

仅在started状态下调用pause为合理状态切换await

{if

仅在paused状态下调用resume为合理状态切换await

{if

仅在started或者paused状态下调用stop为合理状态切换await

2.重置await

this.avRecorder.release();this.avRecorder

undefined;//

一个完整的【开始录制-暂停录制-恢复录制-停止录制】示例async

audioRecorderDemo()

用户此处可以自行设置录制时长例如通过设置休眠阻止代码执行await

//暂停录制await

使用AVMetadataExtractor可以实现从原始媒体资源中获取元信息本开发指导将以获取一个音频资源的元信息作为示例向开发者讲解AVMetadataExtractor元信息相关功能。

视频资源的元信息获取流程与音频类似由于视频没有专辑封面所以无法获取视频资源的专辑封面。

获取音频资源的元信息的全流程包含创建AVMetadataExtractor设置资源获取元信息获取专辑封面销毁资源。

4.1

使用createAVMetadataExtractor()创建实例。

设置资源用户可以根据需要选择设置属性fdSrc表示文件描述符,

开发者需根据实际情况确认资源有效性并设置

1.如果设置fdSrc可以使用ResourceManager.getRawFd打开HAP资源文件描述符使用方法可参考ResourceManager

2.如果设置dataSrc必须正确设置dataSrc中的callback属性确保callback被调用时能正确读取到对应资源使用应用沙箱路径访问对应资源参考获取应用文件路径。

应用沙箱的介绍及如何向应用沙箱推送文件请参考文件管理。

获取元信息调用fetchMetadata()可以获取到一个AVMetadata对象通过访问该对象的各个属性可以获取到元信息。

可选获取专辑封面调用fetchAlbumCover()可以获取到专辑封面。

4.2

{Text(this.message).fontSize(50).fontWeight(FontWeight.Bold)Button()

{Text(TestButton).fontSize(30).fontWeight(FontWeight.Bold)}.type(ButtonType.Capsule).margin({top:

20}).backgroundColor(#0D9FFB).width(60%).height(5%).onClick(()

{//

获取音频元信息和专辑封面异步接口以Callback形式调用this.testFetchMetadataFromFdSrcByCallback()//

设置fdSrc,

获取音频元信息和专辑封面异步接口以Promise形式调用this.testFetchMetadataFromFdSrcByPromise()//

设置dataSrc,

获取音频元信息和专辑封面this.testFetchMetadataFromDataSrc()})Image(this.pixelMap).width(300).height(300).margin({top:

20})}.width(100%)}.height(100%)}//

在以下demo中使用资源管理接口获取打包在HAP内的媒体资源文件通过设置fdSrc属性获取音频元信息并打印//

获取音频专辑封面并通过Image控件显示在屏幕上。

该demo以Callback形式进行异步接口调用async

testFetchMetadataFromFdSrcByCallback()

{//

media.createAVMetadataExtractor()//

设置fdSrcavMetadataExtractor.fdSrc

await

getContext(this).resourceManager.getRawFd(cover.mp3);//

获取元信息callback模式avMetadataExtractor.fetchMetadata((error,

metadata)

${JSON.stringify(error)})return}console.info(TAG,

fetchMetadata

${metadata.genre})})//获取专辑封面callback模式avMetadataExtractor.fetchAlbumCover((err,

pixelMap)

${JSON.stringify(err)})return}this.pixelMap

pixelMap//

释放资源callback模式avMetadataExtractor.release((error)

{if

${JSON.stringify(error)})return}console.info(TAG,

release

在以下demo中使用资源管理接口获取打包在HAP内的媒体资源文件通过设置fdSrc属性获取音频元信息并打印//

获取音频专辑封面并通过Image控件显示在屏幕上。

该demo以Promise形式进行异步接口调用async

testFetchMetadataFromFdSrcByPromise()

{//

media.createAVMetadataExtractor()//

设置fdSrcavMetadataExtractor.fdSrc

await

getContext(this).resourceManager.getRawFd(cover.mp3);//

获取元信息promise模式let

avMetadataExtractor.fetchMetadata()console.info(TAG,

get

avMetadataExtractor.fetchAlbumCover()//

释放资源promise模式avMetadataExtractor.release()console.info(TAG,

release

在以下demo中使用fs文件系统打开沙箱地址获取媒体文件地址设置dataSrc属性获取音频元信息并打印//

{let

通过UIAbilityContext获取沙箱地址filesDir以Stage模型为例let

filePath:

设置dataSrc描述符通过callback从文件中获取资源写入buffer中let

dataSrc:

media.createAVMetadataExtractor()//

设置dataSrcavMetadataExtractor.dataSrc

dataSrc;//

avMetadataExtractor.fetchMetadata()console.info(TAG,

get

avMetadataExtractor.fetchAlbumCover()//

释放资源promise模式avMetadataExtractor.release()console.info(TAG,

release