同步调优

我们用使用pc摄像头和使用pc麦克风声卡里的方法用ffmpeg采集后会得到音视频的pts。

我们应该尽量用好这些pts因为他们的时间间隔很精准比如48000每次采集2048发现每帧间隔23ms视频采集1080p25每帧间隔40ms。

dif

//以上参数如果不设置的话ffmpeg就会用默认值但默认值摄像头不一定支持

int

ZlogInfo(second:%ld\n,tv.tv_sec);

//秒//

ZlogInfo(millisecond:%ld\n,tv.tv_sec*1000

tv.tv_usec/1000);

ZlogInfo(microsecond:%ld\n,tv.tv_sec*1000000

tv.tv_usec);

decklink的采集卡会把音视频的pts给好并且是可靠的。

但小的厂商就不一定了。

我这里使了一个台湾和国内的厂商一个是pci采集卡(sdi/hdmi采集转pci口)这个采集卡支持UVC和UAC协议另一个是usb(hdmi转usb口)采集卡。

这两个价格都在千元左右。

3.采集1080p30时视频的pts每帧之间只增加20ms而不是33ms其他分辨率无此问题。

因为这些设备的用户大多数不是开发者所以这些问题都不会用到对于开发者来说则需要原厂定制开发了。

在与原厂电话微信后对usb的采集卡有初步的了解对于音频来说采集卡的驱动并不会提供pts给系统因为对于音频来说确定好采样率声道数位深那么在播放端它的采样数对应的播放时间是固定的采集卡只有一个晶振在控制着采集频率音频从采集卡采集到其提供给驱动延时可以忽略。

视频采集卡的驱动也不会有pts它的启动只会对上层提供类似于123…等视频的序号的标签采集卡从采集到提供给驱动可能会有几帧如4帧延时。

那么我们用ffmpeg采集到的音视频都含有pts那么这些pts是什么呢。

音频是1970年开始到现在的us视频则是开机的时间us。

他们都是UVC和UAC协议对采集卡驱动提供的音视频帧打的pts。

硬件厂商改一个问题要改好几个版本经常引入其他bug看来天下程序员都一样。

3.如何自己打pts

av_read_frame()我们把格林威治的PTS赋值给每次采集到的音视频数据。

av_read_frame(ic_a,

GetCurTime();ZlogInfo(dif:%ld\n,

(shm_-GetCurTime()

shm_-GetCurTime();视频每次从这个函数返回的时间间隔分别是

//1080p25

可以看到间隔并不标准因为av_read_frame()维护了一个缓存他每次从采集卡拿到一阵或多帧音频或视频数据放入缓存然后分包返回一帧音频或视频数据下次再调用直接去缓存里拿如果缓存没有则阻塞住直到采集卡提供了数据。

我们需要让他们的时间间隔相对均匀那么每次的pts就和上次比较如果少于一定时间则睡眠。

ZlogInfo(dif:%ld\n,

因为采集视频到交给ffmpeg可能有几帧的缓存因此每次的视频数据可以减去100ms左右看看播出后的视频效果。

pkt-pts

100000;播放器的音视频同步策略一般都是按以音频为基准音频是线性均匀的那么音频的pts本身是没有意义的两帧之间的间隔并不代表播放的时间间隔它的意义主要是用于视频与他同步。

pc每次开机联网后系统自带NTP开始核对时间并改变自身时间那么你每次打的pts就会产生突变。

NTP每次调剂的幅度可能在500ms左右可以关闭它或换小一点的工具每次调解幅度在10ms左右的。