软件需求: 1、最大可并行30路对讲录音录像 2、语音为PCM格式数据,视频数据为H264格式 3、需要混合两台终端对讲的语音数据和视频数据为一个MP4文件。 软件解决思路: 1、通信采用完成端口实现 2、语音数据可实时混合写入wav文件,对讲结束后,将wav文件转为aac文件 3、视频数据先保存为两路H264文件,对讲结束后再将两路整合为一路视频H264文件 4、最后将aac文件和H264文件进行合并为MP4文件 技术难点: 1、音视频同步 2、两路视频的整合 3、通信的实时处理 技术工具: FFMPEG库 弯路: 1、前期采用ortp库去接收视频数据,发现超过两路视频后,通信接收速度下降,只能保证一路视频能按帧率接收。 2、对于视频丢帧没有采取插入黑白帧的方式保持同步。 3、对于H264帧的解码判断