A simple implementation of mp4 demuxing.
A simple implementation of mp4 demuxing, supports AVC/HEVC/VP9/AAC/mp3/Opus.
Build Demuxer by:
mkdir cmake-build-debug && cd cmake-build-debug && cmake .. && make# orsh build.sh
Run Demuxer by:
./mp4_demuxer ../docs/SampleVideo_360x240_5mb-base.mp4
After run demuxer, here is the box tree:
[0, 4298693)ftyp[0, 32)major_brand: isomminor_version: 512compatible_brands: isomiso2avc1mp41free[32, 40)mdat[40, 4270608)moov[4270608, 4298693)mvhd[4270616, 4270724)version: 0flags: 0creation_time: 0modification_time: 0time_scale: 1000duration: 64896preferred_rate: 1.000000preferred_volume: 1.000000matrix:| a, b, u | | 1.000000, 0.000000, 0.000000 || c, d, v | = | 0.000000, 1.000000, 0.000000 || x, y, w | | 0.000000, 0.000000, 1.000000 |next_track_id: 3trak[4270724, 4279127)tkhd[4270732, 4270824)edts[4270824, 4270860)elst[4270832, 4270860)mdia[4270860, 4279127)mdhd[4270868, 4270900)version: 0flags: 0creation_time: 0modification_time: 0time_scale: 15360duration: 996352language: 21956quality: 0hdlr[4270900, 4270945)minf[4270945, 4279127)vmhd[4270953, 4270973)dinf[4270973, 4271009)dref[4270981, 4271009)stbl[4271009, 4279127)stsd[4271017, 4271187)avc1[4271033, 4271187)avcC[4271119, 4271171)stts[4271187, 4271211)stss[4271211, 4271279)stsc[4271279, 4271307)stsz[4271307, 4275219)stco[4275219, 4279127)trak[4279127, 4298595)tkhd[4279135, 4279227)edts[4279227, 4279263)elst[4279235, 4279263)mdia[4279263, 4298595)mdhd[4279271, 4279303)version: 0flags: 0creation_time: 0modification_time: 0time_scale: 48000duration: 3115008language: 21956quality: 0hdlr[4279303, 4279348)minf[4279348, 4298595)smhd[4279356, 4279372)dinf[4279372, 4279408)dref[4279380, 4279408)stbl[4279408, 4298595)stsd[4279416, 4279519)mp4a[4279432, 4279519)esds[4279468, 4279519) codec.0x40stts[4279519, 4279543)stsc[4279543, 4282499)stsz[4282499, 4294687)stco[4294687, 4298595)udta[4298595, 4298693)meta[4298603, 4298693)hdlr[4298615, 4298648)ilst[4298648, 4298693)
Play the extracted file by:
ffplay aac_audio.aac
我的目的是将mp4文件中的音视频数据解析出来，并保存为对应媒体文件。
众所周知，mp4的媒体数据是保存在mdat中，但 mdat没有告诉我们哪些是音频/视频数据，所以需要依赖其它box（主要是stco、stsz、stsc）去定位mdat中的音视频数据。
用于定位媒体数据中的块偏移，因为有多个块，所以是一个数组格式，chunk_offsets[number_of_entries]
用于表示每个媒体sample的的大小，通常sample的大小是可变的，sample_sizes[number_of_entries]保存所有sample的size
如果只知道stco 和stsz是无法定位媒体数据的，所以需要sample和chunk的对应表，才能解析出媒体数据
以下表格来自于docs/qtff.pdf
Figure 2-47 An example of a sample-to-chunk table
| First chunk | Samples per chunk | Sample description ID |
|---|---|---|
| 1 | 3 | 1 |
| 3 | 1 | 1 |
| 5 | 1 | 1 |
下面是展开之后的表格，可以看出可以通过stco去索引chunk，以及通过stsz去索引sample。
| First chunk | Samples per chunk | Sample description ID | |
|---|---|---|---|
| 1 | 3 | 1 | |
| * | 2 | 3 | 1 |
| 3 | 1 | 1 | |
| * | 4 | 1 | 1 |
| 5 | 1 | 1 | |
| Number of chunks = 5 | Number of samples = 9 |
知道了所需要的信息就可以着手提取媒体数据了，相关代码可以参考int TrackContext::extract()
uint32_t current_entry_index = 0;// stsc中，entries的下标uint32_t current_entry_sample_index = 0; // stsc中，对应current_entry_index的entry.sample的下标uint32_t chunk_logic_index = 0; // stco中，chunk_offsets的下标uint32_t sample_offset = 0;// sample的偏移量for (int i = 0; i < sample_sizes.count; i++) {// 1. 取出当前entry = stsc->entries[current_entry_index]// 2. 计算当前sample的起始位置pos = chunk_offsets[chunk_logic_index] + sample_offset// 3. 起始位置pos 和 sample_sizes[i]可以获取当前的sample数据// 4. current_entry_sample_index++// 5. 计算sample_offset += sample_sizes[i]// 6. 如果current_entry_sample_index >= entry.samples_per_chunk 则切换到下一个chunk，并重置sample相关标记}
提取avc的时候，一个sample可能含有多个nalu，格式是[nalu length(4bytes)][nalu data(nalu length bytes)]+[nalu length][nalu data]+...。这个规则同样适用于hevc的提取。
按照正常的音频提取的逻辑，提取出来的是Opus裸流，播放器无法播放
看了一下FFmpeg的处理，需要封装成Ogg格式，同时查阅了Ogg和Opus的协议文档最终封装成可播放的音频文件
Ogg封装主要有几部分
Ogg是以page为单位封装数据的，page以OggS开头OpusHead，这部分可以从dOps中读取，但需要手动添加OpusHeadCommentHeader，以OpusTags开头，主要放一些无关紧要的信息sample size > 255 bytes，则需要拆分成多个page，因为记录page payload大小的字段只有1个字节，不然播放器会报CRC mismatch!page的页码和前一个page的页码是一样的