讀入內存:文件-& gt；二進制流->；-& gt；按格式解碼-& gt；應用程序內存數據
寫出文件:應用程序內存數據-& gt；按格式編碼-& gt；二進制流->；文件
長期以來，我們對文本文件的處理非常了解。無論前端的表格或表單等參數，傳遞到後端的本質都是字符串，所以很好理解和處理。
但是對於音頻、圖像、視頻等多媒體文件，我壹直不明白它們的本質。
於是，我詳細地查詢了網上的信息，並將其整合成以下完整的《前世漫談》
視頻的本質:連續的圖像序列。拍視頻就是拍壹系列連續的畫面。
視頻是連續的圖像序列，由連續的幀組成，壹幀就是壹幅圖像。由於人眼的視覺暫留效應，當幀序列以壹定速率播放時，我們看到的是動作連續的視頻。(人眼的幀率是24幀)，所以就變成視頻了。視頻只有壹系列畫面，音頻需要後期配置，音視頻要同步調整。
其中音視頻同步有些復雜，但總的原理是基於音頻播放動態調整視頻的渲染。因為人耳對聲速有很強的感知，但對畫面速度沒有感知。
壹般來說，畫面放得快，聲音放得慢很多。
比較視頻幀的時間戳和音頻幀的時間戳，如果超過壹定閾值，就讓視頻不渲染(掉線)，大概就是這個意思。
有興趣了解更多的人可以閱讀以下博客:
視頻壓縮技術其實原理上和音頻、圖片壓縮技術差不多，主要是減少冗余。講個故事描述壹下大概的發展，可能更容易理解(這個故事僅供理解，如有不妥請指正):
原始視頻其實就是連續畫面的疊加，比如1秒，20幀。拍5秒就是100幀，也就是100張圖片。但是問題很明顯，100張圖片可能很相似，冗余度太高，體積太大。即使采用高壓縮比的jpeg格式，這個65438。
於是人們想到了壹個辦法，所謂的運動其實就是壹段時間內的連續位移。如果我們先確定壹張參考圖片，然後後續圖片只負責記錄與參考圖片的差異，記錄少量的位移差異，豈不是大大減小了文件大小？
於是，視頻壓縮標準應運而生，即根據上述原理進行編解碼的壹套規則。
比如有1s 20幀，20張圖片。第壹張圖是參考圖，包含了所有的完整信息。它是壹個獨立的框架，不依賴於其他圖片。我們稱之為I幀(關鍵幀)。從第2張圖片到第20張圖片，我們不再記錄完整的圖片，而是每張圖片只記錄運動矢量，也就是與上壹張圖片的差異。編碼時，後面的19圖片不完整。解碼時，只需要將內存中的第壹張圖片數據和這些變化的差值拼接還原即可。
這樣壹個完整的20張圖片的組稱為GOP(圖片組)。
比如描述壹個點的移動，比如從坐標5移動到14用了5s，壹張***10的圖片。
記錄在I幀中的該點的初始位置(0，5)和完整的圖像必要信息。
而P幀只記錄了這次變化的差值，每次+1。
編解碼都是從左到右，於是就誕生了I幀和P幀的視頻壓縮技術。將原來的1s 20張圖片壓縮成1s (1張完整圖片+19張細節稍有變化的圖片)。
隨著時代的發展，人們對壓縮技術的要求也在向更小的方向發展，於是我就想，上面的壓縮邏輯是否可以進壹步壓縮？或者以上述點的運動為例:
我們知道，壹般來說，這種運動是有規律的，在短時間內是連續的，如上圖所示。
5+1+1+1+1+1+1+1這樣有規律的動作能壓縮成5個(+1
當然可以，但首先要解決的問題是，我得知道這個點的運動是5-14均勻連續的。如果是不連續的，就不能這麽壓縮。那妳怎麽判斷這個點像這樣真的是均勻連續的呢？於是人們想到了平均:每三張圖片進行壹次比較。如果第二張圖片的運動矢量恰好是第壹張圖片和第三張圖片的平均值，並不意味著是均勻變化。那麽第二張圖不需要單獨記錄，只需要第壹張圖和第三張圖就夠了。
像這樣:
6正好是(5和7)的平均值，說明5 6 7的變化是連續的。編碼6的時候不需要記錄，只需要特別標註就可以了。解碼的時候只需要疊加平均5和7就可以還原了。
我們把6這種同時依賴於前後幀的雙向預測幀稱為B幀。B幀和P幀差不多，但是可以達到比P幀更高的壓縮比:妳的P幀只能記錄變化，我的B幀甚至可以記錄無變化，而妳的P幀卻不滿意。
所以以上過程5-6-7-8-9-10-11-12-13-14-15。
對應幀變更信息5-b-7-b-9-b-11-b-13-b-15。
對應框架I-b-p-b-p-b-b-p-b-p-b-p-b-p-b-p-b-p。
有時候為了追求更高的壓縮比，可能會有更多的B幀。
如ibbb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb bb還有很重要的壹點要註意: