快速 VVC 畫面間預測編碼之研究

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：42

、訪客IP：18.189.22.136

姓名

王義品(Yi-Pin Wang) 查詢紙本館藏

畢業系所

通訊工程學系

論文名稱

快速 VVC 畫面間預測編碼之研究
(Research on Fast VVC Inter Prediction Coding)

相關論文

★ 10Gb/s MM XFP光收發模組設計與實現	★ 資訊產品自動化測試之研究
★ 高電流密度鰭式氮化鎵高電子遷移率電晶體研究	★ 電子郵件及壓縮檔案解碼之研究
★ 渦輪碼在光學記錄系統上之應用	★ 離散餘弦轉換硬體架構之研究
★ 動態影像之錯誤隱藏研究	★ 即時性無失真壓縮編碼之研究
★ 類神經網路在手寫數字辨識之研究	★ 事後機率演算法則在資料儲存系統之研究
★ 紅外線傳輸協定及通道之研究	★ 低密度同位元檢查碼在數位資料儲存系統之研究
★ 一種新型的JPEG2000竄改偵測與還原技術	★ 即時性無失真壓縮之研究
★ 混合快速模式決策演算法之研究	★ 光學記錄MEPR2通道系統之時序恢復探討與研究

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

至系統瀏覽論文 (2027-1-22以後開放)

摘要(中)

在這網路越來越普及且進步的時代下，隨著科技越來越
發達，使得人們對於品質有更高的要求及需求，在高解析度的影
像方面亦是如此，所以為了能夠有效的壓縮大量的資料下，H.266/
VVC 採用了許多更有效的技術，如方形矩形編碼樹單元、碼率
失真最佳化等等，但相隨而來的就是編碼計算複雜度的提升，而
本論文為結合近年來非常熱門的機器學習及深度學習，且應用於
VVC 畫面間預測中，一開始會先使用機器學習中的支持向量機
SVM 進行 CU 的劃分，劃分為後再使用深度學習 CNN 再更進一步
的劃分，最後再結合 CU-PU Decision 演算法把經過 SVM-CNN 區
分後的 Group，再一次地劃分。使得簡單的區塊不再需要去從頭計
算 RDO，經過以上種種且正確的分區。實驗結果與 VVC 相比，整體平均 BDBR 下降 2.03 百分比的情況下，整體編解碼時間節省可
以達到 49.59 百分比。

摘要(英)

Since the development of technalogy , network becomes more
ubiquitous and advanced rapidly . Meanwhile , people are growing their demands and expectations for higher quality, and this trend extends to images with high resolution. To deal with the effective compression of massive data , VVC adopts various techniques , such as QTMT and RateDistortion Optimal . However , these precision processes also result in
high complexity in coding calculations . Then , our work aims at combining popular machine learning and deep learning , applying them to VVC inter prediction . At the beginning , we use machine learning method Support Vector Method on Coding Units(CUs) partition , and then employ the deep learning method Convolutional Neural Network for further refinement . Finally, integrating the CU-PU Decision algorithm and using it to determine the final partition for the groups defined by SVM-CNN allows simple blocks to skip the time-consuming Rate-Distortion Optimization (RDO). After the correct partitioning mentioned above, the experimental results show an average BDBR gain of -2.03%, with a total time-saving of 49.59% compared to VVC.

關鍵字(中)

★ 多功能影像編碼
★ 支持向量機
★ 卷積神經網路
★ 畫面間預測
★ 編碼單元
★ 快速深度決策
★ 機器學習

關鍵字(英)

★ Versatile Video Coding
★ Support Vector Machine
★ Convolutional Neural Network
★ Inter Prediction
★ Coding Unit
★ Fast depth decision
★ Deep learning
★ Machine learning

論文目次

中文摘要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i
英文摘要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
致謝 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
目錄 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i
圖目錄 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
表目錄 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
第 1 章序論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 研究動機及目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 論文架構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 多功能影像編碼 (VVC) 簡介 . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.4 VVC 視訊壓縮編碼架構介紹 . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4.1 編碼單元 (Coding Unit, CU) . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4.2 碼率失真代價函數 (RD cost) . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4.3 量化參數 (Quantization Parameter, QP) . . . . . . . . . . . . . . . . 9
1.5 畫面間預測模式 (Inter Prediction) 介紹 . . . . . . . . . . . . . . . . . . . 12
1.5.1 畫面間模式決策介紹 (Inter Mode Decision) . . . . . . . . . . . . 15
1.5.2 擴展的合併預測模式 (Extended Merge Prediction) . . . . . . 16
1.5.3 進階移動向量預測 (Adaptive Motion Vector Prediction,
AMVP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.5.4 單向預測 (Uni-Prediction) . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.5.5 雙向預測 (Bi-Prediction) . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.6 支持向量機與卷積神經網路介紹 . . . . . . . . . . . . . . . . . . . . . . . . 25
1.6.1 支持向量機 (Support Vector Machine,SVM) . . . . . . . . . . . . 25
1.6.2 捲積神經網路 (Convolutional Neural Network,CNN) . . . . . 28
第 2 章相關文獻回顧 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.1 SVM-CNN 應用於畫面間編碼單元切割之回顧 . . . . . . . . . . . . 34
2.1.1 SVM-CNN 演算法回顧 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.1.2 移動向量變異數 (Motion Vector Variance) . . . . . . . . . . . . . 37
2.1.3 Coded Block Flag(CBF) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.1.4 鄰近編碼單元深度 (Neighboring CU) . . . . . . . . . . . . . . . . . 40
2.1.5 訓練樣本 (Training) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.2 CU Skip - PU 2N 快速決策演算法之回顧 . . . . . . . . . . . . . . . . . 49
2.2.1 快速編碼單元 (CU) 決策演算法 . . . . . . . . . . . . . . . . . . . . . 49
2.2.2 CU Skip-PU 2N 之快速決策演算法 . . . . . . . . . . . . . . . . . . 54
2.3 畫面間編碼中 CU 及 PU 快速分割演算法之回顧 . . . . . . . . . . 60
2.3.1 改善 SVM-CNN 之演算法 . . . . . . . . . . . . . . . . . . . . . . . . . . 60
2.3.2 改善 CU Skip - PU 2N 之演算法 . . . . . . . . . . . . . . . . . . . . . 65
第 3 章結合 SVM-CNN/CU Skip - PU 2N 應用於 VVC 及 HEVC 中畫面間
編碼決策算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.1 HEVC 快速演算法之統計分析與實驗結果 . . . . . . . . . . . . . . . . 69
3.1.1 SVM-CNN 應用於 HEVC 快速演算法之統計分析與實
驗結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.1.2 CU Skip- PU 2N 應用於 HEVC 快速演算法之統計分與
析實驗結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.1.3 結合 SVM-CNN/ CU Skip - PU 2N 應用於 HEVC 快速演
算法之統計分析與實驗結果 . . . . . . . . . . . . . . . . . . . . . . . . 80
3.2 VVC 快速演算法之統計分析與實驗結果 . . . . . . . . . . . . . . . . . 85
3.2.1 SVM-CNN 應用於 VVC 快速演算法之統計分析與實驗
結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
3.2.2 CU Skip- PU 2N 應用於 VVC 快速演算法之統計分與析
實驗結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
3.2.3 結合 SVM-CNN/ CU Skip - PU 2N 應用於 VVC 快速演
算法之統計分析與實驗結果 . . . . . . . . . . . . . . . . . . . . . . . . 97
3.3 HEVC 與 VVC 性能比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
第 4 章VVC 之 CU0 的畫面間快速決策算法探討 . . . . . . . . . . . . . . . . . . . . . . . 106
4.1 VVC 之 CU0 的畫面間快速決策算法 . . . . . . . . . . . . . . . . . . . . 106
4.2 回顧結合 CNN 應用於 VVC 之快速分割模式決策演算法與
比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
第 5 章結論與未來展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
參考文獻 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

參考文獻

[1] Z. Pan, P. Zhang, B. Peng, N. Ling, and J. Lei, “A cnn-based fast inter coding method for vvc,” IEEE Signal Processing Letters, vol. 28,
pp. 1260–1264, 2021.
[2] X. HoangVan, S. NguyenQuang, M. DinhBao, M. DoNgoc, and
D. Trieu Duong, “Fast qtmt for h.266/vvc intra prediction using
early-terminated hierarchical cnn model,” in 2021 International
Conference on Advanced Technologies for Communications (ATC),
2021, pp. 195–200.
[3] J. Li, S. Zhang, and F. Yang, “Random forest accelerated cu partition for inter prediction in h.266/vvc,” in 2022 IEEE International
Conference on Multimedia and Expo (ICME), 2022, pp. 01–06.
[4] G. Venugopal, K. Müller, D. Marpe, and T. Wiegand, “A unified
region-based template matching approach for intra and inter prediction in vvc,” in 2019 IEEE International Conference on Image
Processing (ICIP), 2019, pp. 4115–4119.
[5] Y. Liu, M. Abdoli, T. Guionnet, C. Guillemot, and A. Roumy,
“Light-weight cnn-based vvc inter partitioning acceleration,” in
2022 IEEE 14th Image, Video, and Multidimensional Signal Processing Workshop (IVMSP), 2022, pp. 1–5.
[6] C. Po Hao, “Fast cu partition for h.266/vvc intra prediction with
cnn and random forest,” Jan 2023, department of Communication
Engineering, National Central University, Taiwan 32054, R.O.C.
[7] N. Tang, J. Cao, F. Liang, J. Wang, H. Liu, X. Wang, and X. Du,
“Fast ctu partition decision algorithm for vvc intra and inter coding,” in 2019 IEEE Asia Pacific Conference on Circuits and Systems
(APCCAS), 2019, pp. 361–364.
[8] Y.-S. Ciou, M.-J. Chen, C.-H. Yeh, C.-R. Lu, M.-C. Hsieh, and
C. Lo, “Fast multi-type tree partition for h.266/vvc inter coding,”in 2022 IEEE International Conference on Consumer Electronics -
Taiwan, 2022, pp. 471–472.
[9] C.-R. Lu, M.-J. Chen, and C.-H. Yeh, “Fast inter coding algorithm
using conditional probability and correlation analysis for h.266/
vvc,” in 2023 International Conference on Consumer Electronics
- Taiwan (ICCE-Taiwan), 2023, pp. 741–742.
[10] W. Kuang, X. Li, X. Zhao, and S. Liu, “Unified fast partitioning
algorithm for intra and inter predictions in versatile video coding,”
in 2022 Picture Coding Symposium (PCS), 2022, pp. 271–275.
[11] D. H. Yang, “Svm/cnn-based ctu partition for hevc inter prediction,” Jan 2021, department of Communication Engineering, National Central University, Taiwan 32054, R.O.C.
[12] J. K. Liu, “Efficient hevc inter prediction using svm,” department of
Communication Engineering, National Central University, Taiwan
32054, R.O.C.
[13] J.-L. Lin, Y.-W. Chen, Y.-W. Huang, and S.-M. Lei, “Motion vector
coding in the hevc standard,” IEEE Journal of Selected Topics in
Signal Processing, vol. 7, no. 6, pp. 957–968, 2013.
[14] K. Kim and W. W. Ro, “Fast cu depth decision for hevc using neural
networks,” IEEE Transactions on Circuits and Systems for Video
Technology, vol. 29, no. 5, pp. 1462–1473, 2019.
[15] Y. D. Tsai, “Research on fast hevc inter prediction coding,” Jan
2019, department of Communication Engineering, National Central
University, Taiwan 32054, R.O.C.
[16] T. Y. Wei, “Efficient cu and pu partitions for hevc inter prediction,” Jan 2023, department of Communication Engineering, National Central University, Taiwan 32054, R.O.C.

指導教授

林銀議(Yin-Yi Lin)

審核日期

2024-1-22

推文