以ResNet演算法應用於HEVC畫面內解碼端後處理

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：41

、訪客IP：3.144.25.74

姓名

崔博翔(Po-Hsiang Tsui) 查詢紙本館藏

畢業系所

通訊工程學系

論文名稱

以ResNet演算法應用於HEVC畫面內解碼端後處理
(Post-Processing for HEVC Intra Prediction with ResNet algorithm)

相關論文

★ 10Gb/s MM XFP光收發模組設計與實現	★ 資訊產品自動化測試之研究
★ 高電流密度鰭式氮化鎵高電子遷移率電晶體研究	★ 電子郵件及壓縮檔案解碼之研究
★ 渦輪碼在光學記錄系統上之應用	★ 離散餘弦轉換硬體架構之研究
★ 動態影像之錯誤隱藏研究	★ 即時性無失真壓縮編碼之研究
★ 類神經網路在手寫數字辨識之研究	★ 事後機率演算法則在資料儲存系統之研究
★ 紅外線傳輸協定及通道之研究	★ 低密度同位元檢查碼在數位資料儲存系統之研究
★ 一種新型的JPEG2000竄改偵測與還原技術	★ 即時性無失真壓縮之研究
★ 混合快速模式決策演算法之研究	★ 光學記錄MEPR2通道系統之時序恢復探討與研究

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

至系統瀏覽論文 (2025-1-21以後開放)

摘要(中)

在科技迅速發展的現今，人們的生活與科技產品形影不離，對於影像方面的追求也逐步提升，但隨著影像解析度越來越高的同時，所需負擔的無疑是龐大的資料傳輸量，為了更有效的對這些影像進行壓縮，HEVC(High Efficiency Video Coding)使用的壓縮技術能比上一代的壓縮標準提高約兩倍的壓縮率，但是在編碼壓縮的同時，影像會產生不可逆的失真，如何在節省時間的同時，讓失真影像盡可能地接近原始影像正是研究的重點。
近幾年也有許多研究是以深度學習應用於HEVC中增強影像品質，本論文是在HEVC畫面內預測中以後處理的方式提出了二個主題來增強影像品質，第一種是以高斯遮罩的方式提供網路模型額外資訊，與HEVC參考程式HM-16.0相比可以提升0.285(dB)的BDPSNR與降低5.16(%)的BDBR，第二種則是以ResNet架構的方式使模型性能進一步提升，可以提升0.319(dB)的Y-BDPSNR與降低5.79(%)的Y-BDBR。

摘要(英)

Nowadays,with the rapid development of technology,people ′s life is inseparable from technological products, and the pursuit of images is gradually improving. However,as the resolution of images becomes higher and higher,the burden is undoubtedly a huge amount of data transmission.
In order to compress these images more effectively,the compression technology used by HEVC(High Efficiency Video Coding) can increase the compression rate about twice as much as that of the previous generation of compression standards. However,the image will produce irreversible distortion at the same time of encoding and compressing. How to make the distorted image as close to the original image as possible while saving time is the focus of research.
In recent years, there have been many studies on the application of deep learning in HEVC to enhance image quality. In this paper, two topics are proposed to enhance image quality by post-processing for HEVC Intra prediction. The first one is Gaussian mask,the method provides additional information to the CNN model. Compared with the HEVC reference program HM-16.0,it can increase the BDPSNR by 0.285 (dB) and reduce the BDBR by 5.16 (%).The second method is to further improve the model performance by using the ResNet architecture. It can increase Y-BDPSNR of 0.319 (dB) and decrease Y-BDBR of 5.79 (%).

關鍵字(中)

★ HEVC
★ 畫面內預測
★ 影像後處理
★ 高斯遮罩
★ ResNet

關鍵字(英)

★ HEVC
★ Intra Prediction
★ Image post-processing
★ Gaussian mask
★ ResNet

論文目次

章節目錄
論文摘要 VII
Abstract VIII
誌謝 X
章節目錄 XI
圖目錄 XIV
表目錄 XVIII
第一章、緒論 1
1.1 高效率視訊編碼（HEVC）介紹 1
1.2 HEVC編碼架構介紹 2
1.2.1 編碼單元(Coding Unit) 3
1.2.2 預測單元(Prediction Unit) 5
1.2.3 轉換單元（Transform Unit） 6
1.2.4 碼率失真函數（RD Cost） 6
1.2.5量化參數（Quantization Parameter） 8
1.2.6畫面內編碼預測（Intra Prediction） 8
1.3 支持向量機（Support Vector Machine）介紹 11
1.4 深度學習介紹 14
1.4.1 人工神經網路（Artificial Neural Network） 15
1.4.2 深度神經網路（Deep Neural Network） 16
1.4.3 卷積神經網路（Convolutional Neural Network,CNN） 19
1.5 研究動機與目的 21
1.6 論文架構 22
第二章、相關技術與文獻回顧 23
2.1 超分辨率(Super-Resolution,SR) 23
2.2 SVM應用於HEVC編碼單元(CU)快速深度決策演算法 25
2.2.1 支持向量機特徵選取介紹 26
2.2.2 快速深度決策演算法 30
2.2.3 模型訓練類型與模型量化 31
2.2.4 實驗性能 36
2.3 CNN應用於HEVC增進影像品質之相關文獻 37
2.3.1 Enhancing HEVC Compressed Videos With A Partition-Masked Convolutional Neural Network 37
2.3.2 An In-Loop Filter Based on Low-Complexity CNN using Residuals in Intra Video Coding 41
2.3.3 CNN-Based Post-Processing for HEVC Intra Prediction 44
第三章、利用卷積神經網路以高斯特徵遮罩增強圖片品質 48
3.1 系統架構 49
3.2 高斯遮罩與平均值遮罩 51
3.2.1 環境配置 52
3.2.2 訓練資料前處理階段 52
3.2.3 訓練階段 54
3.2.4 測試階段 57
3.2.5 性能探討 58
3.3 雙通道架構 63
3.3.1 前處理階段 63
3.3.2 訓練階段 63
3.3.3 測試階段 65
3.3.4 性能探討 65
3.4 三通道架構 66
3.4.1 前處理階段 66
3.4.2 訓練階段 67
3.4.3 測試階段 69
3.4.4 性能探討 69
3.4.5 碼率失真曲線分析 71
3.4.6 經由模型增強後影像差異 74
第四章、以ResNet模型架構應用於HEVC解碼端後處理 78
4.1 單通道架構 79
4.1.1 訓練階段 79
4.1.2 測試階段 81
4.1.3 性能探討 81
4.2 雙通道架構 83
4.2.1 訓練階段 83
4.2.2 測試階段 85
4.2.3 性能探討 85
4.3 三通道架構 87
4.3.1 訓練階段 88
4.3.2 測試階段 89
4.3.3 性能探討 90
4.4 碼率失真曲線分析 93
4.5 架構間圖片差異 96
第五章、結論與未來展望 100
參考文獻 101

參考文獻

[1] ITU-T Rec. H.263,“Video Codec for Low Bit Rate Communication, ”1996.
[2] I.E.G.Richardson, H.264 and MPEG-4 Video Compression: Video Coding for Next-generation Multimedia. Aberdeen, U.K.:John Wiley & Sons,2003.
[3]“Generic coding of moving pictures and associated audio information,” ISO/IEC 13818-2: Video (MPEG-2),May 1996.
[4]“Coding of audio-visual objects - Part 2: Visual,” in ISO/IEC 14496-2 (MPEG-4 Visual Version 1),Apr.1999.
[5] G.J.Sullivan, J.R.Ohm, W.J.Han and T.Wiegand,” Overview of the High Efficiency Video Coding (HEVC) Standard,”IEEE Trans.CSVT,
Vol.22, no.12,Dec.2012.
[6] J.Kim, J.K. Lee, K.M. Lee,“Accurate Image Super-Resolution Using
Very Deep Convolutional Networks”,The IEEE Conference on Computer
Vision and Pattern Recognition (CVPR),2016,pp.1646-1654
[7] K.He, X.Zhang, S.Ren, J.Sun,“Deep Residual Learning for Image Recognition”,The IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2016,pp.770-778
[8] B. Lim, S. Son, H. Kim, S. Nah and K. M. Lee, "Enhanced Deep Residual Networks for Single Image Super-Resolution," 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2017, pp. 1132-1140
[9] S.J. Cai,“Reduction of computation complexity for HEVC intra prediction with support vector machine,”National Central University, Master Thesis, Jun 2017.
[10] X.He, Q.Hu, X.Han, X.Zhang, C.Zhang, W.Lin, "Enhancing Hevc Compressed Videos With A Partition-Masked Convolutional Neural Network", International Conference on Image Processing(ICIP) 2018, pp.216-220
[11] Daowen Li, Lu Yu,“An In-Loop Filter Based on Low-Complexity CNN using Residuals in Intra Video Coding”, 2019 IEEE International Symposium on Circuits and Systems (ISCAS)
[12] S.M. Fan,“Study of A Deep Learning Architecture For HEVC Decoder”, Department of Communication Engineering National Central University, Taiwan 32054, R.O.C., Jan 2020.
[13] C.H. Chen,“CNN-Based Post-Processing for HEVC Intra Prediction”, Department of Communication Engineering National Central University, Taiwan 32054, R.O.C., July 2020.
[14] C.K Hsieh,“CNN-Based Post-Processing for HEVC Inter Prediction,” Department of Communication Engineering National Central University, Taiwan 32054, R.O.C., July 2020.

指導教授

林銀議(Yin-Yi Lin)

審核日期

2022-1-25

推文