近年來使用人工智慧自主創作的領域蓬勃發展，而影像生成為其中發展最佳的技術之一。使用深度學習生成對抗網路生成影像通常需要大量的訓練資料以及較長的運算時間，所需的運算設備也較為昂貴。對於一般大眾使用者來說，通常得仰賴於使用他人所訓練好的生成模型來進行創作，而無法隨意的依照個人喜好進行多種類別的影像生成創作。本計畫提出一基於少量訓練樣本之卡通影像創作系統，此自動創作可處理生成以彩色區塊為主要組成之卡通圖案。將同種類的訓練資料輸入系統，透過分割及分群，分析各區域間的組成關係，並加以重新組合的方式生成新的卡通圖案。先以預訓練的卷積神經網路模型提取輸入區域特徵，再使用淺層網路評估特徵群數並以非監督式學習的方式來對區域進行分群，故運算成本以及資料量需求與深度學習相比皆為較低，且不須任何樣本標記資訊。透過降低對訓練資料集的需求，使圖像生成系統能更加容易地達到多類別圖像生成。在取得區域部位之間的鄰近相連關係之後，將各個區域部位實作修補、形變、組合等等，創作出全新的圖像，相較於直接使用生成對抗網路生成圖片，本計畫所提出之方法，能在運算時間、訓練資料集數量與硬體資源上取得優勢。在實驗中可見，其創作的訓練資料只要數張，就能有全新的創作，越多的訓練資料則能有更多樣性的創作。更進一步，可使用本系統自帶的隨機參數與使用者的參數可交叉產合出無數種組合，如此創作出大量影像可進一步作為資料擴增技術，自動產生出訓練生成對抗網路所需之大量訓練資料，增進生成對抗網路所產生的影像品質。因此，本計畫所提出之方法不僅可在低運算資源下使用少量訓練樣本產生新的卡通影像，當運算資源充裕時，亦可藉以產生大量的訓練影像幫助建立穩定的生成對抗網路模型，達到更好的影像生成效果。 ;Image generation based on artificial intelligence is one of the topics that have been widely discussed in the field of computer science in recent years. In this project, a framework that can automatically create cartoon images with small training datasets is proposed. The proposed system performs region segmentation and learns a region relationship tree from each learning image. The segmented regions are clustered automatically with an enhanced clustering mechanism with no prior knowledge of number of clusters. According to the topology represented by region relationship tree and clustering results, the regions are reassembled to create new images. A swarm intelligence optimization procedure is designed to coordinate the regions to the optimized sizes and positions in the created image. Rigid deformation using moving least squares is performed on the regions to generate more variety for created images. Compared with methods based on Generative Adversarial Networks, the proposed framework can create better images with limited computation resources and a very small amount of training samples. Furthermore, the proposed method can be applied to perform data augmentation for Generative Adversarial Networks to enhance the quality of generated images.
