Doğadaki kuşlardan esinlenerek yapay zekâ yöntemleriyle renk paleti üretimi
Yükleniyor...
Dosyalar
Tarih
2023
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Bursa Teknik Üniversitesi, Lisansüstü Eğitim Enstitüsü
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
Renk paletleri veya bir başka ifadeyle renk şemaları görsel tasarım, moda, iç mekan tasarımı gibi birçok alanı yakından ilgilendiren güncel konulardan biridir. Renk paleti oluşturmada ise doğadaki kuşlar, çiçekler gibi bünyesinde birçok renk barındıran canlılar muazzam bir kayanktır. Literatürde renk paleti oluşturmaya yönelik çeşitli çalışmalar yapılmıştır. Mevcut çalışmalarda canlılara ait görsellerin tamamı üzerinden renk çıkarma işlemleri gerçekleştirilmiştir. Bir canlıya ait görsellerde renk açısından canlı ile uyumlu olmayan arka planlar olabilmektedir. Bu durumda oluşturulan bir renk paleti, etkileyici ve uyumlu olma özelliğini yansıtmayacaktır. Dolayısıyla görselin tamamı yerine bir canlıya ait renklerin çıkarılması daha isabetli olacaktır. Bu tezde literatürdeki bu boşluğu doldurmak için renk paleti üretiminde 3 farklı hibrit yöntem oluşturulmuştur. Bu hibrit yöntemler; Mask R-CNN ile K-means, Mask R-CNN ile Fuzzy C-means ve Mask R-CNN ile Pix2PixGAN yöntemlerinin birlikte kullanılması ile elde edilmiştir. Mask R-CNN yöntemi ile renk paleti çıkarımında elverişli olan bir görselde bir canlının tespiti yapılarak ilgili canlı arka plandan ayrılmaktadır. Daha sonrasında canlının üzerindeki renkler tespit edilerek renk paletleri üretilmektedir. Doğada renk paleti üretiminde faydalanılabilecek çok fazla kaynak olduğu için bu tezde kuşlar üzerine odaklanılmıştır. Literatürde daha önce renk paleti üretiminde kuşları referans alan herhangi bir çalışmaya rastlanmamıştır. Bu tezde farklı renk kombinasyonlarını (2 ile 7 arasında) üzerlerinde barındıran kuşlardan örnekler seçilerek 120 kuş görseli ile bir veri seti oluşturulmuştur. Bu veri setine kuşların tespitini zorlaştıracak kuş ile aynı renge sahip arka plan olması veya bu arka planın karmaşık olması (birçok öğe içermesi) gibi canlı tespitini zorlaştıracak alt problemler de eklenmiştir. Her bir hibirt yöntemin başarısı bu veri seti üzerinde test edilmiştir. Yapılan deneysel sonuçlarda Mask R-CNN tabanlı ön işleme yönteminin söz konusu alt problemlere karşı dayanıklı olduğu tespit edilmiştir. Bu yöntem ile %99,6 oranında başarı elde edilmiştir. Mask R-CNN tabanlı ön işleme yöntemiyle kuşlar arka plandan başarılı bir şekilde ayrıştırıldıktan sonra kuşlara ait renk paletleri üretilmiştir. Renk paleti üretilmesinde en başarılı sonucu Fuzzy C-Means tabanlı yöntem vermiştir. K-Means tabanlı renk paleti üreten yöntem, kuşun küçük bir bölgesinde olan baskın renkleri çıkarmada yetersiz kaldığı görülmüştür. Bu her iki yöntemde de kuşlara ait baskın renk sayısının önceden bilinme gerekliliği (yönteme parametre olarak girilmesi) dezavantaj oluşturmaktadır. Pix2Pix GAN modeli tabanlı renk paleti üreten yöntemde ise böyle bir zorunluluk olmaması bir avantaj oluştursa da bu yöntemin eğitilmesinde daha çok veriye ihtiyaç duyulduğu görülmüştür. Yapılan deneysel sonuçlarda bu yöntemin başarı seviyesi diğer hibrit yöntemlere oranla daha düşük kalmıştır. Bu nedenle bu yöntemin iyileştirilmesi gerektiği görülmüştür. Sonuç olarak bu tez kuşlara ait renk paleti çıkarımında ilk çalışma olup görsel tasarım alanında uğraşanlar için önemli bir ilham kaynağı olmakla birlikte kuşlar üzerine çalışma yapan araştırmacılara da önemli sayılabilecek bir veri kaynağı hazırlanmıştır. Veri setinin sayıca ve nitelik bakımından güçlendirildiği ve de bununla birlikte renk paleti çıkarma yöntemlerinin iyileştirildiği takdirde söz konusu katkılar çok daha fazla olacaktır.
Color palettes, or alternatively, color schemes, are contemporary topics closely related to various fields such as visual design, fashion, and interior design. In the creation of color palettes, living organisms containing a myriad of colors, such as birds and flowers in nature, serve as tremendous sources of inspiration. Existing studies in the literature have focused on extracting colors from entire visual representations of living organisms. However, it is possible for backgrounds in images of living organisms to be incompatible with the colors of the organisms, leading to a color palette that may not reflect an impressive and harmonious quality. Therefore, it is more accurate to extract colors specifically from the living organisms rather than the entire image. To address this gap in the literature, this thesis introduces three hybrid methods for color palette generation. These hybrid methods involve the combination of Mask R-CNN with K-means, Mask R-CNN with Fuzzy C-means, and Mask R-CNN with Pix2PixGAN. The Mask R-CNN method is employed to detect a living organism in a visually favorable image, allowing for the separation of the organism from the background. Subsequently, the colors on the organism are identified to generate color palettes. Given the abundance of potential sources for color palette generation in nature, this thesis specifically focuses on birds. Notably, no prior studies have been identified in the literature that utilize birds as a reference for color palette generation. A dataset comprising 120 bird images is created by selecting examples of birds with different color combinations (ranging from 2 to 7 colors). To make bird detection challenging, additional sub-problems are introduced, such as having a background of the same color as the bird or a complex background with multiple elements. The success of each hybrid method is tested on this dataset. Experimental results reveal the resilience of the Mask R-CNN-based preprocessing method against these sub-problems, achieving a success rate of 99.6%. After successfully separating birds from the background using the Mask R-CNN-based preprocessing method, color palettes specific to the birds are generated. Among the methods for color palette generation, the Fuzzy C-Means-based approach yields the most successful results. The K-Means-based method proves insufficient in extracting dominant colors in small regions of birds. Both methods suffer from the disadvantage of requiring prior knowledge of the number of dominant colors in birds, specified as a parameter in the method. The Pix2Pix GAN model-based method, while not constrained by such a requirement, exhibits a need for more extensive training data and achieves a lower level of success compared to other hybrid methods. Therefore, there is a need for further improvement in this method. In conclusion, this thesis represents the first endeavor in extracting color palettes from birds, offering valuable insights for those engaged in visual design and providing a significant data source for researchers focusing on birds. The contributions of this work can be further enhanced with an increase in the quantity and quality of the dataset, coupled with improvements in color palette extraction methods.
Color palettes, or alternatively, color schemes, are contemporary topics closely related to various fields such as visual design, fashion, and interior design. In the creation of color palettes, living organisms containing a myriad of colors, such as birds and flowers in nature, serve as tremendous sources of inspiration. Existing studies in the literature have focused on extracting colors from entire visual representations of living organisms. However, it is possible for backgrounds in images of living organisms to be incompatible with the colors of the organisms, leading to a color palette that may not reflect an impressive and harmonious quality. Therefore, it is more accurate to extract colors specifically from the living organisms rather than the entire image. To address this gap in the literature, this thesis introduces three hybrid methods for color palette generation. These hybrid methods involve the combination of Mask R-CNN with K-means, Mask R-CNN with Fuzzy C-means, and Mask R-CNN with Pix2PixGAN. The Mask R-CNN method is employed to detect a living organism in a visually favorable image, allowing for the separation of the organism from the background. Subsequently, the colors on the organism are identified to generate color palettes. Given the abundance of potential sources for color palette generation in nature, this thesis specifically focuses on birds. Notably, no prior studies have been identified in the literature that utilize birds as a reference for color palette generation. A dataset comprising 120 bird images is created by selecting examples of birds with different color combinations (ranging from 2 to 7 colors). To make bird detection challenging, additional sub-problems are introduced, such as having a background of the same color as the bird or a complex background with multiple elements. The success of each hybrid method is tested on this dataset. Experimental results reveal the resilience of the Mask R-CNN-based preprocessing method against these sub-problems, achieving a success rate of 99.6%. After successfully separating birds from the background using the Mask R-CNN-based preprocessing method, color palettes specific to the birds are generated. Among the methods for color palette generation, the Fuzzy C-Means-based approach yields the most successful results. The K-Means-based method proves insufficient in extracting dominant colors in small regions of birds. Both methods suffer from the disadvantage of requiring prior knowledge of the number of dominant colors in birds, specified as a parameter in the method. The Pix2Pix GAN model-based method, while not constrained by such a requirement, exhibits a need for more extensive training data and achieves a lower level of success compared to other hybrid methods. Therefore, there is a need for further improvement in this method. In conclusion, this thesis represents the first endeavor in extracting color palettes from birds, offering valuable insights for those engaged in visual design and providing a significant data source for researchers focusing on birds. The contributions of this work can be further enhanced with an increase in the quantity and quality of the dataset, coupled with improvements in color palette extraction methods.
Açıklama
Anahtar Kelimeler
Computer aided design, Görüntü bölütleme, Image segmentation, Görüntü işleme-bilgisayarlı, Image processing-computer assisted, Sayısal görüntü işleme, Digital image processing, Bilgisayar destekli tasarım
