Preprocessing with Image Processing Techniques

In order for many of the projects that we aim for to be realized, it is necessary to undergo image processing steps. In this article, we will reveal the pre-processing stages with Gauss, average filter, threshold filters, and Canny Edge Sensor. As a Platform, you can work in Colab like me! In this way, you can perform your projects both very quickly and without taking up space.

Image processing techniques are systems for obtaining various information by analyzing existing images. Image processing techniques work through different mathematical expressions, from the simplest algorithms to the most complex algorithms, depending on their place of use.

In order to use image processing methods, real-world data captured using a previously obtained camera will be processed. Operations were determined as reading data through OpenCV, controlling pixel values in terms of color channels, eliminating noise contained in the image, and using existing filters.

It would be better for our working principle to prepare the data set that we will use for our projects in advance. Images will be extracted from the file using the imread( ) method from your dataset. Let’s get to work by loading the necessary libraries for this process.

📍NOTE: After performing the preprocessing step, I usually use the imshow() function to check the image. But let’s not forget that since our imshow function does not work in Colab, we must install the cv2_imshow module!

The image you see below contains code that allows you to obtain the image and examine the pixel values.

After installing our libraries, we must create a class and copy the path to the PATH variable for the data set that we will use. Because our image processing techniques will work on the images contained in this folder.

As you can see in the imread function, I put 0 next to the file, since the images I use are gray-level images. In this way, even if the hue is possible in the images, this image will turn gray. We can print our first image on the screen using the RGB imshow method.

When we put 0 next to our image, we will have reached the image that you see below. it is possible to print the image that you see on the screen with the cv2_imshow(image) command. After this step, we can move on to the image processing steps.

Image Processing Steps

If you want to see the pixel values of your RGB or gray scale image, you can print it to the screen using the print command. In this way, you will also check which channel you are working on. Since I use an RGB rose image in this image, the pixel values show the following numbers.

📌 RGB Color Channel: RGB is the most commonly used color space. In this color model, each color sees red, green, and blue as its main spectral components. The infrastructure of this model includes a Cartesian coordinate system.

The code required to convert our image to RGB and examine the pixel values is given as follows.

📌 HSV Color Channel: The name of the HSV space comes from the initials hue, saturation and intensity, the English equivalent of the words hue, saturation and brightness. The HSV color space defines color with the terms Hue, Saturation, and Value. Although RGB also uses a mixture of colors, HSV also uses color, saturation, and brightness values. Saturation determines the vitality of the color, while brightness refers to the brightness of the color.

📌 CIE-LAB Color Channel: CIE, 1931 color spaces are the first defined quantitative links between the distribution of wavelengths in the electromagnetic visible spectrum and physiologically perceived colors in human color vision. The mathematical relationships that define these color spaces are essential tools for Color Management, which is important when dealing with recording devices such as color inks, illuminated displays, and digital cameras.

LAB Color Channel

Elimination of Noise In The Image

Because images are real-world data from the camera, they often contain Gaussian noise due to current changes on a camera’s sensor. Noisy images can lead to worse performance in edge detection, which we use for Element detection. Therefore, it is important to reduce this noise.

🖇 There are many methods available in the literature to reduce noise. Today we will discuss 2 methods with you.

  1. Adaptive Threshold Gaussian
  2. Adaptive Threshold Mean
➡️ Adaptive Threshold Gaussian

I have included the Python code in which the Gaussian method is applied to make our images become gaussian noise removed images as follows. It is possible to reach the desired result by manipulating the parameters in the adaptiveThreshold method here.

When Gaussian and average threshold filters, which are frequently used in the literature, are applied on these images, it is seen that almost the same blur (softening) level is approached. These methods are adaptive gaussian filter and average filter application, respectively.

➡️ Adaptive Threshold Mean

Adaptive thresholding is the method by which the threshold value is calculated for smaller regions and therefore there will be different threshold values for different regions.

You will appreciate that there are very minor nuances between Gaussian and Mean filters. You can continue with the filter you want by changing the parameter values yourself.

➡️ Edge Detection

Edge detection is an important technique used to detect features. Canny edge detection algorithm, which is one of the edge detection techniques in the figure, has been run on the images.

Canny Code

Canny Image

REFERENCES

  1. Medium, Cerebro, Using Artificial Intelligence in Image Processing Techniques, April 2018.
  2. Wikipedia, The Free Encyclopedia, ‘Image Processing’, September 2020.
  3. C. Gonzalez, Rafael, E. Woods, Richard, Digital Image Processing, Palme Publishing, (Ankara, 2014).
  4. S. Singh and B. Singh. “Effects of noise on various edge detection techniques”. In: 2015 2nd International Conference on Computing for Sustainable Global Development (INDIACom). Mar. 2015, pp. 827–830.
  5. https://www.tutorialspoint.com/opencv/opencv_adaptive_threshold.htm.
  6. Ajay Kumar Boyat and Brijendra Kumar Joshi. “A Review Paper: Noise Models in Digital Image Processing”. In: CoRR abs/1505.03489 (2015). arXiv: 1505.03489. url: http:// arxiv.org/abs/1505.03489.
  7. T. Silva da Silva et al. “User-Centered Design and Agile Methods: A Systematic Review”. In: 2011 Agile Conference. Aug. 2011, pp. 77–86. doi: 10.1109/AGILE.2011.24.

 

Görüntü İşleme Teknikleri ile Ön İşleme

Hedeflediğimiz birçok projenin gerçekleşmesi için mutlaka görüntü işleme adımlarından geçirilmesi gerekmektedir. Bu yazıda Gauss, Ortalama Filtre, Eşikleme Filtreleri ve Canny Kenar Algılayıcısı ile ön işleme aşamalarını birlikte ortaya koyacağız. Platform olarak benim gibi Colab’ da çalışabilirsiniz! Böylelikle hem çok hızlı hem de yer kaplamadan projelerinizi gerçekleştirebilirsiniz. 

Görüntü işleme teknikleri mevcut resimlerin analizi ile çeşitli bilgiler edinmeye yarayan sistemlerdir. Görüntü işleme teknikleri kullanım yerlerine göre, en basit algoritmalardan en karmaşık algoritmalara kadar farklı matematiksel ifadeler üzerinden çalışır.

Görüntü işleme metotlarının kullanılması için önceden elde edilmiş kamera vasıtasıyla çekilen gerçek dünya verileri üzerinde işlem yapılacaktır. İşlemler sırası ile OpenCV aracılığıyla verinin okunması, piksel değerlerinin renk kanalları açısından kontrolü, görüntüde yer alan gürültünün giderilmesi ve mevcut filtrelerin kullanılması olarak belirlenmiştir.

Projelerimiz için kullanacağımız veri setini daha önceden hazır etmemiz çalışma prensibimiz açısından daha iyi olacaktır. Görüntüler veri setiniz içerisinden imread( ) metodu ile dosyadan çekilecektir. Bu işlemimiz için gerekli kütüphaneleri yüklemekle işe koyulalım.

📍NOT: Ön işleme adımını yaptıktan sonra görüntüyü kontrol etmek için genellikle imshow() fonksiyonunu kullanmaktayım. Ancak Colab’da imshow fonksiyonumuz çalışmadığı için cv2_imshow modülünü yüklememiz gerektiğini unutmayalım!

Aşağıda gördüğünüz görselde görüntünün elde edilmesi ve piksel değerlerinin incelenmesine olanak veren kod yer almaktadır.

Kütüphanelerin Yüklenmesi
Kütüphanelerimizi yükledikten sonra kullanacağımız veri seti için bir klasöe oluşturup path değişkenine yolu kopyalamalıyız. Çünkü görüntü işleme tekniklerimiz bu klasörde yer alan görüntüler üzerinde çalışacaktır.

Kullandığım görüntüler gri seviye görüntüler olduğu için imread fonksiyonunda gördüğünüz gibi dosyanın yanına 0 ibaresini koydum. Bu şekilde görüntülerde renk tonu mümkünse bile bu görüntü gri seviyeye dönüşecektir. İlk görüntümüzü RGB imshow metoduile ekrana bastırabiliriz.

Görüntümüzün yanına 0 koyduğumuzda ise aşağıda gördüğünüz görsele ulaşmış olacağız. cv2_imshow(image) komutu ile ekranda gördüğünüz görseli yazdırmamız mümkündür. Bu adımdan sonra görüntü işleme adımlarına geçebiliriz.

Görüntü İşleme Adımları

RGB veya gri skala görüntünüzün piksel değerlerini görmek istiyorsanız print komutu ile bu şekilde ekrana bastırmanız mümkündür. Böylelikle hangi kanalda çalıştığınızı da kontrol etmiş olacaksınız. Bu görüntüde RGB bir gül görüntüsü kullandığım için piksel değerleri aşağıdaki sayıları göstermektedir.

📌 RGB Renk Kanalı: RGB en yaygın kullanılan renk alanıdır. Bu renk modelinde her renk kırmızı, yeşil ve mavi ana spektral bileşenleri olarak görür. Bu modelin altyapısında Kartezyen Koordinat Sistemi barınmaktadır.

Görüntümüzün RGB’ ye dönüştürülmesi ve piksel değerlerinin incelenmesi için gerekli koda aşağıdaki şekilde yer verilmiştir.

📌 HSV Renk Kanalı: HSV uzayının ismi, renk tonu, doygunluk ve parlaklık kelimelerinin İngilizce karşılığı olan hue, saturation ve intensity kelimelerinin baş harflerinden gelmektedir. HSV renk uzayı Hue, Saturation ve Value terimleri ile rengi tanımlar. RGB de renklerin karışımı kullanılmasına karşın HSV de renk, doygunluk ve parlaklık değerleri kullanılır. Doygunluk rengin canlılığını belirlerken parlaklık rengin aydınlığını ifade eder.

Şekilde yer alan görüntülerde RGB görüntüden HSV’ ye dönüşüm sağlanmıştır. Bir diğer renk kanalı olan LAB kanalı da son olarak incelenerek görüntünün gri seviye formatına dönüşümü sağlanmıştır.

📌 CIE-LAB Renk Kanalı: CIE 1931 renk uzayları, elektromanyetik görünür spektrumdaki dalga boylarının dağılımı ile insan renk görüşünde fizyolojik olarak algılanan renkler arasındaki ilk tanımlanmış kantitatif bağlantılardır. Bu renk uzaylarını tanımlayan matematiksel ilişkiler, renk mürekkepleri, ışıklı ekranlar ve dijital kameralar gibi kayıt aygıtlarıyla uğraşırken önemli olan renk yönetimi için gerekli araçlardır.

 

Görüntüdeki Gürültünün Giderilmesi

Görüntüler kameradan elde edilen gerçek dünya verisi oldukları için bir kameranın sensörü üzerindeki akım değişimlerinden dolayı genellikle Gauss gürültüsü içerir. Gürültülü görüntüler, eleman tespiti için kullandığımız kenar tespitinde daha kötü performansa yol açabilir. Bu nedenle, bu gürültüyü azaltmak önemlidir.

🖇 Gürültü azaltmak için literatürde birçok yöntem mevcuttur. Bugün sizlerle 2 adet yöntemi tartışacağız.

  1. Adaptive Threshold Gaussian
  2. Adaptive Threshold Mean
➡️ Adaptive Threshold Gaussian

Görüntülerimizin gauss gürültüsü giderilmiş görüntüler haline gelmesi için Gaussian yöntemi uygulandığı Python koduna aşağıdaki şekilde yer vermekteyim. Burada yer alan adaptiveThreshold metodu içerisindeki parametreler ile oynanarak istenilen sonuca ulaşmak mümkündür.

Literatürde sıkça yer verilen Gauss ve ortalama eşik filtreleri bu görüntüler üzerinde uygulandığında hemen hemen aynı blurluk (yumuşama) seviyesine yaklaşıldığı görülmüştür. Bu yöntemler sırasıyla adaptif gauss filtresi ve ortalama filtre uygulamasıdır.

➡️ Adaptive Threshold Mean (Ortalama)

Uyarlanabilir (adaptive) eşikleme, eşik değerin daha küçük bölgeler için hesaplandığı yöntemdir ve bu nedenle, farklı bölgeler için farklı eşik değerleri olacaktır.

 

Gaussian ve Mean filtreleri arasında takdir edersiniz ki çok ufak nüanslar vardır. Parametre değerlerini kendiniz değiştirerek istediğiniz filtre ile devam edebilirsiniz.

➡️ Kenar Tespiti

Kenar tespiti, unsurları tespit etmede kullanılan önemli bir tekniktir. Şekilde yer verilen kenar algılama tekniklerinden olan Canny kenar algılama algoritması görüntüler üzerinde çalıştırılmıştır.

Canny Code

Canny Image

REFERANSLAR

  1. Medium, Cerebro, Görüntü İşleme Tekniklerinde Yapay Zekâ Kullanımı, Nisan 2018.
  2. Vikipedi, Özgür Ansiklopedi, ‘Görüntü işleme’, Eylül 2020.
  3. C. Gonzalez, Rafael, E. Woods, Richard, Sayısal Görüntü İşleme, Palme Yayıncılık, (Ankara, 2014).
  4. S. Singh and B. Singh. “Effects of noise on various edge detection techniques”. In: 2015 2nd International Conference on Computing for Sustainable Global Development (INDIACom). Mar. 2015, pp. 827–830.
  5. https://www.tutorialspoint.com/opencv/opencv_adaptive_threshold.htm.
  6. Ajay Kumar Boyat and Brijendra Kumar Joshi. “A Review Paper: Noise Models in Digital Image Processing”. In: CoRR abs/1505.03489 (2015). arXiv: 1505.03489. url: http:// arxiv.org/abs/1505.03489.
  7. T. Silva da Silva et al. “User-Centered Design and Agile Methods: A Systematic Review”. In: 2011 Agile Conference. Aug. 2011, pp. 77–86. doi: 10.1109/AGILE.2011.24.

 

Contour Extraction Using OpenCV

In image processing, the concept called stroke is a closed curve that connects all continuous points that a color or density has. Strokes represent the shapes of objects in an image. Stroke detection is a useful technique for Shape analysis and object detection and recognition. When we do edge detection, we find points where the color density changes significantly, and then we turn those pixels on. However, strokes are abstract collections of points and segments that correspond to the shapes of objects in the image. As a result, we can process strokes in our program, such as counting the number of contours, using them to categorize the shapes of objects, cropping objects from an image (image partitioning), and much more.

Computer Vision

🖇 Contour detection is not the only algorithm for image segmentation, but there are many other algorithms available, such as state-of-the-art semantic segmentation, hough transform, and K-Means segmentation. For better accuracy, all the pipelines we will monitor to successfully detect strokes in an image:

  • Convert image to binary image, it is common practice for the input image to be a binary image (it must be a result of threshold image or edge detection).
  • FindContours( ) by using the OpenCV function.
  • Draw these strokes and show the image on the screen.

Apply Contour on Photoshop

Adobe PS
Before moving on to the encoding of contour extraction, I will first give you an example of Photoshop to give you better acquisitions.
Katmandan kontur çıkarımı
As a first step, to access the window you see above, right-click on any layer in Photoshop’s Layers window and select blending options.
🔎 If the Layers window is not active, you must activate the layers by clicking the Window menu from the top menu. The hotkey for Windows is F7.
It is possible to select the Contour color and opacity you want to create in the image by selecting the Contour tab from the left section. Then, background extraction is made to distinguish the contour extraction that will occur in the image first.
People siluet
After removing the background in the image you see here, I made a selection in yellow tones so that the object is visible in the foreground. After the background is removed, the outer contour will be applied to the image and the detection will be more successful.
People contour

Contour Extraction with Python OpenCV

I use Google Colab and Python programming language as a platform. If there are those who regularly code Python, it is a platform that I can definitely recommend! Come on, let’s start coding step by step.
📌 Let’s import the libraries required for our project as follows.
Gerekli Kütüphanelerin Yüklenmesi
📌 As the second step, we get our image with the imread function.
Görüntünün Alınması
📌 As you know in the world of image processing, our images come in BGR format. The BGR image must first be converted to RGB format and then assigned to the grayscale color channel.
Converting Color Spaces
📌 As the fourth step, a binary threshold operation is performed by specifying a threshold value in the image. To access the mathematics that the binary threshold function runs in the background, you must examine the following formula 👇
Formula
Binary threshold
If you have noticed, the image on which threshold will be applied is selected as a gray level image, not RGB. Please pay attention at this stage. When you follow these steps in order, you will receive the following feedback.
Background
📌In this step, we will use the findContours function to find the contours in the image. The image where the contours will be determined will be the binary image that we have realized the threshold.
Find Contours
📌 We will use drawContours function to draw these contours visually.
Draw Contours
🖇 The parameter cv2.CHAIN_APPROX_SIMPLE in the method removes all unnecessary points and saves memory by compressing the contour.
📌 Now we can print our contour extracted image on the screen.
Imshow contours

In this way, we made our inference. Hope to head to the world of other projects in another article … Stay healthy ✨

REFERENCES

  1. Contour Tracing, http://www.imageprocessingplace.com/downloads_V3/root_downloads/tutorials/contour_tracing_Abeer_George_Ghuneim/intro.html.
  2. Edge Contour Extraction, https://www.cse.unr.edu/~bebis/CS791E/Notes/EdgeContourExtraction.pdf, Pitas, section 5.5, Sonka et al., sections 5.2.4-5.2.5.
  3. https://www.thepythoncode.com/article/contour-detection-opencv-python adresinden alınmıştır.
  4. https://www.subpng.com/png-m7emk6/ adresinden alınmıştır.
  5. OpenCV, https://docs.opencv.org/master/d7/d4d/tutorial_py_thresholding.html.
  6. OpenCV, https://docs.opencv.org/master/d4/d73/tutorial_py_contours_begin.html.