基于Tensorflow的智能垃圾分類(lèi)系統的研究與設計

　　祝朝坤，魏倫勝（鄭州工商學(xué)院，河南?鄭州?451400）

　　摘?要：本研究旨在開(kāi)發(fā)一種基于TensorFlow的深度學(xué)習應用程序，該應用程序通過(guò)OpenCV圖像處理檢測垃圾中的垃圾類(lèi)型。為了提供最有效的方法，本研究對眾所周知的深度卷積神經(jīng)網(wǎng)絡(luò )體系結構進(jìn)行了實(shí)驗。經(jīng)測試Inception-v4的準確率要優(yōu)于其他同類(lèi)模型。本研究的模型是經(jīng)過(guò)精心優(yōu)化的深度卷積神經(jīng)網(wǎng)絡(luò )體系結構，用于對選定的可回收對象類(lèi)別進(jìn)行分類(lèi)，其數據將通過(guò)STM32硬件端進(jìn)行分析進(jìn)而控制整個(gè)垃圾分類(lèi)系統。

　　關(guān)鍵詞：TensorFlow；Inception-v4；垃圾分類(lèi)；STM32；OpenCV

　　0 引言

　　使用傳統的工藝對垃圾進(jìn)行分類(lèi)，需要增加人力和物力以及時(shí)間。在當前人工智能越來(lái)越普及的大時(shí)代背景之下，利用圖像處理對垃圾進(jìn)行分類(lèi)是一種非常有效的方法。本研究的主要目的是設計一種基于深度學(xué)習算法的全自動(dòng)垃圾分類(lèi)系統來(lái)對常見(jiàn)垃圾進(jìn)行分類(lèi)。深度學(xué)習的方法已經(jīng)成功應用到了各個(gè)領(lǐng)域，例如自動(dòng)駕駛、醫學(xué)成像和多種工業(yè)環(huán)境，在對象檢測問(wèn)題上取得了顯著(zhù)成果。

　　1 系統結構流程圖

　　由框圖可以知道本系統主要是由軟件和硬件的組合，其中算法處理部分在PC端進(jìn)行，將垃圾置于擋板上，由PC端進(jìn)行OpenCV圖像處理分割以及數據集的訓練和識別，繼而通過(guò)藍牙將數據發(fā)送到MCU核心端控制垃圾桶旋轉，與此同時(shí)，擋板打開(kāi)，垃圾落入指定的格子內，從而完成垃圾自動(dòng)分類(lèi)。舵機用于控制擋板的開(kāi)啟以及關(guān)閉，步進(jìn)電機控制垃圾桶精確角度的旋轉，TTS串口語(yǔ)音播報模塊實(shí)時(shí)播報當前的垃圾種類(lèi)，進(jìn)而由OLED顯示出來(lái)，以方便使用者查看信息。

　　2 硬件設計

　　硬件端以STM32F1為核心，控制OLED模塊、藍牙模塊、TTS語(yǔ)音模塊以及步進(jìn)電機，通過(guò)各種硬件實(shí)現了各種功能，硬件系統總體結構如圖2。

　　3 TensorFlow算法設計

　　本研究的核心是TensorFlow，其用于數據集模型的訓練，從而提升圖像識別的準確率以及實(shí)現精準分類(lèi)。

　　3.1 數據集的訓練

　　本研究的重點(diǎn)是對可回收材料進(jìn)行分類(lèi)，該研究目的是識別一些最常見(jiàn)的可回收材料，例如玻璃，紙張，紙板，塑料，金屬和垃圾。由于沒(méi)有公開(kāi)的垃圾數據集，故在該研究中需要手工收集自己的圖像數據集，由于每一類(lèi)的規模較小，所以對每一幅垃圾圖像都進(jìn)行了圖像處理。包括圖像的隨機旋轉、圖像的隨機亮度控制、圖像的隨機平移、圖像的隨機縮放和圖像的隨機剪切，此外還執行了均值減法和歸一化。數據集包含六類(lèi)可回收對象，數據集的圖像具有白色背景，每張照片都會(huì )選擇不同的方向和曝光度。圖3顯示了來(lái)自數據集的部分樣本圖像。

　　3.2 CNN 卷積神經(jīng)網(wǎng)絡(luò )

　　CNN旨在明確用于圖像分類(lèi)，該算法首先從數據集中輸入圖像，它將輸入作為激活量，也將輸出作為激活量。因此，在CNN中，中間層不像普通的人工神經(jīng)網(wǎng)絡(luò )那樣是法向量，而是具有高度，寬度和深度的空間維度。該算法主要分為三層:卷積層、最大池化層和全連接層。

　　卷積層：該層接收一些輸入量，在這種情況下，圖像將具有特定的高度，寬度和深度。它存在一些過(guò)濾器，它們基本上是由隨機數初始化的矩陣。濾鏡在空間上較小，但深度與輸入圖像的通道相同，對于RGB，濾鏡的深度為3，對于灰度，濾鏡的深度為1，依此類(lèi)推，過(guò)濾器在輸入量上進(jìn)行卷積。它在圖像中進(jìn)行空間滑動(dòng)，并在整個(gè)圖像中計算點(diǎn)積，過(guò)濾器最終為輸入圖像生成激活圖。點(diǎn)積的計算方式如下：

　　其中 W = 濾波器、 x = 輸入圖像 b = 偏差，在每個(gè)卷積層的末端，CNN最終會(huì )獲取濾波器的激活圖。激活函數為ReLu：

　　此激活函數最終會(huì )舍棄零以下的值，即將最小值閾值設為零。

　　最大池化層：最大池化基本上只是激活映射的下采樣層，通常使用 2 2 × 過(guò)濾器和步長(cháng)為2的最大池化層，最終將輸入激活圖縮小為一半的空間圖。池化的另一種方法是平均池化，在這種方法中，子矩陣的最大值保留為下一層的平均值而不是最大值。

　　完全連接層：完全連接層在最后將體積作為輸入，它像正常的神經(jīng)網(wǎng)絡(luò )一樣完全連接到整個(gè)輸入量，該層執行最后一個(gè)矩陣乘法器以計算輸出。

　　在傳統的多層神經(jīng)網(wǎng)絡(luò )中，神經(jīng)元第一層與下一層中的所有神經(jīng)元相連；卷積層在上一層的輸出上建立本地連接，全連接層執行矩陣乘法，卷積層使用卷積過(guò)程，如等式(1)所示的線(xiàn)性數學(xué)過(guò)程：

　　當等式1被用于連續域時(shí)，可以得到等式2的情況：

　　x [k] 在等式2中可以寫(xiě)成 x [k?j] ， 同 樣 ，x [k?j]可以在等式中轉換為 x [k+j]。如等式3，它并不影響結果。

　　在進(jìn)行卷積過(guò)程中，w是卷積層的濾波器，x是這一層的輸入， f ( . ) 是激活函數sigmoid，是將輸入向量與卷積層上神經(jīng)元的權重向量 ( w ) 執行點(diǎn)積的一個(gè)數學(xué)過(guò)程。步幅 ( ζ ) 是一個(gè)參數，可以定義為卷積過(guò)程中過(guò)濾器窗口輸入窗口上的偏移量，也可在等式4中被計算出來(lái)：

　　采用正整數 ζ 參數的原因是在卷積過(guò)程中加入樣本稀疏函數來(lái)減小卷積過(guò)程中輸入的大小。

　　該研究對CNN的多種模型進(jìn)行了實(shí)驗，最終發(fā)現inception-v4提供了更穩定的訓練和更高的準確性。

　　3.3 試驗結果以及數據

　　CNN算法工作在兩階段循環(huán)中，即正向傳播和反向傳播，在前向通過(guò)過(guò)程中，圖像將傳遞到上述每個(gè)層，并計算輸出。將預期輸出與實(shí)際輸出進(jìn)行比較，并計算誤差，在計算出誤差之后，該算法隨后調整權重。濾波器的權重的調整是反向傳播階段，此階段與優(yōu)化技術(shù)（例如梯度下降）結合使用，以盡可能降低誤差，隨后將數據集中的所有圖像調整為256x256，然后再作為輸入（input）輸入到網(wǎng)絡(luò )。

　　損失是使用二進(jìn)制交叉輸入法計算的，優(yōu)化器使用的是RMSprop。CNN在GTX 750Ti上接受了大約3–3.5小時(shí)的訓練。由于使用擴展樣本進(jìn)行輸入，所以即使增加了數據集的大小，它們也具有高度相關(guān)性，但這可能導致數據過(guò)擬合，通過(guò)調節網(wǎng)絡(luò )的熵容量（模型中存儲的信息量）解決了過(guò)擬合問(wèn)題。本研究使用了非常小的CNN，幾乎沒(méi)有圖層，每層只有很少的過(guò)濾器，同時(shí)數據增加和丟失(loss)為0.5，從而有助于減少過(guò)度擬合的情況。而為了判斷模型是否過(guò)擬合，是否需要停止訓練,則需要依靠驗證集，即一邊訓練一邊驗證，從圖4的實(shí)驗結果可知，訓練值一直低于驗證值，未處于過(guò)擬合狀態(tài)，最終實(shí)驗數據如表1。

　　4 OpenCV圖像處理

　　本研究中，OpenCV用于對圖像的采集以及預處理，此外，OpenCV也用于對輸出結果進(jìn)行處理。

　　4.1 形態(tài)學(xué)處理以及圖像不變矩

　　圖像處理包括將RGB圖像轉換為灰度圖像，然后將其二值化。此階段從圖像中刪除了不必要的特征。圖像由Microsoft Webcam VX-6000采集并轉換為灰度,獲得灰度圖像后，為了使灰度圖像僅具有兩種顏色（分別為0和255），應用了二值化處理，圖5為相關(guān)算法流程圖。

　　本研究用力矩描述圖像而不是使用其他更常用的圖像特征（例如寬度和高度），這意味著(zhù)使用圖像的全局屬性而不是局部屬性。該方法對于選擇從目標垃圾中提取的一組數字屬性很有用，以便于進(jìn)行分類(lèi)。

　　4.2 圖像分割

　　處理步驟（分割）涉及將對象與背景和其他對象區分開(kāi)，在此步驟中，使用了非常通用的圖像處理方法，即：

　　a）邊界檢測（Canny算法）。

　　b）閾值以與背景隔離并消除噪聲。

　　c）高斯模糊以柔化細節并過(guò)濾噪聲。

　　d）從彩色到黑白和二值圖像的轉換，使用飽和通道來(lái)幫助尋找邊界。

　　e）二值圖像中的輪廓檢測以單獨分析對象。

　　閾值化采用Otsu算法，使用一個(gè)閾值將像素劃分為兩個(gè)類(lèi)，其定義為每個(gè)群集的方差的加權和：

　　其中 n _B 與 n _o 是閾值以下和之上的像素數，而 δ _B 與δ _o 分別是它們的方差。 T 是選擇的閾值。該研究使用Ostu算法的意義是僅考慮邊界附近的像素，因此這樣應用的閾值傾向于保持邊界上的分離，圖像分割實(shí)際效果如圖6。

　　5 結論

　　隨著(zhù)處理大數據的深度網(wǎng)絡(luò )架構的出現，在不執行其他任何功能的情況下，就準確性，可擴展性，適應性而言，深度學(xué)習提供了同類(lèi)最佳的性能。本文提出了使用深度學(xué)習實(shí)現全自動(dòng)垃圾分類(lèi)的想法，而無(wú)需進(jìn)行人工操作。要實(shí)現它，系統將使用龐大的數據集，用于對象檢測的模式預測和訓練算法。后期進(jìn)一步的工作包括實(shí)時(shí)優(yōu)化各種離散輸入的結果和預測精度。這種方法有助于降低污染水平，從長(cháng)遠來(lái)看，其重點(diǎn)是發(fā)展通用垃圾分類(lèi)框架，可以將輸入圖像的數據集更改為更多的特定場(chǎng)景，用于應用程序的執行。例如，該系統可用于對快餐店以及其他各個(gè)公共場(chǎng)合的垃圾進(jìn)行分類(lèi)。

　　參考文獻：

　　[1] Mohammadi M, Al-Fuqaha A, Sorour S, et al. Deeplearning for IoT big data and streaming analytics: Asurvey[J]. IEEE Communications Surveys & Tutorials, 2018,20(4): 2923-2960.

　　[2] Chu Y, Huang C, Xie X, et al. Multilayer hybrid deep-learning method for waste classification and recycling[J].Computational Intelligence and Neuroscience, 2018, 2018.

　　[3] Liu Y, Ge Z, Lv G, et al. Research on AutomaticGarbage Detection System Based on Deep Learning andNarrowband Internet of Things[C]//Journal of Physics:Conference Series. IOP Publishing, 2018, 1069(1): 012032.

　　[4] Y. Taigman, M. Yang, M. Ranzato, and L. Wolf,“DeepFace: closing the gap to human-level performancein face verification,” in Proceedings of Computer Visionand Pattern Recognition (CVPR), 2014 IEEE Conference,Columbus, OH, USA, 2014.

　　[5] Chen G, Wang H, Zheng J. Application of ImageRecognition Technology in Garbage ClassificationEducation Platform[C]//2019 5th International Conferenceon Control, Automation and Robotics (ICCAR). IEEE, 2019:290-294.

　　[6] Sudha S, Vidhyalakshmi M, Pavithra K, et al. Anautomatic classification method for environment: Friendlywaste segregation using deep learning[C]//2016 IEEETechnological Innovations in ICT for Agriculture and RuralDevelopment (TIAR). IEEE, 2016: 65-70.

　　[7] Lee S H, Yeh C H, Hou T W, et al. A LightweightNeural Network Based on AlexNet-SSD Model forGarbage Detection[C]//Proceedings of the 2019 3rdHigh Performance Computing and Cluster TechnologiesConference. 2019: 274-278.

　?。ㄗⅲ罕疚膩?lái)源于科技期刊《電子產(chǎn)品世界》2020年第06期第71頁(yè)，歡迎您寫(xiě)論文時(shí)引用，并注明出處。）