在水果行業(yè)中，成熟度是評估水果品質(zhì)的重要指標，可用于確定采收、運輸、銷(xiāo)售等的最佳時(shí)間。部分水果可通過(guò)表皮顏色判斷成熟度，如香蕉等；牛油果、獼猴桃等水果則需要采用破壞性測量才能確定。為了給出解決方案，我們驗證了高光譜成像和深度神經(jīng)網(wǎng)絡(luò )是否能夠預測水果的成熟程度。通過(guò)這項工作，我們提供了一個(gè)高光譜數據集，并在此基礎上測試了不同的模型，從而展示了小型神經(jīng)網(wǎng)絡(luò )的優(yōu)勢。在前人研究中，Pinto等人[1]和Olarewaju等人[2]利用高光譜成像來(lái)確定牛油果的成熟程度，Zhu等人[3]利用高光譜數據預測獼猴桃的硬度和可溶性固形物含量，這些研究都是基于經(jīng)典的機器學(xué)習算法進(jìn)行的。Mollazade等人[4]展示了一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò )對番茄含水量的預測能力，Gao等人[5]利用高光譜成像和預訓練的AlexNet（一種深度卷積神經(jīng)網(wǎng)絡(luò )）可以預測草莓的成熟狀態(tài)，這些研究則是基于深度學(xué)習神經(jīng)網(wǎng)絡(luò )的。本文作者使用了更廣泛的模型，記錄了更大的數據集，分析了測量水果成熟度是否需要高光譜數據，或者純彩色圖像就足夠。
高光譜成像 (HSI) 技術(shù)是近年來(lái)日益流行的一種非破壞性測量技術(shù)，該技術(shù)基于高光譜相機獲取的光譜數據，其典型光譜范圍可從紫外到近紅外（表1），與標準RGB圖像相比，高光譜圖像有更多的通道，通常超過(guò)100個(gè)，可通過(guò)波長(cháng)范圍揭示更多被檢測物質(zhì)的不同化學(xué)性質(zhì)。
表1 高光譜相機的典型波長(cháng)范圍
類(lèi)型 | 紫外線(xiàn)(UV) | 可見(jiàn)(VIS) | 近紅外(NIR) |
波長(cháng) | 100-380nm | 380-740nm | 740-2500nm |
本文的高光譜圖像獲取系統由3個(gè)部分組成（圖1），第一個(gè)組件是物體支架，由高光譜相機線(xiàn)掃描工作模式所必需的直線(xiàn)驅動(dòng)器組成。第二個(gè)組件是光源。對于高光譜成像來(lái)說(shuō)，足夠明亮和均勻的光源是必不可少的。鹵素燈和LED燈組合使用，以覆蓋更廣泛的光譜。此外，使用聚四氟乙烯曲率反射器來(lái)產(chǎn)生漫反射光。最后一個(gè)組件是相機，本研究使用了兩款高光譜相機（Specm FX 10和INNO-SPEC Redeye 1.7），以便更好地驗證結果，并覆蓋不同的波長(cháng)范圍。Specm FX 10有224個(gè)通道，光譜范圍400-1000 nm；INNO-SPEC Redeye 1.7有252個(gè)通道，光譜范圍950-1700nm。使用折射計測量可溶性固形物的含量，使用硬度計測量穿透阻力以確定果肉的硬度。試驗收集了1038份牛油果和1522份獼猴桃的數據，它涵蓋了兩種水果從未熟到過(guò)熟的成熟過(guò)程，高光譜數據集可通過(guò)https://github.com/cogsys-tuebingen/deephs fruit獲得。圖1 高光譜圖像獲取系統：帶有物體支架的直線(xiàn)驅動(dòng)器、光源和相機。獲得高光譜圖像后，首先采用簡(jiǎn)單的基于像素的神經(jīng)網(wǎng)絡(luò )剔除背景，并訓練它來(lái)區分背景和水果，然后將水果分為3類(lèi)進(jìn)行研究，即未熟、成熟、過(guò)熟，將硬度、甜度和整體成熟度作為研究指標，建立一個(gè)小的光譜卷積神經(jīng)網(wǎng)絡(luò )，專(zhuān)門(mén)用于成熟果實(shí)的應用。本文構建了高光譜卷積神經(jīng)網(wǎng)絡(luò )（Hyperspectral Convolutional Neural Network，HS-CNN）水果分類(lèi)的架構（圖2），將整個(gè)網(wǎng)絡(luò )設計的盡可能簡(jiǎn)單和小，輸入一個(gè)水果的高光譜數據，3個(gè)卷積層從輸入的光譜數據提取特征映射，采用批歸一化（Batch Normalization）加快訓練過(guò)程，使用平均池化（average pooling），最后的分類(lèi)發(fā)生在CNN的頭部，由一個(gè)全局平均池化層（global average pooling layer）和一個(gè)全連接層（fully connected layer）組成。全局平均池化層大大減少了參數的數量，使預測更加的穩定。使用旋轉、翻轉、隨機噪聲和隨機切割作為數據增強技術(shù)，用Adabound對神經(jīng)網(wǎng)絡(luò )進(jìn)行優(yōu)化，根據驗證損失提前停止，以防止過(guò)度擬合。在數據集中測試了5個(gè)模型，分別為具有徑向基核的支持向量機(SVM)、k-最近鄰分類(lèi)器（kNN）、ResNet18、AlexNet和高光譜卷積神經(jīng)網(wǎng)絡(luò )(HS-CNN)。測試集為18個(gè)標記的高光譜記錄，測試結果如表2所示，每個(gè)神經(jīng)網(wǎng)絡(luò )給出三個(gè)值。當網(wǎng)絡(luò )能夠訪(fǎng)問(wèn)整個(gè)高光譜記錄時(shí)，Full值給出了準確度。大多數情況下HS-CNN模型是優(yōu)于參考模型的，該模型預測牛油果硬度，準確率達93.33%以上，預測牛油果的成熟度水平，準確率均90%以上；預測獼猴桃的成熟程度要比預測牛油果困難得多，因此所有模型的預測精度都明顯較低。然而，我們的模型仍然能預測獼猴桃的硬度和成熟度，準確率分別接近70%和80%。通過(guò)移除或替換高光譜卷積神經(jīng)網(wǎng)絡(luò )的組成部分，研究不同部分的影響。以牛油果為例，研究了這些操作的硬度測試精度。隨機剪切和增加測試時(shí)間可提高測試準確性（表3-1）；深度分離卷積可以防止過(guò)擬合，增加測試精度（表3-2）；網(wǎng)絡(luò )的頭部使用卷積部分的特征映射確定分類(lèi)結果，全局平均池化減少參數的數量，防止了過(guò)擬合，提高精確性（表3-3）；焦點(diǎn)損失函數可改善測試精度（表3-4）；學(xué)習率值為0.01的Adabound算法更好（表3-5）；平均池化的精確度比最大池化的精度更高（表3-6）。
Augmentation variant | Accuracy |
Full augmentation | 93.3 % |
Without test time augmentation | 70.8 % |
Without random noise | 73.3 % |
Without random cut | 69.3 % |
No transformation augmentation | 80.0 % |
| |
| Global Average Pooling with additional layer | |
| |
| |
| |
| Stochastic gradient descent | |
| |
| Adabound with default parameters | |
| Adabound with learning rate | |
使用積分梯度（Integrated gradient）來(lái)查看高光譜記錄的哪些部分對確定水果的狀態(tài)是重要的，這種技術(shù)可以顯示神經(jīng)元對網(wǎng)絡(luò )決策的影響，在一定程度上驗證神經(jīng)網(wǎng)絡(luò )的決策過(guò)程，驗證了預測正確性。圖3a給出了對牛油果成熟度預測影響的空間分布，這種影響均勻的分布在整個(gè)水果上。圖3b顯示了基于波長(cháng)的影響，主要決策發(fā)生在800nm以上。此外，在一定程度上，該網(wǎng)絡(luò )利用520 ~ 650 nm的可見(jiàn)光范圍來(lái)區分未成熟果實(shí)和成熟果實(shí)。這個(gè)范圍與牛油果的可見(jiàn)變化相匹配?？偟膩?lái)說(shuō)，通過(guò)卷積神經(jīng)網(wǎng)絡(luò )學(xué)習的特征似乎是可信的。圖3 決策因子對牛油果狀態(tài)判定的影響（a）基于空間，(b)基于波長(cháng)。此外，本文還介紹了一種為特定任務(wù)生成高光譜記錄假彩色圖像（false color image）的技術(shù)（圖4）。訓練了一個(gè)基于像素的自動(dòng)編碼器(圖4a)，對水果的高光譜圖像進(jìn)行編碼和解碼，使用均方誤差進(jìn)行訓練，潛在空間的大小為3，將其解釋為彩色圖像。使用編碼器的嵌入作為分類(lèi)器網(wǎng)絡(luò )的輸入(圖4b)，并訓練分類(lèi)器以區分成熟度等級。最終得到了一個(gè)專(zhuān)門(mén)編碼信息以區分成熟度等級的編碼器。以這種方式訓練的編碼器可以生成假彩色圖像，從而可視化成熟過(guò)程。對于牛油果（圖5），成熟的部分從果實(shí)的底部一直長(cháng)到頂部。對于獼猴桃的硬度分布（圖6），水果上慢慢長(cháng)出一個(gè)受損的部分。圖4 預訓練方法的架構（a）自動(dòng)編碼器（b）分類(lèi)器網(wǎng)絡(luò )。本文的研究表明，卷積神經(jīng)網(wǎng)絡(luò )可用于高光譜數據，將水果分為三類(lèi)(未熟、成熟和過(guò)熟)。HS-CNN分類(lèi)器網(wǎng)絡(luò )在牛油果成熟狀態(tài)分類(lèi)方面表現出卓越的性能，在獼猴桃成熟狀態(tài)分類(lèi)方面表現出良好的性能。[1] J. Pinto, H. Rueda-Chac′on, and H. Arguello, “Classification of Hass avocado (persea americana mill) in terms of its ripening via hyperspectral images,” TecnoL′ogicas, vol. 22, no. 45, pp. 109–128, 5 2019.[2] O. O. Olarewaju, I. Bertling, and L. S. Magwaza, “Non-destructive evaluation of avocado fruit maturity using near infrared spectroscopy and PLS regression models,” Scientia Horticulturae, vol. 199, pp. 229–236, 2 2016.[3] H. Zhu, B. Chu, Y. Fan, X. Tao, W. Yin, and Y. He, “Hyperspectral Imaging for Predicting the Internal Quality of Kiwifruits Based on Variable Selection Algorithms and Chemometric Models,” Scientific Reports, vol. 7, no. 1, pp. 1–13, 12 2017.[4] K. Mollazade, M. Omid, F. A. Tab, S. Mohtasebi, and M. Sasse-Zude, “Spatial mapping of moisture content in tomato fruits using hyperspectral imaging and artificial neural networks,” in International workshop on Computer Image Analysis in Agriculture, 2012.[5] Z. Gao, Y. Shao, G. Xuan, Y. Wang, Y. Liu, and X. Han, “Real-time hyperspectral imaging for the in-field estimation of strawberry ripeness with deep learning,” Artificial Intelligence in Agriculture, vol. 4, pp.31–38, 1 2020.由于相關(guān)研究?jì)热莘浅?zhuān)業(yè)，難免有些理解不準確或者編輯整理的疏漏，請以英文原文為準。
