基于圖像識別的自走式田間導航車(chē)

河北農業(yè)大學(xué) 韓藝銘 馬志凱 楊舒雅 趙旭東 馮志立

隨著(zhù)農業(yè)現代化的發(fā)展，農機自動(dòng)導航技術(shù)成了提高農業(yè)生產(chǎn)效率和質(zhì)量的重要手段。農田機械自主導航技術(shù)先后經(jīng)歷了農田觸桿導航、引線(xiàn)電纜導航、地磁導航、無(wú)線(xiàn)電導航和激光導航等多種方式[1]。目前，常用的農機自動(dòng)導航技術(shù)有基于北斗衛星的導航技術(shù)和基于圖像識別的導航技術(shù)[2]。

基于北斗的導航技術(shù)是利用衛星信號來(lái)確定農機的位置和方向，再通過(guò)控制器來(lái)調節農機的行駛軌跡。需要多個(gè)衛星定位，成本較高。且當遇到復雜地形，如被樹(shù)木、高大建筑物遮擋時(shí)，導航精度和可靠性大大降低。

基于圖像識別技術(shù)的導航技術(shù)是利用相機傳感器采集田間圖像信息，然后通過(guò)圖像處理、分析和理解算法提取圖像中的特征信息，如顏色、紋理、形狀等[3]，并根據這些特征信息來(lái)判斷農機的位置和方向以及田間地頭的位置和形狀。這種技術(shù)具有成本低廉、不受信號干擾、對田間地頭識別能力強等優(yōu)點(diǎn)，但也存在一些缺點(diǎn)，如光照條件、作物類(lèi)型、生長(cháng)期等因素會(huì )影響圖像質(zhì)量和穩定性，因此需要設計復雜的算法來(lái)處理多樣化且噪聲大的圖像數據。

本文旨在設計一種基于圖像識別并結合地頭路標識別的田間導航車(chē)。

國外的科學(xué)家很早便開(kāi)始了對機器視覺(jué)與農用機械結合的相關(guān)試驗及設計。機器視覺(jué)理論由美國的Marr 教授創(chuàng )立[4]，伴隨著(zhù)計算機應用領(lǐng)域的擴大，機器視覺(jué)逐漸在多個(gè)領(lǐng)域得到應用。Gerrish 和Fehr 等利用作物與土壤顏色的差別在拖拉機上完成了玉米秧苗行視覺(jué)導航實(shí)驗[5]。

我國的視覺(jué)導航技術(shù)發(fā)展迅速，并得到了廣泛應用。王榮本等設計了一套基于機器視覺(jué)的玉米施肥智能機器系統，該系統通過(guò)彩色CCD 攝像機系統對拖拉機實(shí)現了視覺(jué)導航[6]。許國瑞等對農業(yè)機器人行走方向識別進(jìn)行了研究，采用視覺(jué)傳感技術(shù)對農業(yè)智能機器人在田間壟溝環(huán)境下自主行走的方向及角度進(jìn)行識別，并運用圖像處理及回歸分析擬合的方法指導機器人運動(dòng)[7]。

基于圖像識別的自走式田間導航車(chē)主要由圖像識別系統、田間壟線(xiàn)保持系統、動(dòng)力驅動(dòng)系統和自動(dòng)剎車(chē)輔助系統組成。當采集到圖片信息時(shí)，圖像采集系統與圖像處理模塊同時(shí)運行進(jìn)行判斷并輸出相應信息給驅動(dòng)電機，驅動(dòng)車(chē)輪做出相應的動(dòng)作。小車(chē)基本結構如圖1 所示。

圖1 小車(chē)整車(chē)結構

2.1 圖像識別系統

圖像識別系統通過(guò)相機傳感器模塊實(shí)現采集田間實(shí)時(shí)圖像數據；
圖像處理模塊實(shí)現將采集到的圖像數據進(jìn)行預處理和特征提??；
圖像分析模塊實(shí)現對提取到的特征信息進(jìn)行分類(lèi)和匹配；
圖像理解模塊實(shí)現根據分析結果生成可視化地圖，并判斷當前位置和方向。

基于導航車(chē)實(shí)現的功能及操作難度，選用K210 開(kāi)發(fā)板作為圖像處理系統，實(shí)現低功耗執行卷積神經(jīng)網(wǎng)絡(luò )計算。芯片針對邊緣推理場(chǎng)景設計，用于圖像識別任務(wù)。內置64 位400MHz 雙核RISC-V 處理器，運算速度快，特性?xún)?yōu)秀且可捕獲快速移動(dòng)的物體，獲取目標大小、坐標和種類(lèi)信息?？赏瓿蓪Φ仡^路標進(jìn)行檢測分類(lèi)的任務(wù)。

2.2 田間壟線(xiàn)保持系統

田間壟線(xiàn)保持系統采用紅外循跡模塊，便于程序的編寫(xiě)及控制。該模塊使用紅外探頭，壽命更長(cháng)，穩定性更高。多達4 路傳感器，能提前探測大角度轉彎的壟線(xiàn)，可以較好完成設計需求，且I2C 輸出不占用I0 口。

2.3 動(dòng)力驅動(dòng)系統

能源動(dòng)力采用兩節18650 電池，該電池容量大，單個(gè)容量達到1200mAh，使用壽命長(cháng)，充放電次數約500次、安全性能高、標準電壓3.7V，充滿(mǎn)電后的電壓約為4.7V 對比其它電池的電壓較高，沒(méi)有記憶效應，因此不需要把電量放空后再充電，隨充隨用，十分方便。驅動(dòng)系統采用的減速電機配有霍爾測速碼盤(pán)，可判斷小車(chē)輪胎正反轉及速度參數。該電機減速比為1：42，扭矩2.3N·m 性能較好，可使小車(chē)行駛平穩，轉向靈活。

2.4 自動(dòng)剎車(chē)輔助

為了控制的簡(jiǎn)潔化，在不影響功能的情況下，自動(dòng)剎車(chē)輔助系統采用超聲波模塊作為前車(chē)距離檢測裝置，該模塊工作頻率為40KHz，測量角度為15 度，可探測前方20cm～400cm 物體，距離較遠，完全符合本次設計，需求通信方式為IIC 通信。

在圖像識別中，構建模型十分重要。模型的內容，除了核心識別引擎，也包括各種配置參數。成熟的識別引擎，核心內容不能經(jīng)常改變，為達到準確識別這一目標，需要進(jìn)行配置參數調整。對于不同的輸入配置不同參數值，最后在結果統計取一個(gè)各方比較均衡、識別率較高的一組參數值。這組參數值，就是訓練后的結果。

3.1 數據收集

基于圖像識別的田間導航車(chē)需要大量數據得到較為精準模型，可通過(guò)手機、K210 采集、爬蟲(chóng)爬取等途徑獲取圖片進(jìn)行訓練。通過(guò)實(shí)踐，爬蟲(chóng)爬取圖片雖然速度極快，但會(huì )混入大量無(wú)用數據，因此需要進(jìn)行篩選。開(kāi)發(fā)板采集圖片無(wú)須調整，但像素較低，會(huì )影響模型精度。手機雖然需要用Image_tool 改動(dòng)格式為224*224 大小，但是拍照照片質(zhì)量極佳，訓練模型精度較好。本設計采用了手機獲得數據集，訓練標識采用圓形圖標，2000 張圖片，訓練100 輪。從而保證訓練模型精確，數據量足夠大，訓練次數足夠多。

3.2 數據集標注

數據標注是向訓練數據集添加元數據的過(guò)程。這種元數據通常采用標簽的形式，可以添加到任何類(lèi)型的數據中，包括文本、圖像和視頻。數據標注是數據預處理中不可缺少的階段，因為監督式機器學(xué)習模型可以學(xué)習識別標注數據中重復出現的模式。當一個(gè)算法處理了大量的標注數據后，算法可以在新的、未標記數據出現時(shí)識別相同的模式。

本次設計只需要在獲得數據中標記出機器需要辨識的目標，不需要判斷目標圖像的位置，屬于物體分類(lèi)，其標注方法是較為簡(jiǎn)單快捷的圖像標注方法，僅將一個(gè)標簽應用于一張圖像，不用考慮目標處于視野范圍的位置，既符合需求又較為簡(jiǎn)單。本次設計數據標注使用labelImg 工具進(jìn)行標注，該工具使用比較方便。圖片標注如圖2 所示。

圖2 使用labelImg 標注數據集

3.3 模型訓練測試

選用直行、停止、左轉、右轉以及調頭作為分類(lèi)類(lèi)別。將處理完成的數據和標注成的xml 文件分別放入相應的文件夾進(jìn)行模型訓練。為實(shí)現訓練好的模型能在機器未見(jiàn)過(guò)的數據上表現較好，將可用數據分割成3部分。第一部分是較大的數據子集，用作訓練集，第二部分是較小的子集，用作測試集。第三部分為驗證集。利用訓練集建立預測模型，將訓練好的模型應用于測試集進(jìn)行預測。根據模型在測試集上的表現來(lái)選擇最佳模型，并進(jìn)行超參數優(yōu)化。該模型訓練使用Mx-yolov3進(jìn)行模型訓練，實(shí)現準確識別不同的路標信息并進(jìn)行分類(lèi)。模型準確度經(jīng)過(guò)實(shí)機檢測，將模型由yolov2.tflite模型文件轉化為kmodel 模型文件，將模型、固件以及檢測程序燒錄進(jìn)開(kāi)發(fā)板，實(shí)機檢測后，得到較為準確的識別結果。

4.1 工作原理

圖像處理系統利用攝像機收集田間地頭路標圖片并把收集后的數據送到開(kāi)發(fā)板, 再利用開(kāi)發(fā)板上的KPU 上跑YOLO 目標檢測算法來(lái)實(shí)現目標檢測的功能，通過(guò)記錄圖像的主要特征，比較所得到的圖片和已記錄的圖像之間的接近度。迅速確定兩幅畫(huà)面是否相同，畫(huà)面有無(wú)變化或做出基本的分類(lèi)。通過(guò)研發(fā)的模型搭建，可對圖像數據進(jìn)行標注并賦予含義。導航車(chē)將標注區域識別為一種不同類(lèi)型的對象，還可識別、屏蔽敏感內容，引導識別任務(wù)。當識別到某一田間信息時(shí)，經(jīng)過(guò)一系列處理向電機發(fā)送指令，從而使小車(chē)做出相應動(dòng)作。

壟線(xiàn)保持系統通過(guò)紅外檢測不同顏色的物體表面具有不同的反射強度，對壟線(xiàn)進(jìn)行識別和提取。田間作物通常為綠色或者黃色，與棕黑色土壤有明顯差別。當紅外線(xiàn)遇到綠色和黃色作物時(shí)發(fā)生反射，反射光被小車(chē)的接收管接收。遇到棕黑色土壤時(shí)，紅外光被吸收。主控單元根據是否收到反射回來(lái)的紅外光為依據來(lái)確定土壤的位置和小車(chē)的行走路線(xiàn)。

自動(dòng)剎車(chē)輔助系統使用超聲波傳感器發(fā)射超聲波，而受波器收到了這種反射信號后，從收到反射信號的有無(wú)、多少以及從發(fā)射超聲波傳感器到接受反射信號所需要的時(shí)間和超聲速度之間的關(guān)系來(lái)測量對象物體的有無(wú)以及感應器和對象物體之間的距離，以保證田間工作的安全性。

4.2 性能分析

4.2.1 圖像識別準確性

小車(chē)可通過(guò)模擬訓練達到實(shí)現設施農業(yè)廣泛場(chǎng)景的目的。選取抓取樣本數200，訓練次數100 進(jìn)行訓練。采用GPU 進(jìn)行加速訓練，經(jīng)測試，抓取樣本數200，訓練次數100，置信度為0.75 的情況下，訓練完成的tra_acc、val_acc 圖像模型acc 曲線(xiàn)不斷上升后趨于平緩，模型準確度較好。經(jīng)過(guò)實(shí)機檢測，識別準確率均在70%以上。

4.2.2 作業(yè)精準性

小車(chē)通過(guò)紅外傳感器保持壟線(xiàn)行駛在電機轉速為25r/min 情況下，直線(xiàn)行駛作業(yè)精度可達±2cm。確保小車(chē)轉彎、掉頭后自動(dòng)精準對行。提高作業(yè)精度的同時(shí)，保證導航的速度。滿(mǎn)足了精細化設施農業(yè)需求，大大節省了勞動(dòng)力，提高農機智能化的需求。

此智能田間導航車(chē)可以有效、廣泛地適用于設施農業(yè)場(chǎng)景。通過(guò)圖像識別系統采集圖像進(jìn)行導航作業(yè)，解決了小型農田勞動(dòng)力需求量大和大型農田采用衛星導航受環(huán)境因素影響較大的問(wèn)題。田間試驗可在復雜多變的田間環(huán)境下，使導航車(chē)穩定地沿著(zhù)路徑自主行駛，并及時(shí)響應地頭標識指示或人為干預信號。