啟智AI機(jī)器人是一款融合了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)的機(jī)器人平臺(tái)。其擁有三輪全向底盤(pán)、硬件里程計(jì)、激光測(cè)距雷達(dá)、立體視覺(jué)相機(jī)、可升降機(jī)械臂等一系列硬件配置，運(yùn)行ROS機(jī)器人操作系統(tǒng)，內(nèi)建TensorFlow和Keras神經(jīng)網(wǎng)絡(luò)框架。附帶的實(shí)驗(yàn)課程從圖像采集和標(biāo)注開(kāi)始，然后進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，最后部署網(wǎng)絡(luò)模型實(shí)現(xiàn)物品識(shí)別抓取，完整覆蓋一個(gè)神經(jīng)網(wǎng)絡(luò)從無(wú)到有并最終落實(shí)到機(jī)器人行為的全部過(guò)程，是進(jìn)行人工智能神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)的理想平臺(tái)。

GPU硬件加速

• 啟智AI機(jī)器人的主控單元為NVIDIA的Tegra X2，該處理器具備256個(gè)GPU核心處理器，采用NVIDIA新推出的Pascal硬件架構(gòu)，具有的并行計(jì)算能力，從硬件上為神經(jīng)網(wǎng)絡(luò)的運(yùn)算提供強(qiáng)勁動(dòng)力。

• 啟智AI的主控制器中運(yùn)行Google的TensorFlow和Keras神經(jīng)網(wǎng)絡(luò)框架，針對(duì)Tegra X2硬件平臺(tái)進(jìn)行針對(duì)性?xún)?yōu)化，充分發(fā)揮Tegra X2的運(yùn)算性能。

• 啟智AI的神經(jīng)網(wǎng)絡(luò)訓(xùn)練在專(zhuān)門(mén)的GPU計(jì)算工作站進(jìn)行，通過(guò)性能更強(qiáng)的GPU計(jì)算卡，可以大大加速網(wǎng)絡(luò)的訓(xùn)練過(guò)程，更快得到訓(xùn)練結(jié)果。

• 機(jī)械結(jié)構(gòu)

• 啟智AI機(jī)器人采用模塊化可折疊式設(shè)計(jì)，整個(gè)機(jī)構(gòu)可以很方便的收納和展開(kāi)。

• 啟智AI機(jī)器人采用了三輪全向式移動(dòng)底盤(pán)，可以在不改變朝向的情況下往水平面上的任何方向移動(dòng)，這在進(jìn)行運(yùn)動(dòng)避障和物品抓取時(shí)，可以減少機(jī)體位置調(diào)整的步驟，提高執(zhí)行效率。

• 啟智AI機(jī)器人的頭部安裝了一臺(tái)RGB-D立體相機(jī)，可通過(guò)機(jī)械旋鈕調(diào)節(jié)俯仰和高度。

• 啟智AI機(jī)器人安裝了可升降折疊機(jī)械臂。該機(jī)械臂分為折疊和伸展兩種狀態(tài)，不使用時(shí)折疊收納，避免磕碰。需要使用時(shí)向前伸展，進(jìn)行物品抓取。伸展?fàn)顟B(tài)時(shí)，機(jī)械臂具備升降功能，可以在一個(gè)連續(xù)高度范圍內(nèi)動(dòng)態(tài)調(diào)整手爪高度。結(jié)合機(jī)器人頭部立體相機(jī)，完成三維空間內(nèi)的物品識(shí)別、定位和抓取等一系列任務(wù)。

• 傳感器

• 激光雷達(dá)

啟智AI機(jī)器人的底盤(pán)上安裝了一枚紅外激光雷達(dá)，該雷達(dá)的掃描角度為360°，能夠很高效的檢測(cè)出周?chē)恼系K物分布，并可以通過(guò)SLAM技術(shù)進(jìn)行機(jī)器人的自身定位，為機(jī)器人的移動(dòng)導(dǎo)航提供數(shù)據(jù)基礎(chǔ)。

• 姿態(tài)測(cè)量系統(tǒng)

啟智AI機(jī)器人內(nèi)置了一個(gè)三軸姿態(tài)測(cè)量系統(tǒng)，可以實(shí)時(shí)檢測(cè)機(jī)體的朝向、翻滾及俯仰角度。為機(jī)器人的導(dǎo)航及行進(jìn)提供重要數(shù)據(jù)，并讓機(jī)器人在運(yùn)動(dòng)過(guò)程中發(fā)現(xiàn)傾倒風(fēng)險(xiǎn)，及時(shí)采取緊急措施。

• 立體相機(jī)

啟智AI機(jī)器人的頭部安裝了新一代的RGB-D立體相機(jī)，可以輸出RGB彩色視頻流和Depth深度數(shù)據(jù)三維點(diǎn)云。借助卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，可以對(duì)目標(biāo)物進(jìn)行識(shí)別、定位和抓取任務(wù)。

軟件特性

1. ROS系統(tǒng)——啟智AI機(jī)器人使用ROS操作系統(tǒng)，系統(tǒng)版本為Kinetic，可使用ROS的大部分功能組件。

2. 圖像采集與標(biāo)注——啟智AI機(jī)器人頭部裝備立體相機(jī)，可采集1080P高清圖片。使用數(shù)據(jù)標(biāo)注工具對(duì)采集的圖像進(jìn)行人工標(biāo)注，為后續(xù)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練構(gòu)建原始圖像數(shù)據(jù)集。

3. 神經(jīng)網(wǎng)絡(luò)訓(xùn)練——標(biāo)注后的圖像數(shù)據(jù)集在GPU計(jì)算工作站上進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

4. 卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用——啟智AI機(jī)器人使用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對(duì)物體進(jìn)行識(shí)別，并在RGB平面圖像中定位目標(biāo)物體。

5.識(shí)別抓取——啟智AI機(jī)器人識(shí)別出物體目標(biāo)后，結(jié)合立體相機(jī)的三維點(diǎn)云換算其空間坐標(biāo)，可使用機(jī)械臂對(duì)其進(jìn)行抓取操作。

教學(xué)資源

• 啟智AI機(jī)器人配備實(shí)驗(yàn)指導(dǎo)書(shū)，設(shè)計(jì)了12個(gè)課程實(shí)驗(yàn)，所有實(shí)驗(yàn)均進(jìn)行了詳細(xì)實(shí)驗(yàn)步驟圖文描述，方便用戶(hù)老師進(jìn)行課程編排。

•  產(chǎn)品附贈(zèng)所有實(shí)驗(yàn)的參考課件PPT，助力老師快速開(kāi)課。