啟智AI機器人是一款融合了深度學習神經網絡技術的機器人平臺。其擁有三輪全向底盤、硬件里程計、激光測距雷達、立體視覺相機、可升降機械臂等一系列硬件配置,運行ROS機器人操作系統,內建TensorFlow和Keras神經網絡框架。附帶的實驗課程從圖像采集和標注開始,然后進行卷積神經網絡模型訓練,最后部署網絡模型實現物品識別抓取,完整覆蓋一個神經網絡從無到有并最終落實到機器人行為的全部過程,是進行人工智能神經網絡實驗的理想平臺。
GPU硬件加速
啟智AI機器人的主控單元為NVIDIA的Tegra X2,該處理器具備256個GPU核心處理器,采用NVIDIA新推出的Pascal硬件架構,具有的并行計算能力,從硬件上為神經網絡的運算提供強勁動力。
啟智AI的主控制器中運行Google的TensorFlow和Keras神經網絡框架,針對Tegra X2硬件平臺進行針對性優化,充分發揮Tegra X2的運算性能。
啟智AI的神經網絡訓練在專門的GPU計算工作站進行,通過性能更強的GPU計算卡,可以大大加速網絡的訓練過程,更快得到訓練結果。
機械結構
啟智AI機器人采用模塊化可折疊式設計,整個機構可以很方便的收納和展開。
啟智AI機器人采用了三輪全向式移動底盤,可以在不改變朝向的情況下往水平面上的任何方向移動,這在進行運動避障和物品抓取時,可以減少機體位置調整的步驟,提高執行效率。
啟智AI機器人的頭部安裝了一臺RGB-D立體相機,可通過機械旋鈕調節俯仰和高度。
啟智AI機器人安裝了可升降折疊機械臂。該機械臂分為折疊和伸展兩種狀態,不使用時折疊收納,避免磕碰。需要使用時向前伸展,進行物品抓取。伸展狀態時,機械臂具備升降功能,可以在一個連續高度范圍內動態調整手爪高度。結合機器人頭部立體相機,完成三維空間內的物品識別、定位和抓取等一系列任務。
傳感器
激光雷達
啟智AI機器人的底盤上安裝了一枚紅外激光雷達,該雷達的掃描角度為360°,能夠很高效的檢測出周圍的障礙物分布,并可以通過SLAM技術進行機器人的自身定位,為機器人的移動導航提供數據基礎。
姿態測量系統
啟智AI機器人內置了一個三軸姿態測量系統,可以實時檢測機體的朝向、翻滾及俯仰角度。為機器人的導航及行進提供重要數據,并讓機器人在運動過程中發現傾倒風險,及時采取緊急措施。
立體相機
啟智AI機器人的頭部安裝了新一代的RGB-D立體相機,可以輸出RGB彩色視頻流和Depth深度數據三維點云。借助卷積神經網絡技術,可以對目標物進行識別、定位和抓取任務。
整機參數 | ||
名稱 | 數量 | 參數 |
操作系統 | ROS | |
主控器 | 1 | NVIDIA Tegra X2 |
激光雷達 | 1 | 360°、距離8米 |
視覺傳感器 | 1 | Kinect 2 |
伺服電機模塊 | 3 | 20W伺服電機、內置驅動 |
輪子 | 3 | 3個全向輪 |
電池 | 1 | 24V3.5AH鋰離子動力電池 |
軟件特性
1. ROS系統——啟智AI機器人使用ROS操作系統,系統版本為Kinetic,可使用ROS的大部分功能組件。
2. 圖像采集與標注——啟智AI機器人頭部裝備立體相機,可采集1080P高清圖片。使用數據標注工具對采集的圖像進行人工標注,為后續的神經網絡訓練構建原始圖像數據集。
3. 神經網絡訓練——標注后的圖像數據集在GPU計算工作站上進行卷積神經網絡的訓練。
4. 卷積神經網絡應用——啟智AI機器人使用訓練好的卷積神經網絡對物體進行識別,并在RGB平面圖像中定位目標物體。
5.識別抓取——啟智AI機器人識別出物體目標后,結合立體相機的三維點云換算其空間坐標,可使用機械臂對其進行抓取操作。
教學資源
啟智AI機器人配備實驗指導書,設計了12個課程實驗,所有實驗均進行了詳細實驗步驟圖文描述,方便用戶老師進行課程編排。
實驗一、OpenCV的使用 | 實驗七、卷積神經網絡的應用部署 |
實驗二、速度控制的編程實現 | 實驗八、基于卷積神經網絡的識別定位 |
實驗三、圖像采集的編程實現 | 實驗九、機器人的抓取控制 |
實驗四、圖像素材采集 | 實驗十、機器人的SLAM建圖 |
實驗五、圖像數據標注 | 實驗十一、機器人的Navigation導航 |
實驗六、卷積神經網絡的訓練模型 | 實驗十二、基于卷積神經網絡的導航抓取 |
產品附贈所有實驗的參考課件PPT,助力老師快速開課。