師大新聞
新聞投稿 | 
人形機器人成功挑戰騎機車 深度強化學習展現突破性成果
機器人不只會走路、跳舞，現在更能「騎機車」！一項最新研究成功讓未經改裝的人形機器人，學會在市售電動機車上維持平衡並執行路徑追蹤。這項成果透過深度強化學習（Deep Reinforcement Learning, DRL）演算法實現，不僅解決了雙輪載具在低速下極度不穩定的難題，也為未來通用型機器人的發展開啟新的可能性。
挑戰性的「機器人騎機車」任務
對人類來說，騎機車似乎是再自然不過的日常技能，但對機器人而言，這卻是極具挑戰的任務。與四輪車相比，雙輪載具（Two-Wheeled Vehicles, TWV）在靜止或低速時難以保持平衡，稍有不慎就會傾倒，因此需要高度精確的控制。
國立臺灣師範大學電機工程學系包傑奇(Jacky Baltes)教授和薩義德(Saeed Saeedvand)助理教授組成的研究團隊指出，過去雖然已有工業機器人或自動駕駛系統的重大進展，但能騎乘雙輪車的人形機器人研究卻十分稀少。這次研究的核心目標，是讓機器人能像人類一樣，透過不改裝的標準電動機車，展現平衡與方向控制能力。
人形機器人學「騎車」靠 AI
團隊設計了兩種控制方式進行比較：傳統的比例-積分-微分（PID）控制器，以及基於近端策略最佳化（Proximal Policy Optimization, PPO）的深度強化學習控制器。
為了驗證控制效果，研究在多種低速情境下進行測試（2.5、5、10公里/小時），並搭配不同轉向速度（10、20、40弧度/秒）。測試項目包括：
- 無擾動直立平衡：模擬正常靜態行駛的平衡能力
- 有擾動直立平衡：在外力干擾下是否能迅速恢復平衡
- 正弦路徑追蹤：模擬蜿蜒道路的行駛
- 精準路徑控制：測試是否能沿著指定路徑穩定行駛
在這些嚴苛的條件下，兩種控制器都能讓機器人保持平衡，但深度強化學習的表現明顯更佳，平均性能提升約52%，特別是在路徑追蹤與轉向控制上展現了更高的穩定性。
從虛擬模擬到真實驗證
為了降低成本並加快實驗進度，研究團隊首先在 GPU 高效能模擬平台 NVIDIA Isaac Gym 上進行訓練，建立人形機器人與機車的3D模型，再進行大規模演算法測試與強化學習訓練。
經過模擬驗證後，團隊將控制策略移植到實體機器人與市售電動機車上。結果顯示，機器人不僅能執行轉向動作，還能在現實環境中保持平衡與完成基礎路徑追蹤，成功將「虛擬學習」轉化為「真實技能」。
向通用型機器人邁進
研究人員表示，讓機器人逐步學會更多技能，是邁向「通用型機器人」的關鍵。過去已有能滑雪、溜冰、攀岩甚至表演魔術的人形機器人，如今再加上騎機車的能力，機器人的應用潛力將更加廣泛。
與工業機器人不同，人形機器人的最大優勢是能直接融入人類生活場景，操作原本專為人類設計的工具與設備。隨著人工智慧，特別是深度學習的快速進展，人形機器人正逐漸具備更多複雜的互動與運動能力，未來有望在生活輔助、運輸甚至救災等領域發揮作用。
未來展望
展望未來，研究團隊計畫進一步比較不同控制器的最佳化策略與性能表現，並嘗試將這套系統導入大型實體測試場域。雖然挑戰更大、成本更高，但這將是邁向真實應用的必經之路。
這項研究不僅在技術上具突破性，更展現了人形機器人發展的無限可能。或許在不久的將來，機器人不只是站在實驗室裡表演，而能真正穿梭在我們的城市街道上，成為日常生活的一部分。（資料來源：研究發展處研究亮點電子報 / 編輯：胡世澤）
原文出處：Baltes, J., Christmann, G., & Saeedvand, S. (2023). A deep reinforcement learning algorithm to control a two-wheeled scooter with a humanoid robot. Engineering Applications of Artificial Intelligence, 126, Article 106941.https://doi.org/10.1016/j.engappai.2023.106941
Jacky Baltes(包傑奇) 優聘教授 | 電機工程學系
本校優聘教授Jacky Baltes於2016年起任職於國立臺灣師範大學（NTNU），擔任電機工程學系教授。他的研究興趣涵蓋機器人學、人工智慧、規劃（Motion Planning）、機器學習與分散式處理等領域。
目前擔任國立臺灣師範大學電機工程學系的助理教授。他的研究興趣包括仿人機器人、機器學習、人工智慧以及深度強化學習（DRL）演算法。他自2009年開始從事機器人開發專案，並已開發出兒童尺寸、成人尺寸的仿人機器人與移動式機器人平台。
