価格、実用性、形状、およびマッピングなど、無数の理由が、Roomba後の家庭用ロボットの成功が限られている理由になっています。これらのいずれかまたはすべてが対処されたときでも、システムが避けられない間違いを犯した場合の対応が問題となります。

この問題は産業レベルでも摩擦点となっていますが、大企業は問題が発生するたびに対処するリソースを持っています。しかし、消費者が問題が発生するたびにプログラムを学習するか、誰かを雇うことを期待するわけにはいきません。幸いなことに、これは大型言語モデル（LLMs）がロボティクス領域で大いに役立つケースであり、MITの新しい研究によって示されています。

5月に開催されるInternational Conference on Learning Representations（ICLR）で発表される予定の研究によると、エラーの修正プロセスに少しの「常識」を持ち込もうとしています。

「ロボットは優れた模倣者であることが判明しました」と該当校は説明しています。「ただし、エンジニアがすべての可能なぶつかりとなげかわしに対して調整するようにプログラムしない限り、ロボットはこれらの状況を処理する方法を知らない場合があります。」

従来、ロボットが問題に遭遇すると、人間の介入が必要になるまで、事前にプログラムされたオプションを使い切ります。これは家のような構造化されていない環境で特に課題となる点であり、状況の変化がロボットの機能に悪影響を与える可能性があります。

研究者たちは、観察を通じてタスクを行うことを学習する模倣学習が家庭用ロボティクスの世界で人気があると述べていますが、通常、環境の無数の微小な変化を考慮に入れることができず、定期的な運用を妨げる可能性があるため、システムが一から再起動する必要があります。新しい研究は、それらを継続的な行動の一部として扱うのではなく、デモンストレーションをより小さなサブセットに分解することで、これに対処しています。

この段階で、プログラマーが数え切れないほどのサブアクションにラベルを付けたり割り当てたりする必要がなくなるのがLLMsの出番です。

博士課程の生徒であるTsun-Hsuan Wangは、「LLMsには、課題の各ステップを自然言語で伝える方法があります。人間の連続的なデモンストレーションは、そのステップの具現化です」と述べています。「そして、私たちは、ロボットがタスクのどの段階においているかを自動的に知り、再計画し、自力で回復できるように接続したかったのです。」

研究に登場する特定のデモンストレーションは、ロボットがマーブルをすくい取り、空のボウルに注ぎ入れるようにトレーニングするものです。これは人間にとっては単純で繰り返し可能なタスクですが、ロボットにとっては様々な小さなタスクの組み合わせです。LLMsは、これらのサブタスクをリスト化してラベル付けできます。研究では、ロボットがコースを外れ、スプーンからマーブルを落とすなどの小さな方法でアクティビティを妨害しました。システムは、最初からやり直すのではなく、小さなタスクを自己修正することで応答しました。

Wanは、「私たちの方法では、ロボットが間違いを犯しているとき、人間にプログラムを依頼したり、失敗から回復するための追加のデモンストレーションを提供する必要はありません」と付け加えています。

これは、完全に自分の理解を失うのを避けるための魅力的な方法です。