整体目标:

使用大模型作为云端服务,能够实现一些常见机器人任务的规划;并且通过底层元动作调用实际完成任务。同时,具备基础的人机对话交互能力;语音反馈能力;异常处理能力;规划调整能力。

技术路线:

模型:首先使用大模型API如GPT API实现全流程。后续逐步替换为开源LLM如 LLaMA,Deepseek,Qwen等。

能力提升:

  1. Prompt工程。
  2. 基于开源LLM针对我们的应用场景进行对话数据采集和微调。

现有及预计问题:

  1. 计算能力欠缺。对于大模型云端部署验证、微调来说,目前的机器运算能力不足。
  2. 机器人可用时间少。大家调试验证都需要用机器人,目前机器人数量不足。
  3. 底层元动作实现成功率未知,接口不统一。而任务规划执行的成功率依赖底层元动作,而接口不统一的话,对于任务规划的开发实现难度较大。
  4. 元动作和任务的定义方式,需要结合底层实现和任务规划的需要综合讨论决定。
  5. 微调数据收集审核工作量较大。需要人工生成和审核数据,才能保证数据的质量。

2000条

H20

3天一次迭代