斯坦福大学研究团队近日推出了一款全新的开源端侧大模型 Octopusv2。
Octopusv2是一款拥有20亿参数的开源语言模型,专为在Android设备上运行而设计,同时也适用于汽车、个人电脑等其他端侧设备,并将实用性扩展到从 Android 系统管理到多个设备的编排等各种应用程序。
该模型在准确性和延迟方面的表现超越了GPT-4,并且在上下文长度上减少了95%,显示出了显著的性能优势。此外,Octopus v2 比 Llama7B + RAG 方案快 36 倍。
Octopus-V2-2B模型的开发过程中,研究团队采用了创新的函数token策略,这使得模型在训练和推理阶段能够高效地生成复杂的函数调用。
未经允许不得转载:岩猫星空网 » 斯坦福团队开源端侧大模型 Octopusv2