岩猫星空网英特尔已将其 NPU 加速库 (intel-npu-acceleration-library) 在 Apache-2.0 协议下开源。这是一个 Python 库，旨在利用英特尔神经处理单元 (NPU) 的强大功能在兼容硬件上执行高速计算，从而提高应用程序的效率。
该库目前正处于积极开发状态。为了显着提高库的性能，项目团队正在努力实现一系列关键功能。其中已实现的包括支持 8 位量化、Float16 支持、torch.compile 支持和 Static shape inference。计划实现的有：
仓库页面上的 Python 代码示例还展示了在 NPU 上进行单矩阵乘法运算、为 NPU 编译模型，甚至在 NPU 上运行 Tiny-Llama 模型。
更多详情可查看此处。
未经允许不得转载：岩猫星空网 » 英特尔开源其 Python NPU 加速库
