拜读维拉科技关于机器人相关信息的综合整理,涵盖企业排名、产品类型及资本市场动态:一、中国十大机器人公司(综合类)优必选UBTECH)聚焦人工智能与人形机器人研发,产品覆盖教育、娱乐及服务领域,技术处于行业前沿。如何使用OpenVINO运行DeepSeek-R1蒸馏模型机器人中科院旗下企业,工业机器人全品类覆盖,是国产智能工厂解决方案的核心供应商。埃斯顿自动化国产工业机器人龙头,实现控制器、伺服系统、本体一体化自研,加速替代外资品牌。遨博机器人(AUBO)协作机器人领域领先者,主打轻量化设计,适用于3C装配、教育等柔性场景。埃夫特智能国产工业机器人上市第一股,与意大利COMAU深度合作,产品稳定性突出。二、细分领域机器人产品智能陪伴机器人Gowild公子小白:情感社交机器人,主打家庭陪伴功能。CANBOT爱乐优:专注0-12岁儿童心智发育型亲子机器人。仿真人机器人目前市场以服务型机器人为主,如家庭保姆机器人(售价10万-16万区间),但高仿真人形机器人仍处研发阶段。水下机器人工业级产品多用于深海探测、管道巡检,消费级产品尚未普及。如何使用OpenVINO运行DeepSeek-R1蒸馏模型资本市场动态机器人概念股龙头双林股份:特斯拉Optimus关节模组核心供应商,订单排至2026年。中大力德:国产减速器龙头,谐波减速器市占率30%。金力永磁:稀土永磁材料供应商,受益于机器人电机需求增长。行业趋势2025年人形机器人赛道融资活跃,但面临商业化落地争议,头部企业加速并购整合。四、其他相关机器人视频资源:可通过专业科技平台或企业官网(如优必选、新松)获取技术演示与应用案例。价格区间:服务型机器人(如保姆机器人)普遍在10万-16万元,男性机器人13万售价属高端定制产品。
作者:
张晶创新大使
李翊玮英特尔技术推广
DeepSeek-R1在春节期间引发了全球界的热度,DeepSeek-R1 是由 DeepSeek 开发的开源推理模型,用于解决需要逻辑推理、数学问题解决和实时决策的任务。使用 DeepSeek-R1,您可以遵循其逻辑,使其更易于理解,并在必要时对其输出提出质疑。此功能使推理模型在需要解释结果的领域(如研究或复杂决策)中具有优势。 中的蒸馏从较大的模型创建更小、更高效的模型,在减少计算需求的同时保留了大部分推理能力。DeepSeek 应用了这项技术,使用 Qwen 和 Llama 架构从 R1 创建了一套提炼的模型。这使我们能够在普通笔记本上本地试用 DeepSeek-R1 功能。在本中,我们将研究如何使用 OpenVINO 运行 DeepSeek-R1 蒸馏模型。
在创新大使的文章《赶紧在本地运行与OpenAI-o1能力近似的DeepSeek-R1模型》也收到了读者的热烈反馈。很多读者问:DeepSeek-R1除了部署在RTX-4060上,能否部署到英特尔Ultra Core 的、或NPU上?
本文将基于OpenVINO GenAI库,介绍使用三行代码,将DeepSeek-R1模型到英特尔酷睿Ultra CPU、GPU或NPU的完整过程。
赶紧在本地运行与OpenAI-o1能力近似的DeepSeek-R1模型
https://mp.weixin.qq.com/s/Nu6ovClNOAfhXa-exnlWdg
OpenVINO GenAI库
https://mp.weixin.qq.com/s/1nwi3qJDqAkIXnrGQnP3Rg
1硬件介绍
本文是用KHARAS深圳市世野科技(https://www.khadas.com/product-page/mind-maker-kit-lnl)提供基于英特尔酷睿Ultra的AI PC,只有43, 以下为其参数:
主要特点
o Core Ultra Processor Series 2
oAI Peormance: up to 115 TOPS
oNPU: 4.0 AI Engine, up to 47 TOPS
oGPU: Intel Arc 140V, up to 64 TOPS
o32GB LP5X Memory, 1TB PCIe S
oColot+ PC: Windows AI assistant
oBatry Life Opmization
oWiFi+ Bluetooth: AX211D2
应用场景
AI PC 开发
o 以 AI 为的硬件和软件的进步使 AI 在 PC 上成为可能。将项目从早期 AI 开发无缝过渡到基于云的训练和边缘部署。
多个中的 AI 加速
o 英特尔 酷睿 Ultra 7 258V 处理器通过混合架构将 CPU、GPU 和 NPU 相结合,并通过高带宽内存和缓存进行增强,从而加速 AI。
Intel AI PC 开发支持
o 通过针对 Intel CPU 和 GPU 优化的 OpenVINO 工具包和 ONNX 运行时获得 Intel 官方支持。
2什么是OpenVINOGenAI库?
回到标题, 我们将用OpenVINO GenAI库基于OpenVINO 工具套件和运行时,提供/Python API,支持生成式AI模型在英特尔硬件平台上快速部署。
OpenVINO GenAI库
https://mp.weixin.qq.com/s/1nwi3qJDqAkIXnrGQnP3Rg
OpenVINO 工具套件
https://mp.weixin.qq.com/s/fORowUzzcPSVIO6AieoUKA
Github仓:https://github.com/openvinotoolkit/openvino.genai
3搭建OpenVINOGenAI开发环境
只需两条安装命令,即可完成OpenVINO GenAI开发环境的搭建:
4下载并量化DeepSeek-R1模型
请先使用下面的命令,从ModelScope下载DeepSeek-R1-Distill-Qwen-1.5B模型到本地:
5使用 Optimum-CLI 工具转换模型
本文使用optimum-intel命令,将DeepSeek-R1-Distill-Qwen-1.5B PyTorch格式模型转换为OpenVINO IR格式模型,并完成FP16、INT8或INT4量化。
Optimum Intel 是 Transforme 和 Diffusers 库与 OpenVINO 之间的,用于加速 Intel 架构上的端到端管道。它提供易于使用的 cli 界面,用于将模型导出为 OpenVINO 中间表示 (IR)格式。
以下命令演示了使用optimum-cli 导出模型的基本命令
其中--model 参数是 HuggingFace Hub 中的模型 ID 或带有 model 的本地目录(使用 .save_pretrained 方法保存),--task 是导出的模型应该解决的支持任务之一。对于 LLM,建议使用 text-generation-with-past。如果模型初始化需要使用远程代码,则应额外传递--trust-remote-code 标志。
设置 --weight-format 分别为 fp16、int8 或 int4。这种类型的优化可以减少内存占用和推理延迟。默认情况下,int8/int4 的量化方案是非对称的,要使其对称化,您可以添加 --sym。
对于 INT4 量化,您还可以指定以下参数:
--group-size 参数将定义用于量化的组大小,-1 将导致每列量化。
--ratio 参制 4 位和 8 位量化之间的比率。如果设置为 0.9,则意味着 90% 的层将被量化为 int4,而 10% 的层将被量化为 int8。
较小的 group_size 和 ratio 值通常会以牺牲模型大小和推理延迟为代价来提高准确性。您可以使用 --awq 标志启用在模型导出期间以 INT4 精度额外应用 AWQ,并使用 --datasetpaeter 提供数据集名称(例如 --dataset wikitext2)
注意:
1. 应用 AWQ 需要大量的内存和时间。
2. 模型中可能没有匹配的模式来应用 AWQ,在这种情况下,将跳过它。
6编写DeepSeek-R1的推理程序
获得DeepSeek-R1的OpenVINO IR模型后,即可使用OpenVINO GenAI库编写推理程序,仅需三行Python代码,如下所示:
运行如下所示:
7总结
使用OpenVINO GenAI库可以方便快捷的将生成式AI模型本地化部署到英特尔 酷睿Ultra CPU、GPU或NPU上。
全部评论
留言在赶来的路上...
发表评论