为持续推动尖端AI模型的创新发展，英特尔始终与业界领先的创新力量保持深度协作。我们欣然宣布，全新升级的英特尔AI解决方案已全面覆盖PC客户端、边缘计算、智能驾舱等场景，在第一时间为Qwen3系列大模型的发布提供技术支撑。

全新Qwen3系列大模型的五大亮点：

1. 稀疏MoE模型深度优化，端侧高效部署Qwen3
2. 首次在NPU上Day 0支持大模型，提供更好的性能和功耗表现
3. 端侧微调，提升模型智能，优化用户体验
4. 动态稀疏注意力赋能Qwen3长上下文窗口，解锁端侧Agent新应用
5. 拥抱开源生态，Day 0支持魔搭社区Ollama

在本次阿里巴巴开源的新一代通义千问Qwen3系列模型中，最为引人注目的是 30B 参数规模的 MoE混合专家模型 （Mixture of Experts）（Qwen3-30B-MOE-A3B）。该模型凭借其先进的动态可调混合专家架构，在有效提升计算效率方面表现出色, 使其在本地设备（客户端和边缘设备）上具备广阔的应用前景。然而，其在部署环节存在较大难度，且对系统整体资源的消耗依然较高。为应对这些挑战，英特尔与阿里紧密合作，针对 MoE 模型展开了全面的技术适配工作。通过实施多种优化策略，基于OpenVINOTM工具套件成功地将 Qwen 模型高效部署于英特尔硬件平台之上。具体而言，在 ARL-H 64G内存的系统上部署的 30B 参数规模MoE模型，实现了33.97 token/s 1的吞吐量，而且相较于同等参数规模的稠密模型，取得了显著的性能提升。英特尔采用的软件优化策略涵盖了针对稀疏混合专家模型架构（Sparse MoE）的算子融合，针对3B 激活MOE模型定制化的调度和访存优化以及针对不同专家之间的负载均衡, 这些技术能够助力更多MOE模型在英特尔平台上实现高效部署。

此次发布的 Qwen3系列模型主要集中于中小参数量的稠密架构 LLM，参数规模涵盖 0.6B 至 32B，能够适配更广泛的硬件资源，满足多样化的使用场景需求。英特尔的 CPU、GPU、 NPU 架构全面适配 Qwen 系列模型，为模型的部署进行优化，使用英特尔OpenVINOTM工具套件和PyTorch社区工具都可以为全系列 Qwen 模型在英特尔酷睿Ultra平台 (酷睿Ultra 100系列/200系列) 和英特尔锐炫™ A系列显卡和B系列显卡上的部署实现卓越性能表现。

值得一提的是，英特尔首次在 NPU上对模型发布提供第零日（Day 0）支持，体现了英特尔和开源生态更加深入的合作，针对不同模型参数量和应用场景提供更多样化的、更有针对性的平台支持。针对从0.6B到高达8B的中小参数量模型全面支持，吞吐量最高达到36.68 token/s 2，借助英特尔Lunar Lake NPU平台和英特尔OpenVINOTM工具套件，可以在保持低能耗的同时，又可以获得优异性能。

同时，在酷睿Ultra 的iGPU平台上，英特尔持续为模型带来卓越的性能。针对小尺寸的模型，在FP16精度下，最高达到66 token/s2，针对中小尺寸模型，在INT4精度下，最高达到35.83 token/s 2。开发者可以根据适合的使用场景，找到精度和性能的最佳组合。在英特尔锐炫B系列显卡更强大算力加持下，Qwen3-8B模型可实现 70.67 token/s3 ，开发者能够即刻领略到最新模型与英特尔卓越平台能力的超强组合，畅享前沿科技带来的高效与便捷。

作为生成式AI模型中的轻量级选手，0.6B 参数量的小型 LLM 具备灵活高效的部署优势以及快速迭代更新的能力。然而，在实际应用落地过程中，人们常常对其知识的深度与广度以及处理复杂任务的能力存在顾虑。通过借助特定的数据集对这些小型 LLM 进行端侧微调（Fine-tune），可以提升模型智能，优化用户体验。为此，基于Unsloth和Hugging Face参数高效微调框架（Parameter-Efficient Fine-Tuning, PEFT），英特尔构建了一套完整的端侧解决方案，使模型变得更加智能，AI PC应用也真正变成用户的贴心智能小助手。

（视频1）

借助这个方案，在Qwen3 0.6B模型的多语言能力，可以更好的发挥作用，这里就是一个用多语言对图片进行查询的实例

在本次发布的 Qwen3 模型中，我们注意到其 LLM 长上下文能力得到了显著提升。面对有限的算力资源，如何有效利用模型的长上下文能力，避免计算资源消耗呈指数级增长，进而拓展 LLM 在客户端的应用场景，英特尔已给出解决方案。基于动态稀疏注意力，在保证近乎无损精度的前提下，我们可以使长上下文窗口处理速度成倍提升。采用该方案后，Qwen3-8B 模型在英特尔LNL 平台上可实现 32K 的上下文长度。

（视频2）

这样的长上下文能力，解锁了更多端侧Agent新应用。结合Qwen3更强的Agent和代码能力，以及对MCP协议的加强支持，使得基于端侧大模型调用MCP服务来开发各种AI PC Agent首次成为可能。视频展示了，在英特尔AI PC上，基于Qwen3-8B模型调用必优科技ChatPPT.cn MCP服务自动生成PPT的过程。

（视频3）

英特尔持续拥抱开源生态，英特尔优化版Ollama也第一时间支持了包括MoE 模型在内的Qwen3 系列模型，使开发者可以在英特尔客户端平台 (如英特尔酷睿Ultra AI PC，英特尔锐炫A/B 系列显卡)上，利用 Ollama框架来搭建基于Qwen3系列模型的智能应用。优化版Ollama还 提供了基于魔搭的模型下载源设置，使得本地开发者可以从魔搭社区更高效下载和部署安装包及模型。

英特尔在车端舱内对新发布的Qwen3 系列模型，也已经顺滑匹配。基于英特尔车载软硬件解决方案（含第一代英特尔AI增强软件定义汽车（SDV） SOC、刚刚在上海车展发布的第二代SDV SoC NPU，以及英特尔锐炫™车载独立显卡），英特尔能让Qwen3系列模型很快就有机会上车部署，从而充分发挥车端的本地算力。其中，率先在汽车行业内采用了多节点芯粒架构的第二代SDV SOC，其生成式和多模态AI性能，相比上一代，最高可提升十倍4，这让汽车AI体验，如舱内的实时对话、自然语言交互和复杂指令的响应等，都充满AI的灵性。

快速上手指南 (Get Started)

下面将以Qwen3-8B为例，介绍如何利用OpenVINO™的Python API在英特尔平台（GPU, NPU）上运行Qwen3系列模型。 也可以参考下面的完整示例：

https://github.com/openvinotoolkit/openvino_notebooks/tree/latest/notebooks/llm-chatbot

https://github.com/openvinotoolkit/openvino.genai/tree/master/samples/python/text_generation

第一步，环境准备

基于以下命令可以完成模型部署任务在Python上的环境安装。

python -m venv py_venv 

./py_venv/Scripts/activate.bat 

pip install --pre -U openvino-genai openvino openvino-tokenizers --extra-index-url https://storage.openvinotoolkit.org/simple/wheels/nightly 

pip install nncf 

pip install git+https://github.com/openvino-dev-samples/optimum-intel.git@2aebd4441023d3c003b27c87fff5312254ac

pip install transformers >=4.51.3

第二步，模型下载和转换

在部署模型之前，我们首先需要将原始的PyTorch模型转换为OpenVINOTM的IR静态图格式，并对其进行压缩，以实现更轻量化的部署和最佳的性能表现。通过Optimum提供的命令行工具optimum-cli，我们可以一键完成模型的格式转换和权重量化任务。

optimum-cli export openvino --model Qwen/Qwen3-8B --task text-generation-with-past --weight-format int4 --group-size 128 --ratio 0.8  Qwen3-8B-int4-ov 

optimum-cli使用方法可以参考：

https://docs.openvino.ai/2024/learn-openvino/llm_inference_guide/genai-model-preparation.html

此外我们建议使用以下参数对运行在NPU上的模型进行量化，以达到性能和精度的平衡。

optimum-cli export openvino --model Qwen/Qwen3-8B --task text-generation-with-past --weight-format nf4 --sym --group-size -1 Qwen3-8B-nf4-ov --backup-precision int8_sym

第三步，模型部署

OpenVINOTM目前提供两种针对大语言模型的部署方案，如果您习惯于Transformers库的接口来部署模型，并想体验相对更丰富的功能，推荐使用基于Python接口的Optimum-intel工具来进行任务搭建。如果您想尝试更极致的性能或是轻量化的部署方式，GenAI API则是不二的选择，它同时支持Python和C++两种编程语言，安装容量不到200MB。

• Optimum-intel部署示例

from optimum.intel.openvino import OVModelForCausalLM

from transformers import AutoConfig, AutoTokenizer

ov_model = OVModelForCausalLM.from_pretrained(

    llm_model_path,

    device='GPU',

)

tokenizer = AutoTokenizer.from_pretrained(llm_model_path)

prompt = "Give me a short introduction to large language model."

messages = [{"role": "user", "content": prompt}]

text = tokenizer.apply_chat_template(

    messages,

    tokenize=False,

    add_generation_prompt=True,

    enable_thinking=True

)

model_inputs = tokenizer([text], return_tensors="pt")

generated_ids = ov_model.generate(**model_inputs, max_new_tokens=1024)

output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()

try:

    index = len(output_ids) - output_ids[::-1].index(151668)

except ValueError:

    index = 0

thinking_content = tokenizer.decode(output_ids[:index], skip_special_tokens=True).strip("\n")

content = tokenizer.decode(output_ids[index:], skip_special_tokens=True).strip("\n")

print("thinking content:", thinking_content)

print("content:", content)

• GenAI API部署示例

import openvino_genai as ov_genai

generation_config = ov_genai.GenerationConfig()

generation_config.max_new_tokens = 128

generation_config.apply_chat_template = False

pipe = ov_genai.LLMPipeline(llm_model_path, "GPU")

result = pipe.generate(prompt, generation_config)

这里可以修改device name的方式将模型轻松部署到NPU上。

pipe = ov_genai.LLMPipeline(llm_model_path, "NPU")

• 此外Ollama package on Modelscope（https://www.modelscope.cn/models/Intel/ollama/summary） is ready to download now

1. 性能数据通过在 SKU1平台上使用OpenVINO 框架 2025.1.0 版本进行测试。计算任务由集成显卡（iGPU）完成。这些测试评估了在 INT4混合精度设置下 ，处理1K input 时的内存占用、首个token延迟和平均吞吐量。每次测试在预热阶段后执行 3 次，选取中间值作为报告数据。（Sku1: Brand: Intel, OEM: n/a, Model: CSRD(Reference Design), CPU: Core Ultra 9-285H, Memory: 64GB LPDDR5-8400MHz, Storage: 1TB, OS: Windows 11, OS Version: 24H2 (26100.3775), Graphics: Intel Arc 140T GPU, Graphics Driver Version: 32.0.101.6737, Resolution: 2880 x 1800 200% DPI, NPU Driver Version: 32.0.100.3967, PC BIOS: -, Screen Size: 15", Power Plan: Balanced, Power Mode (Win 11 Feature): Best Performance, Power App Setting (OEM's Power App): -, VBS: OFF, Defender: Running, Long Duration Package Power Limit (W): 65, Short Duration Power Limit (W): 70, Key Software Version: Openvino 2025.2.0-dev20250427, Openvino-genai 2025.2.0.0-dev20250427, Openvino-tokenizers 2025.2.0.0-dev20250427, Transformers 4.49.0）
2. 性能数据通过在SKU2平台上使用OpenVINO框架2025.1.0版本进行测试，计算任务由集成显卡（iGPU）或神经处理单元（NPU）完成。测试评估了INT4混合精度、INT8通道权重精度及FP16精度设置下，处理1K input 时的内存占用、首个 token 延迟和平均吞吐量。每次测试在预热阶段后执行 3 次，选取中间值作为报告数据。（Sku2: Brand: Intel, OEM: Lenovo, Model: Yoga Air 15s ILL9, CPU: Core Ultra 7-258V, Memory: 32GB LPDDR5-8533MHz, Storage: WD PC SN740 1TB, OS: Windows 11, OS Version: 24H2 (26100.3624), Graphics: Intel Arc 140V GPU, Graphics Driver Version: 32.0.101.6737, Resolution: 2880 x 1800 200% DPI, NPU Driver Version: 32.0.100.3967, PC BIOS: NYCN66WW, Screen Size: 15", Power Plan: Balanced, Power Mode (Win 11 Feature): Best Performance, Power App Setting (OEM's Power App): Extreme Performance, VBS: OFF, Defender: Running, Long Duration Package Power Limit (W): 30, Short Duration Power Limit (W): 37, Key Software Version: Openvino 2025.2.0-dev20250427, Openvino-genai 2025.2.0.0-dev20250427, Openvino-tokenizers 2025.2.0.0-dev20250427, Transformers 4.49.0）
3. 性能数据通过在 SKU3 上使用 OpenVINO 框架 2025.1.0 版本进行测试，计算任务在独立显卡上完成。测试评估了在 INT4混合精度、INT8量化和 FP16 精度设置下，处理1K input时的内存占用、首个token延迟和平均吞吐量。每次测试在预热阶段后执行三次，选取中间值作为报告数据。（Sku3: Brand: Intel, Model: Desktop, CPU: Core i7-14700K, Memory: 32GB DDR5-5600MHz, Storage: SAMSUNG 980 PRO 1TB, OS: Windows 11, OS Version: 24H2 (26100.3775), Graphics: Intel Arc B580 GPU(vRAM=12GB), Graphics Driver Version: 32.0.101.6737, Resolution: 2560 x 1440, NPU Driver Version: n/a, PC BIOS: 2801, VBS: OFF, Defender: Running, Long Duration Package Power Limit (W): -, Short Duration Power Limit (W): -, Key Software Version: Openvino 2025.2.0-dev20250427, Openvino-genai 2025.2.0.0-dev20250427, Openvino-tokenizers 2025.2.0.0-dev20250427, Transformers 4.49.0）
4. 性能因使用情况、配置和其他因素而异。 欲了解更多信息，请访问intel.com/performanceindex。基于对第二代英特尔AI增强SDV SoC GPU+NPU与MBL i7-13800HAQ CPU+GPU（关闭睿频）的内部预测，AI性能最高可提升十倍。

+++

关于英特尔

英特尔（NASDAQ: INTC）作为行业引领者，创造改变世界的技术，推动全球进步并让生活丰富多彩。在摩尔定律的启迪下，我们不断致力于推进半导体设计与制造，帮助我们的客户应对最重大的挑战。通过将智能融入云、网络、边缘和各种计算设备，我们释放数据潜能，助力商业和社会变得更美好。如需了解英特尔创新的更多信息，请访问英特尔中国新闻中心newsroom.intel.cn以及官方网站intel.cn。

© 英特尔公司，英特尔、英特尔logo及其它英特尔标识，是英特尔公司或其分支机构的商标。

*文中涉及的其它名称及品牌属于各自所有者资产。