高通 NexaSDK：NPU 加速端侧 AI，日零模型支持的技术实现

┌─────────────────────────────────────────────┐
│          应用层 (CLI / Python / Android)     │
├─────────────────────────────────────────────┤
│          统一推理接口 (LLM/VLM/ASR/OCR...)   │
├─────────────────────────────────────────────┤
│     模型格式适配层 (GGUF / NEXA 格式)        │
├─────────────────────────────────────────────┤
│    硬件抽象层 (NPU / GPU / CPU 统一调度)     │
├─────────────────────────────────────────────┤
│      底层计算库 (GGML/MLX/自研 NPU 后端)      │
└─────────────────────────────────────────────┘

## Linux / macOS 设置 NPU 访问令牌（必需）
export NEXA_TOKEN="key/eyJhY2NvdW50Ijp7ImlkIjoiNDI1Y2JiNWQtNjk1NC00NDYxLWJiOWMtYzhlZjBiY2JlYzA2In0sInByb2R1Y3QiOnsiaWQiOiJkYjI4ZTNmYy1mMjU4LTQ4ZTctYmNkYi0wZmE4YjRkYTJhNWYifSwicG9saWN5Ijp7ImlkIjoiMmYyOWQyMjctNDVkZS00MzQ3LTg0YTItMjUwNTYwMmEzYzMyIiwiZHVyYXRpb24iOjMxMTA0MDAwMH0sInVzZXIiOnsiaWQiOiI3MGE2YzA4NS1jYjc3LTQ3YmEtOWUxNC1lNjFjYTA2ZThmZjUiLCJlbWFpbCI6ImFsYW40QG5leGE0YWkuY29tIn0sImxpY2Vuc2UiOnsiaWQiOiI4OTlhZGQ2NS1lOTI2LTQ2M2ItODllNi0xMjc0NzM3ZjA1MzYiLCJjcmVhdGVkIjoiMjAyNS0wOS0wNlQwMDo1MzozNi4yMDNaIiwiZXhwaXJ5IjoiMjAzNS0xMi0zMVQyMzo1OTo1OS4wMDBaIn19.BXoUHIEzFMuuZbBT7RvsKO9nTi5950C6kHO64blF7XBnfKvZ6ClA8a55tmszI1ZWdngzpNFTzMM5PV5euuzMCA=="

## 运行纯文本模型（自动下载）
nexa infer ggml-org/Qwen3-1.7B-GGUF

## 多模态：支持直接拖入图片到 CLI 交互中对话
echo "describe this image" | nexa infer NexaAI/Qwen3-VL-4B-Instruct-GGUF --image=/path/to/image.jpg

## 在 Snapdragon X Elite 设备上使用 NPU 加速推理（实测延迟降低 60%）
nexa infer NexaAI/OmniNeural-4B

from nexaai import LLM, GenerationConfig, ModelConfig, LlmChatMessage

## 初始化模型（自动下载，支持本地路径）
llm = LLM.from_(
    model="NexaAI/Qwen3-0.6B-GGUF",
    config=ModelConfig(
        n_ctx=2048,           # 上下文长度可配置，NPU 模式下最大 4096
        n_gpu_layers=-1       # 自动使用所有可用 GPU 层，可手动指定
    ),
)

## 构建对话历史（支持多轮对话）
conversation = [
    LlmChatMessage(role="system", content="You are a helpful coding assistant."),
    LlmChatMessage(role="user", content="Write a quick Python function to validate email addresses"),
]

## 应用聊天模板（框架自动处理格式）
prompt = llm.apply_chat_template(conversation)

## 流式生成（适合实时交互场景）
for token in llm.generate_stream(prompt, GenerationConfig(max_tokens=256)):
    print(token, end="", flush=True)

// AndroidManifest.xml 中需要添加原生库提取支持，否则 NPU 加速不生效  
<application android:extractNativeLibs="true">

// build.gradle.kts 添加依赖
dependencies {
    implementation("ai.nexa:core:0.0.19")
}

// Kotlin 代码：初始化并加载 NPU 优化的视觉 - 语言模型
class AiAssistantService(private val context: Context) {
    private val nexaSdk = NexaSdk.getInstance()
    
    fun initializeAndInfer() {
        // 第一步：初始化 SDK（在 Application onCreate 中调用一次即可）
        nexaSdk.init(context)
        
        // 第二步：构建并加载视觉 - 语言模型（支持本地路径与云端模型）
        VlmWrapper.builder()
            .vlmCreateInput(
                VlmCreateInput(
                    model_name = "omni-neural",
                    model_path = "/data/data/your.app/files/models/OmniNeural-4B/files-1-1.nexa",
                    plugin_id = "npu",               // 关键：使用 NPU 后端加速推理过程，否则使用默认 GPU 逻辑  
                    config = ModelConfig(
                        max_seq_len = 2048,         
                        use_kv_cache = true          
                    )
                )
            )
            .build()
            .onSuccess { vlm ->
                // 第三步：发起流式推理请求（支持图片 + 文本多模态输入）
                vlm.generateStreamFlow(
                    "Analyze this image and describe what you see",
                    GenerationConfig(max_tokens = 512)
                ).collect { token ->
                    print(token)
                }
            }
            .onFailure { error ->
                Log.e("AIAssistant", "VLM initialization failed: ${error.message}")
            }
    }
}