跳到正文
Hugging Face Blog·· 10 天前AI 评分39

LFM2.5-VL-DSpark 发布,加速视觉语言模型推理

Accelerating vision-language models with LFM2.5-VL-DSpark

AI 导读

Liquid AI 发布了用于视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,可在不改变输出质量的前提下加速推理。该草稿模型增加了 280M 参数,在 M5 Max 设备上解码速度最高提升 3.13 倍,在 H100 GPU 上最高提升 2.66 倍。模型以开源权重形式提供,并支持 llama.cpp、MLX-VLM 和 SGLang。

来源:Hugging Face Blog · huggingface.co