新浪财经7x24·· 23 小时前AI 评分69
蚂蚁集团与vLLM社区联合开源量化推理算子库Humming
【蚂蚁集团与vLLM联合开源Humming：高性能、灵活的量化推理内核】蚂蚁集团与vLLM社区联合开源Humming，一个通用、高性能的量化推理算子库。Humming具备以下特点：广泛的设备支持，覆盖多种GPU，以及兼容CUDA编程的设备；丰富的量化支持，通过统一架构支持Dense和MoE中丰富的权重与激活格式组合，覆盖多种整数和浮点类型、位宽及缩放方式。出色的执行性能在多种典型负载中显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。（蚂蚁开源）
AI 导读
蚂蚁集团与vLLM社区联合开源通用量化推理算子库Humming。该库覆盖多种GPU及兼容CUDA编程的设备，支持Dense和MoE的多种权重与激活格式组合。在多种典型负载中，Humming的执行性能显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。
来源：新浪财经7x24 · finance.sina.cn