IT 之家 8 月 26 日消息，Artificial Analysis 于 8 月 24 日发布博文，宣布携手 Liquid AI，发布面向手机端的 AI 跑分基准，重点关注 AI 模型在苹果 iPhone 17 Pro 上的表现。

其中 Artificial Analysis 负责智能水平测试系统，Liquid AI 负责推理性能测试系统，双方选用 5 项基准测试：

BFCL（Berkeley 函数调用排行榜）

IFBench（指令遵循测试）

AA-Omniscience（知识与认知相关测试）

GPQA Diamond（高难度问答测试）

MATH-500（数学问题测试）。

测试模型对象为 4 bit 量化后体积不超过 8GB 的模型，示例包括 Gemma 4 E2B 和 LFM2-2.6B-Exp。

当上下文长度限制为 16K tokens 后，平均基准测试得分最高的是 Nanbeige4.2-3B 和 LFM2.5-2.6B。当响应时间限制为最长 1 分钟时，LFM2.5-8B-A1B 排名第 1，随后是 LFM2-2.6B-Exp、Gemma 4 E4B（Non-reasoning）和 Granite 4.1 8B。

Nanbeige4.2-3B 是 BOSS 直聘旗下的南北阁实验室推出，仅含 30 亿非嵌入参数（总参数约 40 亿），采用 Looped Transformer 架构，通过在不增加参数量的前提下复用 Transformer 层（循环两遍），提高模型的有效计算深度和容量。

横轴表示 " 输出 256 个 token 所需的时间（秒）"，纵轴表示 " 上下文长度限制为 16K 个 token 时的平均基准测试得分 "。"Nanbeige4.2-3B" 的基准测试得分与 "LFM2.5-2.6B" 相当。

在上下文长度限制为 16K 个 Token 时，平均基准测试得分中得分最高的是 Nanbeige4.2-3B 和 LFM2.5-2.6B。

当响应时间限制为最长 1 分钟时，LFM2.5-8B-A1B 排名第 1，随后是 LFM2-2.6B-Exp、Gemma 4 E4B（Non-reasoning）和 Granite 4.1 8B。

IT 之家附上相关截图如下：