Inkling 2 Mini GPU 实测出炉,llama.cpp 解码速度仅为 Gemma 三成,自研引擎在单张 RTX3090 跑到 129.5 tok/s

Inkling 2 Mini 开源之后,开发者很快放出了显卡端的实测结果,在通用推理框架 llama cpp 里跑这个模型,解码速度只有同规格 Gemma