语义缓存能不能省下设备问答的成本,我算了一笔账

语义缓存确实可以明显降低设备问答场景的大模型调用成本,但不是所有场景都划算,成本节省幅度由缓存命中率决定,同时会新增向量检索、Redi