Jev

为什么选择 Jev？

Jev 的 AI 集成思路不同于常规语言模型。普通 LLM 生成 token 序列，即使应用实际只需要类别、风险等级、路由目标或是非概率。开发者还需约束、解析、验证和解释生成结果。

Jev 在这类流程中省去文本生成。应用预先定义可选判断，发送相关状态，得到可直接参与普通程序逻辑的数值。

AI 嵌入生产系统内部多层逻辑时，这一点更重要。聊天回复可容忍措辞变化，而 send_to_human、retry 或 approve_candidate 等内部分支，更需要在请求前就明确所有可能输出的窄接口。

因此，Jev 更应作为概率型软件基础组件评估。策略、副作用、阈值和确定性规则仍由应用负责，模型则处理难以用传统条件语句表达的判断。

核心工作流程

有效架构从一份应用状态出发，将所需决策拆成相互独立的小问题。

例如处理新请求的智能体，可能要判断意图、估计风险、选择是否使用专业工具，并确认信息是否充分。这些不必放进同一个大提示词；Jev 鼓励分别表达，再由代码组合结果。

这种分离将业务策略留在模型之外。团队可调整评分权重、提高高成本动作的阈值，或关闭某条自动化路径，无需重写底层判断问题。

典型流程如下：

1. 构建精简状态，仅包含判断所需信息。
2. 将流程拆成单项判断。
3. 共享相同状态的独立问题一起评估。
4. 检查返回概率或置信信号，不只看最高结果。
5. 用确定性应用规则决定执行、澄清、调用其他模型还是转人工。
6. 保存结果，定期与有标注的生产样本比较。

最后一步尤其重要。置信度需结合实际产品中误判的后果校准才有意义。适合文档分类的阈值，不一定适合批准不可逆操作。

适用场景

模型路由是明确用途之一。Jev 先评估请求，再决定交给确定性代码、轻量处理器、专业模型、大型推理模型或人工，无需每次都调用昂贵推理模型。模型选择因此成为明确的应用架构环节。

智能体控制流也是重要场景。是否使用工具、选哪个工具、结果是否充分、是否重试及何时停止，都比代码生成更窄，可作为边界明确的判断，而不必再次开放式生成。

Jev 也可放在生成模型之后充当评估层。应用可独立检查相关性、引用支撑、提示词注入或策略风险，再决定是否接受结果，无需让原模型在同一提示中既回答又自评。

检索系统可在调用更大回答模型前，过滤或重排检索材料。按明确标准评价每个候选，再由应用代码决定保留多少段落进入下一阶段。

高吞吐后台业务也适合，例如支持请求分流、潜客筛选、文档路由、目录分类及内容审核队列。这些系统常有大量细小的模糊判断，却很少需要生成长文字。

同类工具对比

通用 LLM API 通过 JSON schema、工具调用、约束解码或结构化输出，也能完成很多 Jev 流程。关键不是其他模型能否分类，而是哪种执行方式更适合应用。

单次请求需灵活穿梭于推理、提取、解释、代码生成和自然语言输出时，通用 LLM 更合适。早期原型若延迟与 token 成本不重要，全部交给一个模型也更简单。

当任务已拆成稳定的软件决策时，Jev 更值得考虑。此时只为获得一个小枚举或分数而反复调用生成模型，可能是多余开销。

两种方式也可配合。生产智能体用 Jev 路由和把关，只将确实需要思考或生成的少部分请求交给大型推理模型。它减少昂贵组件的调用次数，而非替代推理模型。

配置建议

问题设计应视作接口设计。每个问题都应对应程序知道如何使用的一项判断；如果应用无法解释拿到答案后会做什么，问题可能过于模糊。

不要把独立维度合成一个主观分数。例如产品评价流程分别判断相关性、证据质量、策略风险和商业意图，更易调优，再由代码按当前业务重点组合。

选项也应有合理出口。即使不适用也强行把请求归入三类之一，会制造虚假确定性。视场景设置 other、unknown 或人工审查，比仅靠提示措辞消除歧义更有用。

置信阈值应绑定具体操作，而非全模型共用。低影响路由可接受较低阈值，不可逆或高成本动作则需要更强证据、明确确认或额外验证。

生产部署应维护来自真实流量的标注评估集，同时测量判断准确率和各置信区间表现。重点不是整体准不准，而是选定阈值下准备自动化的案例是否足够准确。

迁移建议

迁移现有 LLM 分类器时，不要照搬旧提示词。长提示中的输出格式、JSON 示例、无效值警告和解析约定，往往只是为处理旧模型生成字符串而存在，许多应放到 schema 或代码中。

先找出提示词中真正的决策，将独立判断转成边界明确的问题，把确定性业务逻辑留在代码里，并在评估期间保留旧 LLM 作为备用。

修改生产路由前，用历史案例比较两种实现。分歧案例尤其有价值，可暴露模糊标签、缺失分类、评分标准不清，或实际上需要更深推理的判断。

迁移可逐步进行。先选一个窄分类器或验证步骤，保留现有确定性备用路径；在真实流量中验证表现后，再转移更多判断。

最后，应固定或监测模型行为，不要默认 jev-latest 永远不变。TypeSafe 条款允许服务和 API 演进，模型发生显著变化后，应重新检查针对旧版本校准的阈值。