OpenAI 出了个新功能，直接让 ChatGPT 输出的速度原地起飞！

OpenAI为其GPT-4o和GPT-4o-mini语言模型引入了一项名为“预测输出”（Predicted Outputs）的新功能，这一功能使得AI支持的文本处理速度比以往快得多。

新功能的初步测试结果

新功能的初步测试显示了显著的速度提升：代码编辑响应速度比现有模型快2到4倍，以往需要大约70秒的大文件修改现在可以在大约20秒内完成。OpenAI指出了几项关键应用，包括在文档中更新博客文章、迭代先前响应以及在现有文件中重写代码。

系统工作原理

系统基于一个简单的原则运作：开发者可以提前输入预期的输出部分。这种方法特别适合重复性任务或小文档变更，因为模型需要生成的新令牌更少。OpenAI表示，作为一般指导原则，当50%的输出令牌可以节省时，处理时间将减少约50%。

预测输出的适用场景

当预测与模型响应的内容紧密对齐时，该功能表现最佳，但在生成全新内容时效果较差，因为在这些情况下无法进行有意义的预测。OpenAI已成功在多种编程语言中测试了该功能，包括Python、JavaScript、Go和C++。

功能限制

该功能有一定的限制。它仅适用于GPT-4o和GPT-4o-mini模型，并且不适用于多个输出或函数调用等高级API参数。OpenAI建议开发者首先在可控、可预测的任务中测试该功能，以实现最大效率。

免责声明：除原创作品外，本平台所使用的文章、图片、视频及音乐属于原权利人所有，因客观原因或会存在不当使用的情况，如，部分文章或文章部分引用内容未能及时与原作者取得联系，或作者名称及原始出处标注错误等情况，非恶意侵犯原权利人相关权益，敬请相关权利人谅解并与我们联系。