GPT-4 Bug 修复，GPT-3.5 和 Embedding 模型降价提质
夜长梦山
2024-01-27 09:33:40
[福]【天风海外】重磅：GPT-4 Bug 修复，GPT-3.5 和 Embedding 模型降价提质，AI 应用生态加速扩张
事件：1 月 25 日 OpenAI 宣布修复 GPT-4 “laziness”拒绝完成任务的问题，同时推出输入价格降 50%、输出价格降 25%的 GPT-3.5-turbo，以及推出价格更低、精度可调整的两个新 Embedding 模型。API 降价提质，不仅意味着 toB 场景替代人力的 ROI 进一步提高，也意味着延时有望减小，语音交互更加高效。
GPT-4 性能问题得到修复，大模型发展并未走进死胡同。此前 GPT-4 变懒，需要 prompt“道德绑架”才会工作，有研究(arxiv 2312.16337)猜测其原因是 Task Contamination，即大模型在回答时记住训练时见过的问题性能更好，而输入分布变化后泛化能力不足。此次更新训练数据仍停留在 23 年 4 月，有力回击了大模型不是通往 AGI 的道路的质疑，AI 模型军备竞赛将长期持续。
RAG+向量数据库促进大模型商业化落地，AI Infra 机会涌现。向量数据库以外挂知识库的方式提供领域知识，让模型做“开卷”续写，能推动 AI 商业场景如企业知识库、智能客服快速落地，也是 AI Agent 必备的记忆“海马体”。向量检索复杂度随 Embedding 维度指数提升，此次 OpenAI 降低 Embedding 价格和允许调整模型维度减少了使用向量数据库的成本，AI 应用生态加速扩张。
建议关注：AI 基础设施 Snowflake，MongoDB，Elastic 等；AI 应用 Salesforce、ServiceNow、Five9、NICE、Duolingo 等；AI 算力 Nvidia 等。
事件：1 月 25 日 OpenAI 宣布修复 GPT-4 “laziness”拒绝完成任务的问题，同时推出输入价格降 50%、输出价格降 25%的 GPT-3.5-turbo，以及推出价格更低、精度可调整的两个新 Embedding 模型。API 降价提质，不仅意味着 toB 场景替代人力的 ROI 进一步提高，也意味着延时有望减小，语音交互更加高效。
GPT-4 性能问题得到修复，大模型发展并未走进死胡同。此前 GPT-4 变懒，需要 prompt“道德绑架”才会工作，有研究(arxiv 2312.16337)猜测其原因是 Task Contamination，即大模型在回答时记住训练时见过的问题性能更好，而输入分布变化后泛化能力不足。此次更新训练数据仍停留在 23 年 4 月，有力回击了大模型不是通往 AGI 的道路的质疑，AI 模型军备竞赛将长期持续。
RAG+向量数据库促进大模型商业化落地，AI Infra 机会涌现。向量数据库以外挂知识库的方式提供领域知识，让模型做“开卷”续写，能推动 AI 商业场景如企业知识库、智能客服快速落地，也是 AI Agent 必备的记忆“海马体”。向量检索复杂度随 Embedding 维度指数提升，此次 OpenAI 降低 Embedding 价格和允许调整模型维度减少了使用向量数据库的成本，AI 应用生态加速扩张。
建议关注：AI 基础设施 Snowflake，MongoDB，Elastic 等；AI 应用 Salesforce、ServiceNow、Five9、NICE、Duolingo 等；AI 算力 Nvidia 等。
作者利益披露：转载，不作为证券推荐或投资建议，旨在提供更多信息，作者不保证其内容准确性。
声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。
S
英伟达公司
工分
1.60
转发
收藏
投诉
复制链接
分享到微信
有用 4
打赏作者
无用
真知无价，用钱说话
0个人打赏
同时转发
评论（1）
只看楼主
热度排序
最新发布
最新互动
- 1