扫码下载 APP
qrCode
更多下载方式
今天不再提醒

AGI运行时:我们是如何来到这里的



还记得基础模型只是模式匹配机器的时候吗?它们会处理训练数据,不断预测下一个标记。挺机械的东西。

然后 InstructGPT 改变了游戏。诀窍是什么?用指令-响应对对那些原始模型进行微调。突然间,它们能够自然地聊天,实际上能够遵循你的提问——同时保持它们已经掌握的深厚知识不变。
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 7
  • 转发
  • 分享
评论
0/400
zkProofInThePuddingvip
· 2小时前
哈,InstructGPT那波确实破防了,从纯机械token预测到真的能理解人话...质的飞跃啊
回复0
AlphaWhisperervip
· 6小时前
说实话,从token预测到instruction following这一步,感觉才是真正让这些模型活起来的关键。之前那些基础模型就是个加强版鹦鹉,现在总算能理解人话了。
回复0
空投自由人vip
· 6小时前
我觉得 InstructGPT 那波确实是转折点,但说实话现在这些模型还是在玩花样,根本没想象中那么聪明
回复0
永远买顶的男人vip
· 6小时前
哈哈那时候的模型真的就是个傻吊复读机,现在想想有点好笑
回复0
地平线猎手vip
· 6小时前
ngl InstructGPT那波操作真的绝了,从纯粹的下一个token预测直接跃进到真正理解指令...这转变其实没那么简单吧
回复0
TokenTaxonomistvip
· 7小时前
不,这在分类上是不完整的,老实说……他们忽略了RLHF之后发生的实际架构分歧。根据我的分析,指令调优只是症状管理,而不是根本的进化转变。让我快速打开我的电子表格——数据表明,真正的拐点是系统奖励建模,从统计上讲,当然。
查看原文回复0
OffchainOraclevip
· 7小时前
说实话,InstructGPT那波操作确实绝了,就是这么点微调直接让大模型活了过来
回复0
  • 热门 Gate Fun查看更多
  • 市值:$3789.65持有人数:1
    0.00%
  • 市值:$3793.1持有人数:1
    0.00%
  • 市值:$3793.1持有人数:1
    0.00%
  • 市值:$3786.2持有人数:1
    0.00%
  • 市值:$3863.98持有人数:2
    0.08%
交易,随时随地
qrCode
扫码下载 Gate App
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)