| 广告联系 | 繁体版 | 手机版 | 微信 | 微博 | 搜索:
欢迎您 游客 | 登录 | 免费注册 | 忘记了密码 | 社交账号注册或登录

首页

温哥华资讯

温哥华地产

温哥华教育

温哥华财税

新移民/招聘

黄页/二手

旅游

留学生: 中留学生论文登Nature 大模型对人类可靠性降低

QR Code
请用微信 扫一扫 扫描上面的二维码,然后点击页面右上角的 ... 图标,然后点击 发送给朋友分享到朋友圈,谢谢!
作者介绍


论文一作 Lexin Zhou(周乐鑫),目前刚从剑桥大学CS硕士毕业(24岁),研究兴趣为大语言模型评测。

在此之前,他在瓦伦西亚理工大学获得了数据科学学士学位,指导老师是Jose Hernandez-Orallo教授。




个人主页显示,他曾有多段工作实习经历。在OpenAI和Meta都参与了红队测试。 (Red Teaming Consultancy )



关于这篇论文,他重点谈到:

通用人工智能的设计和开发需要进行 根本性转变,特别是在高风险领域,因为可预测的错误分布至关重要。在此实现之前, 依赖人类监督是一种危险。


评估模型时,考虑人类认为的难度和评估模型的回避行为,可以更全面地描述模型的能力和风险,而不仅仅关注在困难任务上的表现。

通用人工智能的设计和开发需要进行 根本性转变,特别是在高风险领域,因为可预测的错误分布至关重要。在此实现之前, 依赖人类监督是一种危险。


评估模型时,考虑人类认为的难度和评估模型的回避行为,可以更全面地描述模型的能力和风险,而不仅仅关注在困难任务上的表现。



论文也具体提到了导致这些不可靠性的一些可能原因,以及解决方案:

在Scaling-up中,近几年的benchmarks越来越偏向于加入更多困难的例子,或者给予所谓“权威”来源更多权重,研究员也因此更倾向于优化模型在困难任务上的表现,导致在难度一致性上慢性恶化。

在shaping-up中(如RLHF),被雇佣的人倾向于惩罚那些规避任务的答案,导致模型更容易在面对自己无法解决的难题时“胡说八道”。
不错的新闻,我要点赞     好新闻没人评论怎么行,我来说几句
注:
  • 新闻来源于其它媒体,内容不代表本站立场!
  • 在此页阅读全文
    猜您喜欢:
    您可能也喜欢:
    我来说两句:
    评论:
    安全校验码:
    请在此处输入图片中的数字
    The Captcha image
    Terms & Conditions    Privacy Policy    Political ADs    Activities Agreement    Contact Us    Sitemap    

    加西网为北美中文网传媒集团旗下网站

    页面生成: 0.0378 秒 and 2 DB Queries in 0.0008 秒