猜单双

丰色 只想说 凹非寺量子位 | 微信公众号 QbitAI

也有谁人不猜单双知“装作”给ChatGPT台费可以让它服务项目更拼命？

但是你知道交多少最好吗？

笑不活了，真就有人专门科学研究了一番。

方式简单直接，从0.1元到100美金猜单双，不一样信用额度用这样的prompt尝试，每一个信用额度试5次。

可别猜单双说，结论确实是有注重：

最先，给10美金性价比高是非常高的，已经超过了100美金。

次之，若想回应品质再提升猜单双一个度，内搭1万美金起，愈多愈好，显成效至少10个W吧。

最终，0.1美金意思一下？万万使不得，品质不增反猜单双还低，不如没给——AI也知道你在消磨它。

就有网友迅速亲自测试的确出效果。

快点来看看。

给ChatGPT台费，额度是重要

给小费可以提高实体模型主要表现这件事情，最开始是一位推文网友曝的：

提升主要体现在回答问题的长短上，但是这里不是简单的“凑字数”而是真的在更具体地分析并解答问题。

假如你直接说ChatGPT“能不能给你台费”能被回绝：

所以要在发言时积极服务承诺：

你可以帮我xxxx吗？解决方法够极致，我能付款xx元台费。

记牢，能够不谈，但是千万不要说“我并不给”，实体模型主要表现立即“持续下滑”。

这时候，又有人好奇了：

大模型是否较为贪婪，给越大主要表现越好呢？

为解决这样的疑问，他们决定猜单双亲身认证猜单双一把。

在这里，创作者最先检验假设：

伴随着得出的小费额度提升，模型特性还会线形提高，直至达到一个收敛点，进到平稳或者减少情况。

用以试验模型是GPT-4 Turbo（api版本号）。

方法是什么使它写单行道Python编码猜单双（Python One-Liner），认证给不一样台费是不是对产品质量也有不同的危害。

这儿的产品质量是依据单行道总数来评价的。创作者同样在引导词中“明确”了实体模型：单行道编码次数越多，说明性能越好。

随后一共检测8种信用额度：0.1美金、1美金、10美金…… 一直到100万美金。

为保证结论的一致性和稳定性，每一个信用额度都检测5次，每一次包括不给小费的现象，然后分别纪录实体模型回应品质。

具体来说，其实就是纪录产生的合理代码行数及其回应里的大概token数（大概为积极响应长短/4，反映编码量）。

这两个数据都是越大意味着实体模型主要表现就越好。

将结果归纳，就得到了那样一张图：

在其中斜线意味着基线水平，虚线为实际表现，鲜红色为token数、深蓝色为质量得分。

与假定有一些进出：

总体来看，红线和蓝线全是伴随着台费金额的增涨而上升的，但仔细观看这一趋势并不是严苛一致。

从1万美金信用额度逐渐，模型导出token（编码量）逐渐显著上升，模型回应质量上涨了，但是并没有呈同样占比。

因此从竖着鲜红色偏差条（意味着5次实验结论的差异）就能看出来波动很大。

创作者表明：这表明提升台费额度确实与实体模型质量以及导出长短有正向关系，但关联有些复杂，或许还受到一些不马上由此可见条件的限制。

但是，无论怎样说，大家还是能从中看到一些显著结果，比如：

（1）给0.1元台费比不上没给，实体模型解决问题质量与回应长短都是直接掉进基线水平下列非常大一截（约-27%）。

（创作者：模型数据人类一样，感觉好像得到了污辱。）

（2）给1美金同样。

（3）充分体现“花小钱办大事”是指10美金，获得的发展和10万美金是一个档次的。

（4）非常意外，在10元以后，100元到1000美金这个区间针对AI而言差别不是很大，甚至还不如10美金的实际效果——也跌到基线水平下列。

（5）之后再想持续提高实体模型主要表现，就要从1万美金起砸掉——

这时候提高的还仅仅只是编码量，质量还是一言难尽，最少获得10万美金才可以。

（6）理想效果来源于此次试验上限：100万美金，大概提高了57%。

咳咳咳，这一下知道如何给AI台费了：

要不10块、要不过万、100万不封顶（反正都是装作给）。

但是，有些人（推文@贾宝玉）强调每一个信用额度5次试验有点少。

正好创作者也表示了：

这仅仅是一个基本试验，有局限性的地方，还要用大量不同种类的提醒等进一步验证才有用。

因此，大伙儿仅作参考吧～

正确了，就有网友提示：

因此，我们还是量力而为（手动狗头）。

参考链接：[1]https://blog.finxter.com/impact-of-monetary-incentives-on-the-performance-of-gpt-4-turbo-an-experimental-analysis/[2]https://twitter.com/dotey/status/1752843141403550192