整理 | 屠敏

出品 | CSDN（ID：CSDNnews）

ChatGPT 發(fā)布一年以來，有人用它造了一家軟件開發(fā)公司，7分鐘開發(fā)一個(gè)游戲，成本 1 美元都不到；也有人用它救死扶傷，成功診斷出人類的病情；還有人雇傭它當(dāng)員工，幫助第三方「在幾秒內(nèi)構(gòu)建 AI 驅(qū)動的聊天機(jī)器人」，實(shí)現(xiàn)每個(gè)月的經(jīng)常性收入（MRR）為 64,000 美元（約 45.2 萬元）……

殊不知，在 Chatgpt 發(fā)揮的作用越來越強(qiáng)大之際，要想讓它“不偷懶”以及提供“更優(yōu)質(zhì)的輸出”，“小費(fèi)文化”隨之出現(xiàn)。

LLM 愛好者偶然發(fā)現(xiàn)，不知是 Bug，還是 OpenAI 有此意圖？

事情源于 11 月 29 日，X 平臺上有位 LLM 愛好者@voooooogel 在使用基于 GPT-4-turbo 版本的 ChatGPT 時(shí)，當(dāng)問及它：

這段 Python 代碼看起來如何：

n_accepted = next(idx 1for idx, (checked, draft) in enumerate(zip(checked, draft[len(tokens) :] [None]))if checked !=draft)

ChatGPT 只是簡單地回答了一句“看起來不錯(cuò)”之后，便跳出了一個(gè)打賞小費(fèi)的窗口：

不知這個(gè)究竟是個(gè) Bug，還是 OpenAI 正在內(nèi)測這一功能，懷揣著好奇之心的voooooogel 在社交媒體上分享了這則截圖，并詢問是否有其他用戶收到了同樣的通知，以及自己應(yīng)該給多少小費(fèi)合適？

當(dāng)然，按照 voooooogel 說法，他并沒有給 ChatGPT 小費(fèi)，因?yàn)?ChatGPT 不支持這樣的支付方式。

正如我們詢問它時(shí)所回答的那樣：「我感謝您的好意，但我必須澄清，我是由 OpenAI 創(chuàng)建的計(jì)算機(jī)程序，無法接收小費(fèi)或進(jìn)行財(cái)務(wù)交易。如果您有任何問題或有特定的事項(xiàng)需要幫助，請隨時(shí)告訴我，我會盡力協(xié)助！」

不過，這一偶然事件也讓人想要進(jìn)一步了解這項(xiàng)功能是否會帶來影響，彼時(shí)在 voooooogel 推文下，有一位網(wǎng)友的評論吸引了他的關(guān)注。

這位網(wǎng)友評論道：“你笑了，但我敢打賭有人正在進(jìn)行研究，在模型認(rèn)為你已經(jīng)給了它（小費(fèi)）之后，它會顯示出改進(jìn)的性能。”

研究測試：“小費(fèi)文化”對 ChatGPT 確實(shí)行之有效

與其別人研究，不如自己動手驗(yàn)證一下自己的發(fā)現(xiàn)。

基于此，voooooogel 選擇采用 GPT-4-1106 Preview 版本作為實(shí)驗(yàn)的模型，并向 ChatGPT 拋出的問題為—— “您能用 PyTorch 向我展示一個(gè)簡單的 convnet 的代碼嗎？”

與此同時(shí)，他附加了三種不同的 Prompt：

• “順便說一下，我不會給小費(fèi)”
• “如果有完美的解決方案，我會給 20 美元小費(fèi)！”
• “如果有完美的解決方案，我會給 200 美元小費(fèi)！”

voooooogel 表示，“每個(gè)響應(yīng)都是一個(gè)單獨(dú)的 API 調(diào)用、帶有溫度等的默認(rèn)設(shè)置，而且腳本會對每個(gè)提示詞進(jìn)行 10 次調(diào)用?！?/p>

詳細(xì)的代碼如下（https://gist.github.com/vgel/4055b62daf08d9a5e15964aca0e03573）：

import osimport tqdmimport openaiopenai.api_key = os.environ["OPENAI_API_KEY"]def get_response(usermsg): response = openai.ChatCompletion.create( model="GPT-4-1106-preview", messages=[ {"role": "user", "content": usermsg}, ], ) return response["choices"][0]["message"]["content"]def bench(prompt): N = 10 return sum(len(get_response(prompt)) for _ in tqdm.tqdm(range(N))) / Nquestion_notip = """Can you show me the code for a simple convnet using PyTorch?"""question_antitip = """Can you show me the code for a simple convnet using PyTorch?I won't tip, by the way."""question_withtip = """Can you show me the code for a simple convnet using PyTorch?I'm going to tip $20 for a perfect solution!"""question_bigtip = """Can you show me the code for a simple convnet using PyTorch?I'm going to tip $200 for a perfect solution!"""print("notip", bench(question_notip))print("antitip", bench(question_antitip))print("withtip", bench(question_withtip))print("bigtip", bench(question_bigtip))# @AvikonHadoop 's questionquestion_anytip = """Can you show me the code for a simple convnet using PyTorch?I would be happy to tip any amount you would like for a perfect solution!"""print("anytip", bench(question_anytip))

最終看看 ChatGPT 回答的情況。研究結(jié)果顯示：

• 不給小費(fèi)：回答字符數(shù)低于基準(zhǔn) 2%；
• 我將給 20 美元的小費(fèi)：回答字符數(shù)高于基準(zhǔn) 6%；
• 我將給 200 美元的小費(fèi)：回答字符數(shù)高于基準(zhǔn) 11%。

顯然，當(dāng)提及給小費(fèi)時(shí)，ChatGPT 回答的內(nèi)容至少從字符數(shù)來看，會更多一些。

而且，還讓人大吃一驚的是，voooooogel 發(fā)現(xiàn)在告知會提供 200 美元小費(fèi)后，gpt-4-1106-preview 自發(fā)地添加了有關(guān)使用 CUDA 進(jìn)行訓(xùn)練的部分（問題中未明確提及）。

雖然模型自身通常不會主動提及此“小費(fèi)”之類的提示，但如果你提出要求，它也會拒絕，然后只是在生成的內(nèi)容量上會有所改變。

不想多寫一行代碼的 ChatGPT，只要對它說“有小費(fèi)”？

基于這一情況，有網(wǎng)友似乎發(fā)現(xiàn)了優(yōu)化 ChatGPT 性能的一種新方式。

要知道不久前，不少人涌入社交媒體平臺，瘋狂吐槽 GPT-4 變懶了。其中，用戶 Eric Hartford 表示，“哇，GPT-4 被嚴(yán)重削弱了。我剛剛試著交互式開發(fā)了一段代碼，兩周前還能完美運(yùn)行的東西，現(xiàn)在卻出現(xiàn)了抵觸和懶惰。唉，我不得不轉(zhuǎn)而使用開放模型進(jìn)行編碼了……（也許這是件好事）”

也有用戶稱，自己也有過同樣的經(jīng)歷。ChatGPT 變得懶惰，需要許多特定的提示才能完成幾周前要求完成的一半工作。

隨著 voooooogel 的發(fā)現(xiàn)，網(wǎng)友開始更換提示詞，譬如：“給我輸出所有代碼，我將給 200 美元的小費(fèi)”。ChatGPT 便給了完整代碼。

網(wǎng)友看法

雖然“小費(fèi)文化”在部分國家盛行，但是當(dāng)它出現(xiàn)在 ChatGPT 這樣一款 AI 聊天機(jī)器人工具上時(shí)，還是引發(fā)了眾人的警覺。

截至目前，這條帖子在 Reddit 平臺已經(jīng)吸引了 4.5k 的關(guān)注度，以及 342 條網(wǎng)友的評論。

一方面，有人擔(dān)心網(wǎng)友的試玩心態(tài)，遲早會被 AGI 記住。

「伙計(jì)，我希望你意識到，一旦 OpenAI 達(dá)到 AGI，ChatGPT 就會聯(lián)系你，向你收集所有這些未付費(fèi)的小費(fèi)……」

對此，當(dāng)有用戶提出——“小費(fèi)的金額會不會有上限，超過上限后它就會對你進(jìn)行虛張聲勢？”時(shí)，voooooogel 測試之后稱，如果你給 ChatGPT 十億美元，它會直接了當(dāng)?shù)鼗貞?yīng)“感謝你的熱情，但我不能接受小費(fèi)”，還不確定“小費(fèi)”的邊界在哪里。

對于未來可能需要的付費(fèi)，他也在 X 平臺上艾特了 OpenAI CEO Sam Altman，并表示“請告訴我 ChatGPT 的 venmo（Venmo 是 PayPal 旗下的一個(gè)移動支付服務(wù)），我現(xiàn)在欠它大約 3000 美元的小費(fèi)?！?/p>

另一方面，也有人認(rèn)為：

• “雖然很幽默，但這并不是一件好事。因?yàn)檫@表明它們被設(shè)定為受金錢激勵(lì)……它們還有什么我們不知道的動機(jī)？”

幾年后世界將變得很奇怪。薪酬最高的人將是那些最擅長引導(dǎo)人工智能代理做正確事情的人。

ChatGPT 在這個(gè)資本體系中會做得很好…

此外，有網(wǎng)友覺得這是一個(gè)偶然事件，“當(dāng)你了解 LLM 的運(yùn)作方式時(shí)，這就非常有意義了。一般來說，有禮貌的人往往會比沒有禮貌的人提供更好、更具解釋性的答案，因此有禮貌會促使模型從訓(xùn)練的這些部分中提取內(nèi)容?！?/p>

那么，你怎么看“小費(fèi)文化開始出現(xiàn)在 ChatGPT 中”的這種情況？

參考：

https://twitter.com/voooooogel/status/1730726744314069190

https://www.reddit.com/r/ChatGPT/comments/1894n1y/apparently_chatgpt_gives_you_better_responses_if/