拓源講堂（十二) | AI技術(shù)應(yīng)用II###

“拓源講堂”第十二講來(lái)了！本期內(nèi)容的主題是“AI技術(shù)應(yīng)用”下篇。

最近最火的 AI 技術(shù)莫過(guò)于 ChatGPT，ChatGPT本質(zhì)是一個(gè)對(duì)話模型，它可以回答日常問(wèn)題、進(jìn)行多輪閑聊，也可以承認(rèn)錯(cuò)誤回復(fù)、挑戰(zhàn)不正確的問(wèn)題，甚至?xí)芙^不適當(dāng)?shù)恼?qǐng)求。

那么具體什么是ChatGPT呢？小編這就帶你一探究竟，讓我們共同沉浸在學(xué)習(xí)ChatGPT的海洋中。

12

AI技術(shù)應(yīng)用II o 什么是 GPT？

GPT: 全稱為Generative Pre-trained Transformer，生成型預(yù)訓(xùn)練變換模型，是自然語(yǔ)言處理領(lǐng)域（NLP）的一種語(yǔ)言模型。NLP為人工智能領(lǐng)域的一個(gè)重要研究方向，旨在讓人能夠用自然語(yǔ)言（如漢語(yǔ)）跟計(jì)算機(jī)通信。

2017年谷歌研究出Transformer模型，不僅提高了提取數(shù)據(jù)共性特征的成功率，而且它可以進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，有效解決人工標(biāo)注數(shù)據(jù)耗時(shí)長(zhǎng)、成本高、效率低的問(wèn)題。

GPT的框架包括Transformer，其訓(xùn)練過(guò)程大致分為兩個(gè)階段，先利用Transformer對(duì)大量數(shù)據(jù)進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，然后根據(jù)具體任務(wù)對(duì)參數(shù)進(jìn)行微調(diào)，目的是為了研制出一種通用的人工智能。在NLP的具體任務(wù)中，GPT的文本生成能力表現(xiàn)尤為突出。

GPT-3（2020）擁有1750億個(gè)參數(shù)，是有史以來(lái)參數(shù)最多的神經(jīng)網(wǎng)絡(luò)模型，是GPT-2的116倍，是GPT-1（2018）的1496倍?！皵?shù)據(jù)、算力、算法”構(gòu)成了AI的三大基石，從該觀點(diǎn)看，GPT-3在NLP領(lǐng)域的風(fēng)光無(wú)限便是大力出奇跡的有力證明，然而其代價(jià)也是巨大的，訓(xùn)練GPT-3估計(jì)需要上千萬(wàn)美元。

o ChatGPT主要特點(diǎn)

1、ChatGPT的技術(shù)背景

• 強(qiáng)大的基座大模型能力（InstructGPT）；

• 高質(zhì)量的真實(shí)數(shù)據(jù)（干凈且豐富）；

• 強(qiáng)化學(xué)習(xí)（PPO算法）。

2、ChatGPT的主要特點(diǎn)

• 它有強(qiáng)大的語(yǔ)言理解和生成系統(tǒng)；

• 它具有安全機(jī)制和去除偏見能力；

• 其簡(jiǎn)單的邏輯問(wèn)題錯(cuò)誤依舊明顯存在，發(fā)揮不夠穩(wěn)定（但總體比GPT3好很多）；

• ChatGPT有時(shí)會(huì)給出看似合理、但并不正確或甚至荒謬的答案；

• 它抵抗不安全的prompt能力較差，還存在過(guò)分猜測(cè)用戶意圖的問(wèn)題。

o ChatGPT的工作原理

ChatGPT訓(xùn)練過(guò)程很清晰，如圖所示：

ChatGPT 工作主要分為三個(gè)步驟：

第一步，使用有監(jiān)督學(xué)習(xí)方式，基于GPT3.5微調(diào)訓(xùn)練一個(gè)初始模型；

第二步，收集相同上文下，根據(jù)回復(fù)質(zhì)量進(jìn)行排序的數(shù)據(jù)；

第三步，使用PPO強(qiáng)化學(xué)習(xí)策略來(lái)微調(diào)第一階段的模型。

o ChatGPT為何成功？

• 強(qiáng)大的基座模型能力（InstructGPT）

• 大參數(shù)語(yǔ)言模型（GPT3.5）

• 高質(zhì)量的真實(shí)數(shù)據(jù)（精標(biāo)的多輪對(duì)話數(shù)據(jù)和比較排序數(shù)據(jù)）

• 性能穩(wěn)定的強(qiáng)化學(xué)習(xí)算法（PPO算法）

o ChatGPT應(yīng)用和思考

• ChatGPT對(duì)于文字模態(tài)的AIGC應(yīng)用具有重要意義；

• ChatGPT作為文字形態(tài)的基礎(chǔ)模型，自然可以與其他多模態(tài)結(jié)合；

• ChatGPT對(duì)于搜索引擎的代替性：ChatGPT可以作為搜索引擎的有效補(bǔ)充。

o ChatGPT如何注冊(cè)

ChatGPT目前對(duì)國(guó)內(nèi)并不開放，如果要使用需要用外國(guó) IP 地址才行，下面是注冊(cè)的步驟可以參考，使用 ChatGPT 主要有4步——

• 注冊(cè) ChatGPT 賬號(hào)；

• 通過(guò)短信接碼平臺(tái) sms-activate.org 完成 ChatGPT 手機(jī)號(hào)驗(yàn)證；

• 登錄 ChatGPT 賬號(hào)，對(duì)話框輸入，開始使用 Chat GPT；

• 輸入任意話題，探索 ChatGPT 的強(qiáng)大功能。

o ChatGPT如何接入使用

你可以使用以下步驟來(lái)設(shè)置你的 Node.js 應(yīng)用程序并使用 OpenAI 的 API：

1.安裝 Node.js 和適當(dāng)?shù)?HTTP 庫(kù)，例如 Axios；

2.注冊(cè) OpenAI 賬戶并獲取 API 密鑰；

3.創(chuàng)建一個(gè)新的 Node.js 文件，并使用 require 語(yǔ)句引入所需的模塊（例如 Axios 和你的 API 密鑰）；

4.使用 HTTP 庫(kù)發(fā)出請(qǐng)求并處理響應(yīng)。

oChatGPT使用示例

（1）ChatGPT 用來(lái)做題：

（2）ChatGPT 用來(lái)編程：

（3）ChatGPT 用來(lái)翻譯：

（4）ChatGPT 用來(lái)寫作：

ChatGPT 還有很多使用例子：

• 自動(dòng)編程，如讓她用 C 語(yǔ)言寫個(gè)“hello world”例子，并編譯；

• 模擬 Shell 交互，輸入 Shell 命令返回結(jié)果；

• 編程語(yǔ)言轉(zhuǎn)換，把一種編程語(yǔ)言代碼轉(zhuǎn)換成另一種語(yǔ)言代碼；

• 圖片認(rèn)識(shí)處理，圖片文字識(shí)別，添加水印等

以上就是本期“AI技術(shù)應(yīng)用II”的所有內(nèi)容，希望通過(guò)本期內(nèi)容的分享，能夠幫助大家對(duì)ChatGPT有更多的了解與認(rèn)識(shí)，便于大家對(duì)其他AI技術(shù)有更深層次的學(xué)習(xí)。

之后，“拓源講堂”依舊繼續(xù)推進(jìn)技術(shù)分享交流計(jì)劃，按照技術(shù)熱點(diǎn)及公司技術(shù)產(chǎn)品進(jìn)展為大家實(shí)時(shí)更新更多技術(shù)分享。

課程除了通過(guò)線下講堂/線上視頻課堂的方式進(jìn)行培訓(xùn)，還會(huì)不定期通過(guò)「恒拓開源」與「恒贏智航」的微信公眾號(hào)發(fā)表技術(shù)文章，歡迎大家關(guān)注實(shí)時(shí)動(dòng)態(tài)，并參與進(jìn)分享學(xué)習(xí)的大軍，一起用領(lǐng)先的技術(shù)推動(dòng)行業(yè)進(jìn)步！

拓 源 講 堂

2022年度技術(shù)交流分享計(jì)劃

拓源講堂

問(wèn)渠那得清如許

為有源頭活水來(lái)

“拓源講堂”是為進(jìn)一步完善公司人才培養(yǎng)機(jī)制，充分激活人才活力，使公司發(fā)展與員工成長(zhǎng)同頻共振而建立的培訓(xùn)計(jì)劃。希望通過(guò)對(duì)不同主題內(nèi)容的分享和探討，公司廣大的技術(shù)、業(yè)務(wù)及管理人員能夠擁有更多的學(xué)習(xí)機(jī)會(huì)，交流渠道和展示平臺(tái)，提升技術(shù)水平，加強(qiáng)各專業(yè)能力。真正助力每一位恒拓人在勤于學(xué)習(xí)、勇于創(chuàng)新、樂(lè)于分享的路上一路前行，苦練內(nèi)功，不斷精進(jìn)，成就卓越。