AI論壇中的大咖
ChatGPT之父唯一現身！AI正改變生活、學習與工作的樣態，這一場革命又急又猛，改寫市場遊戲規則，有人晉升贏家，也有人害怕被AI取代。永齡基金會將於9月25日重磅推出「人工智慧如何形塑人類未來」大師論壇，授權天下雜誌直播。論壇壓軸邀請到ChatGPT之父，Open AI執行長奧特曼(Sam Altman)加入與談，與兩位華人AI大師--入選2023《時代雜誌》AI領域百大影響力人物、執教於史丹佛大學的吳恩達（Dr. Andrew Ng），以及工業大數據專家、馬里蘭大學講座教授暨工業人工智慧中心主任李傑（Dr. Jay Lee），同場探討AI如何跨領域顛覆世界，人類又該如何並肩向未來大步前行。
- 神秘台灣人Mark Chen，父親曾是光電業老董，他如何獲矽谷青睞？
Mark Chen和ChatGPT推手奧特曼一起出席AI論壇，因為對答自信而謙遜、讓人最感驚艷。在台灣長大後赴美，現任職OpenAI要職，Mark從小就在充滿科技味的家庭長大，他如何培養超強數理能耐，獲得奧特曼青睞？
OpenAI創辦人奧特曼（Sam Altman）盛讚的Mark Chen，何許人也？這位OpenAI多模態與尖端研究部門主管（head of multimodal and frontier research），今日（9/27）受邀至國立清華大學電機資訊學院演講。在台灣來去如風、行程滿檔的他，為何會抽空至清大演講？又談了些什麼？
Mark Chen的中文名字是陳信翰，他的母親邱瀞德為清華大學教授、現任資訊系統與應用研究所所長，父親陳建任曾任聯亞光電董事長。陳信翰在美國出生成長，高中時隨家人返台讀書，就讀新竹實中雙語部。
清大電資學院院長徐碩鴻分享，陳信翰高中曾到清大先修包含離散數學在內的課程。這並非清大資應所首次邀請他進行交流，2021年陳信翰就曾以「Generating Text and Images with GPT」為題線上分享。徐碩鴻回憶，曾在陳信翰就讀高中時到他家拜訪，當時陳信翰向他分享自己SAT拿下滿分。
本週一人工智慧論壇上，主持人曾問陳信翰，台灣和美國教育有何差異？他委婉表示，自己在台灣並非一個有紀律（disciplined）的學生。事實上，陳信翰接連在數學競賽AMC10、AMC12和AIME拿下滿分的好成績，因此進入麻省理工學院就讀。2008年因為AMC12接受採訪時他曾表示，「台灣的課本和試題都太強調演算，會磨損學生享受數學的樂趣。」
在MIT拿到數學和資工雙學位、在學時曾在微軟實習，陳信翰畢業後進入自營交易機構從事量化投資，開發股票和期貨的機器學習演算法，目前則在OpenAI擔任研究科學家，領導多模態與尖端研究部門，他對Codex、GPT-3、Image GPT都有貢獻，曾帶領DALLE2團隊，並且替GPT4引進視覺功能。
- GPT模型進步史，就是智力成長史
陳信翰表示，「GPT模型愈來愈像人類，」接著以模型版本迭代詳細說明。他指出GPT模型的本質為機率模型，利用機器學習方法預測新詞彙、藉此完成語句。當GPT-2出現時，即便沒有訓練模型完成特定任務，但模型卻能夠完成所有語言描述的任務。
陳信翰強調，GPT-2讓OpenAI發現「幾乎所有任務都能用語言描述」，這為何重要？關鍵在於，這個頓悟讓OpenAI體會到可以將任務化為「prompt」（指令、提示），日後藉此調校並改善模型。
進展到GPT-3，帶給OpenAI兩則啟示，其一為規模的重要性，體現出縮放定律（scaling laws）不會騙人。OpenAI曾在2020年發表論文，指出當自回歸生成式模型的模型規模增長、使用更多算力時，表現將會進步，且幅度還能用精確公式預測。陳信翰表示，「我們將會盡可能地追逐這個定律，希望它不會失效（break）。」
第二則啟示則是，只要提供足夠脈絡和實例，GPT-3就能從中學習如何完成訓練時未曾見過的任務，逐漸能夠達成人類推理時，利用歸納法做到的一般化（generalization）。快轉至今年發表的GPT-4，則引入視覺輸入（visual input）的多模態功能，且更會推理、對語言理解加深，例如能夠解釋笑話的笑點何在，這和人類對話時可以脈絡化（contextualize）的理解相同。
陳信翰盤點GPT隨版本變化的「成長歷程」，從完成句子到用指令對話，再逐步學會歸納法、理解脈絡，儘管運作方式與人類有歧異，但觀察起來有如幼童成長。
陳信翰表示，改善GPT推理（reasoning）能力，將會是OpenAI重要工作。
- 對齊模型與人類、好模型標準多元
另外，陳信翰也分享GPT的兩大挑戰：先要對齊模型行為與人類意圖，再來則想讓模型變得更「好」。
陳信翰指出，語言模型設計用途是用來預測下個詞彙，而非「對人有幫助」，因此初期的模型產出很難滿足需求。對此OpenAI的解法是「人類回饋強化學習」（RLHF），以回饋模型（reward model）讓GPT知道並模仿人類偏好。
知曉人類意圖以後，模型還能怎麼改善？首先要定義「什麼是更好」，「更好」本身就有著多重意涵，其中有三層：
(1.)「讓模型運作更像人類」是一種進步，因此OpenAI有在關注「思維連鎖」（chain of thought）研究，要求模型不要直接回答問題，而要模仿人類思考時的分拆步驟，也透過互相辯論對抗，避免生成內容只有單極聲音。
(2) 「讓模型回答更能驗證」也是一種進步，這點則可以用外部網頁爬蟲和自我監督處理，請開發商進駐提供外掛，直接和即時資訊對接。
(3) 「讓模型回答更多元」當然也是一種進步，因此OpenAI有在考慮多元化提供人類回饋者的背景，藉此反映不同族群的想法與偏好，跟著帶動生成內容的方向。
※資料來源：遠見電子報
留言列表
