北京清華

AAAI 2020 參會心得

tnlin1 則迴響

前言

今年二月初的時候，我前往紐約曼哈頓參加了AAAI 2020 會議，距離上次去美國已經是5年前的加州了，這也是我第一次去美東。

很幸運我投稿的論文被錄用了 (Discovering New Intents via Constrained Deep Adaptive Clustering with Cluster Refinement, accept rate=20.56%)。原本打算和實驗室同學一起從北京出發，無奈因為疫情的關係，臨時改從台灣出發前往紐約。由於同學都無法參與會議，我一個人就背了11張Poster…

socail
人山人海的Social Event

介紹

簡單介紹一下AAAI。AAAI 全名為 Association for the Advancement of Artificial Intelligence，在整個CS領域會議的h-index排名第七（根據guide2research排名），是傳統AI研究的No.1會議。只要和AI沾得上邊的研究這裡都有，內容五花八門、千奇百怪。主要可以分成研究性(佔90%)、實戰性和前瞻性的論文。通常這種大型學術會議都會伴隨著許多姊妹會議一起舉行。例如這次AAAI就主要由四個會議組成：
AAAI = AAAI + EAAI + IAAI + AIES

  • AAAI 34th (Association for the Advancement of AI)
    • AAAI-20 welcomes submissions reporting research that advances artificial intelligence, broadly conceived. The conference scope includes all subareas of AI and machine learning. 偏學術報告，領域包山包海
  • IAAI 32ed (Innovative Applications of AI)
    •  … focus on successful applications that showcase novel uses of AI technology. 偏實戰應用，包含解決方案、部屬經驗和未來挑戰
  • EAAI 10th (Educational Advances in AI)
    • EAAI-20 provides a venue for researchers and educators to discuss issues and share resources related to teaching AI and using AI in education. 偏教育（K-12，從幼稚園到高中）
  • AIES 3rd (Conference on AI, Ethics, and Society)
    • Ethical concerns and challenges … multi-disciplinary efforts can find the best ways to address these concerns … we expect papers will be submitted using different approaches. 偏倫理隱私，歐美學者特別關心

今年的共有8000+篇論文投稿，錄用1591篇論文，共4000+人參與會議，但有800+人因為疫情而無法開會（見詳細報導）。可以看到有37%的錄用論文來自中國，且最熱門的投稿領域分別為ML, CV和 NLP。

6970ea63edb8657e729c51379a25abc8

約1/3的論文會被選做oral presentation (20 mins)，其餘論文則做poster presentation (但有 2 mins 的 poster spotlight, short oral)。AAAI採用白天oral、晚上poster的方式來進行，所有oral論文也可以自由選擇是否在晚上也進行poster presentation。

First impression
舉辦地點、會議場地、茶點等

Tutorial, Workshop (Day 1,2)

會議前兩天主要是tutorial和workshop。個人覺得兩者差異在於：

    • tutorial會對特定主題進行由淺入深、成體系的完整教學，一日培訓班
    • workshop像是小型的conference，涵蓋各種五花八門的小研究主題，如果哪天這個題目有足夠學者關注和學術能量，就可以獨立舉辦成conference如：EAAI和AIES。

Tutorial共有23個，大部分在官網都有釋出slides，這邊推薦幾個我覺得不錯的：

Workshop有23個，像獨立小conference，只有部分給slides，推薦幾個對話領域的：

IAAI 2020
和workshop, tutorial一樣在會議的前幾天舉辦，其中的實戰應用主題五花八門，包括

  • AI in Health
  • AI in Customer Support and Marketing
  • AI in Visual Inspection and Detection
  • AI in Trade and Finance
  • AI in Emergency Readiness and Response
  • AI for Recommendation Engines
  • AI in Utilities
  • AI in Text Analysis, Classification and Generation Use cases
  • AI for Trust and Trust of AI

講兩個我在AI in Customer Support and Marketing聽到的報告

  1. Feedback-Based Self-Learning in Large-Scale Conversational AI Agents (Amazon Alexa)
    • 目的：降低語音助手/音箱整體的意圖理解(NLU)錯誤率
    • 方法：通過Markov  Model自動分析人機對話系統中的失敗案例，並挖掘出正確回答進行rewrite
      • 錯誤可能源自語音識別和意圖理解模型不準確，也有可能是使用者發音不標準XD，這個方法背後有個很重要的假設(inductive bias)是：使用者在系統理解錯誤的時候，會重新糾正直到系統正確答覆為止。
    • 結果：降低30%錯誤率 (p<0.001)
    • 心得：很漂亮的解法，值得一試，不知道是否能應用於語音助手之外的對話系統？
      圖片 2
  2. Question Quality Improvement (QQI) Deep Question Understanding For Incident Management in Technical Support Domain (IBM Watson)
    • 目的：降低線上Tech客服的TTR (Time-to-resolve)
    • 方法：從文本中抽取結構化知識(IE任务)，提昇問題質量
      • 抽取的內容包括：Symptom、Activity、Intent
      • 構建系統的中間過程也用算法(Parsing)進行了簡化
    • 結果：抽取Intent + Activity 最重要，最高可减少33.6% 的TTR
    • 心得：通過ML模型進行QQI，取代重複腦力勞動 Nice（領域知識還是很重要）
      圖片 3

EAAI 2020
講一個鬼故事，當我們還在談CS教育，歐美已經在實踐把AI教育融入CS教育中了

  1. On Contemporaneous Computing Education: ML for K-12
    • 目的：喚起學生對學習AI的興趣，做中學
    • 方法：從頭建立足球動作分數預測模型
      • 在從模型迭代過程中，目標（什麼踢球姿勢是「好」的）＋使用者反饋很重要
      • 教練：提供目標、領域知識
      • 學生：提供使用者反饋
    • 心得：台灣是否考慮跟進一波，感覺可以從棒球入手？
      圖片 1

AIES 2020 (AI, Ethics, and Society)
絕對是未來的AI研究的主流之一，看看黑鏡影集就知道這塊領域有多重要了。

  1. CERTIFAI: A common framework to provide explanations and analyse the fairness and robustness of black-box models
    • 目的：提昇AI-based決策的可解釋性、公平性和魯棒性
    • 方法：通過genetic算法生成counterfactuals，研究在boundary附近但卻有不同decision的樣本
      • 適用場景：我該改哪些條件，才能順利申請到貸款？
    • 結果：通用於任何黑箱模型的分析方法
    • 心得：感覺只適用於輸入為continuous data space的模型(文本就很難，embedding更難解釋)
      圖片 4

AIES的提問環節非常熱烈，例如我們應該追求齊頭式平等 還是 立足點平等（真平等）、如果模型根據性別、年紀、種族等不可改因素決策怎麼辦？都很值得深思。講者最後說了一句話：Educate ethic is hard, but not impossible，還是有很多學者在這塊持續努力。

AI for Social Impact
AAAI進幾年來崛起的Special track，講一個有意思的talk

  1. Contextualizing AI for Social Good
    • 目的：分享在非洲用AI研究瘧疾，並與當地農夫合作的經驗
    • 方法：眾包農夫們來蒐集監測的影像資料
    • 結果：太容易讓人挫折了，與其說impact，喚起重視的作用更大
      • 社交很重要：關係、性別、年齡、習俗 > 科技
      • 部署很重要：哪來的設備、設備要放哪、相關配套措施？
    • 心得：如何讓計畫長期執行下去是最難的，很多都是短期研究，當地人當然不理你
      圖片6

 

Main Conference (Day 3,4,5,6)

qewqwe
我的Poster presentation

挑幾個我覺得比較重要的talk分享一下：Presidential Speech、Turing Award Panel和Best Paper

Presidential Speech – Will AI write the scientific papers of the future ?  (Yolanda Gil)

AAAI 主席認為，未來勢必會通過AI來輔助學術研究，兩個原因

  1. 論文太多，新的研究很難涵蓋到所有的相關文獻，導致研究品質下降（是否已經和目前最好的方法對比？沒有人作過相同的研究工作嗎？）
  2. 資料太多，人類難以從中發現insight，並遷移到其他領域（例如：基因X對肺炎A有幫助，是否對肺炎B也能有幫助？相關證據？）

提出的解決方法是：將A研究拆解成幾個子components，再透過推理應用到B領域、有相同需求的問題上。我理解起來，其實講的就是KDD(IE) + Reasoning + Transfer/Meta Learning。

ㄇ

ㄒ

Turing Award Panel (Geoffrey Hinton Yann Lecun and Yoshua Bengio)

如果這次AAAI只選擇聽一場演講，那你絕對不能錯過Turing Award Panel（影片連結）

asdasdWechatIMG7191

Geoffrey Hinton – Stacked Capsule Autoencoders (SCAE = Capsules 2019)

Hinton等人在NeurIPS 2019提出了SCAE，Capsule的核心思想用一句話概述：將結構引入神經網路中，並通過符號來推理，具體實現是通過Set Transformer來學習集合中各個元素的pair-wise關係。SCAE由P(Part)CAE 和 O(Object)CAE 所組成，其中Object-Part-relationship 是視角不變(invariant)的，Object-Viewer-relationship 是視角同變的(equivariant)。論文的說法是Unsupervised classification，跟我的研究題目還滿有關係的。

截圖 2020-05-20 下午12.23.40

截圖 2020-05-20 下午12.24.48

 

Yann LeCun – Self-Supervised Learning (SSL)

為什麼SSL是未來？LeCun認為，Deep Supervised Learning提供的監督信號太少，因为有標註的資料太少了。Deep Reinforcement Learning提供了適當的監督信號，但只能用於動作定義清晰、每次trail成本低的任務（例如OpenAI Gym等模擬實驗）。SSL通過自監督產生了大量的監督信號，能達到更好的泛化性能。

最後，LeCun也提到了目前研究社群所遇到的挑戰和解法

  1. 如何在更少資料/試驗次數上，學的更好？ –> SSL
  2. 如何推理？ –>  Energy-Based Models with latent variables，將 Reasoning 和 gradient-based method 結合
  3. 如何學習複雜/層次的action sequences? –> 目前無解

1

補個八卦，聽說Lecun在NYU比較沒有同學選他的課程，不知道是不是課程太難還是？

Yoshua Bengio – Deep Learning for System 2 Processing

把諾貝爾經濟學獎得主「快思慢想(Thinking, Fast and Slow)」中的System 1, 2 融入到模型中。其中System 1是直覺、下意識、非語言的(fast, 輕鬆)，而System 2是有意識、邏輯推理、因果關係(slow, 累)。舉個例子，老手開車閒聊是System 1，新手專注開車則是System 2。

Bengio認為，傳統ML模型的IID假設太簡單了，造成現在AI模型在真實世界的實踐效果不好。為了要提昇模型在真實世界 out-of-distribution (OOD) 樣本上的泛化能力，必須提昇模型System 2 的能力。System 2 中最具代表性的方法為attention，而Bengio提出了consciousness prior的概念，認為比attention更高級的是consciousness (意識)，實際操作是藉由Sparse factor graph來實現此概念。

Sparse factor graph的核心想法是decompositing/factorizing knowledge。舉個例子，假設今天一個人戴了眼鏡，應該只需將他在factor graph中將對應的「眼鏡」節點改變（如下圖），而非戴了眼鏡之後，模型就完全不認識這個人了。

333

問答環節使用的是Slido網站提問，擷取幾個好玩的QA內容
Q: 為什麼Hinton之前幾年都很少來AAAI？
A: AAAI is mean to me! （Hinton對Bozeman machine仍念念不忘，可能被拒過多次稿吧 XD）

Q: 沒有取代gradient-based的方法？ 大腦有gradient嗎？
A: 不清楚，但有時候Reading rot mind，要嘗試獨立思考解決方式

Q: 如何看待AI DDL-driven的灌水式投稿？
A: 論文灌水是惡性循環，要獎勵高品質研究

Q: 做AI是科學嗎？
A: 是！Engineer Science，中世紀也是先有蒸汽機、後有蒸氣動力學。

Best paper Award
今年的Best paper 頒發給AI2所提出的NLP推理新任務，號稱進階版的Turing test。在原有的Winograd基礎上，構建了一個大規模的常識推理數據集WinoGrande (Grande = 大杯)，同時移除容易學到虛假線索和bias的題目，有點類似指代消歧任務，見下圖範例。

asd

sad

個人心得

總結一下，我在這次AAAI會議的感想：

  1. 圖靈獎的talk最重要！三個人的演講題目其實環環相扣，一定要聽聽
    • Geoffrey Hinton： Capsules 2019  –> 解耦模型 (Part和Viewer)、Self-supervised
    • Yann LeCun：Self-supervised –>  解耦模型 (Energy-Based Models with latent variables)
    • Yoshua Bengio：Consciousness prior –> 解耦模型 (Sparse factor graph)
  2. 大規模Pre-train –> 小規模Re-train(創新點) –> Fine-tune 逐漸成為顯學，例如在Re-train階段融入了外部的knowledge，就變成一篇漂亮的knowledge-grounded xxx…
  3. 熱門關鍵字：Casual inference、Neuro-symbolic、Explainability、Fairness、Robustness…
截圖 2020-05-20 下午9.59.01
好吃但貴鬆鬆的紐約食物，那個貝果超好吃

另外還有一些我個人的心得感觸

  1. Remote presentation的體驗極差。都是錄好的影片，很明顯會場的人都相對性致缺缺。我認為至少得做到直播＋實時雙向互動 (像Twitch那種），才會有可能成功
  2. Oral > Poster。除了少數Invited talk之外，幾乎都沒有錄影。不過幸好Oral和Poster的presentation時間本來就是分開的，影響還相對比較小。
  3. 主動認識 > 被動聽講。這次認識了MIT的台灣博士生、Time series博士生、PyOD作者、UCSD Non-collaborate對話組、NTU Vivian組…等，這些反而是讓我覺得收穫更大的一部分。
  4. 善用吃飯時間認識新朋友。盡量找朋友 or 朋友的朋友一起去吃飯聊天，絕對會有意想不到的收穫。而在 AAAI 這種 top conference 舉辦期間，很多企業會有免費的Invited Lunch (這次去了Jane street, Sony的)，沒事的話可以踴躍參加，這也讓我第一次在紐約吃到了Google Map $$$的餐廳。我還有幸參加了Lunch with Fellow的活動，和IBM Deep Blue的作者Murray Campbell共進午餐，不過他似乎很鄙視現在的deep learning，覺得很多研究都在亂搞 XD。
  5. 線上/線下宣傳很重要。有一個活動台灣似乎比較少舉辦類似的，之前在北京的時候，我擔任了兩場 AAAI 預講會的講者(北京大學＆阿里巴巴)，預講會讓有中AAAI論文的人在出國前，有機會用中文展示自己的研究工作，不僅能讓更多人知道自己的研究工作，也能結識更多人。
burry
是 IBM Murray Campbell ！

最後，附上一些個人的小murmur：

  1. 紐約吃飯真的貴。餐廳平均20刀，還要外加8%紐約州稅、15~20%小費…
  2. 時差在飛機上就要先調整好。這次去程調了三天，回程也調了三天…
  3. 會場休息位置太少了，大家像難民一樣席地而坐
  4. 點心和咖啡居然會中斷！大家可是付了將近3萬台幣的會議註冊費呢…
    • AAAI不含早餐＆午餐。10點早茶、3點下午茶，晚上Poster有簡單晚餐。
  5. 我的手機不支援美國的4G頻段，每天都處於幾乎斷網的情況。幸好紐約地鐵、公共WIFI的覆蓋率高，才能順利活下來。
  6. AAAI Reception/Social Event 超級無聊，只有一堆不知道該如何吃的神祕cheese。我懷念去年ACL在義大利的舞池和煙火了
  7. 來紐約一定要去百老匯看音樂劇！TKTS 半價票超划算，位置超棒，歌劇魅影好好看阿阿阿阿。
  8. 在紐約的地鐵內，什麼事情都可能發生 (第一次搭的時候剛好是下雨天，給我的第一印象是：為什麼這裡可以比印度地鐵還要髒…)
  9. 路上四處都飄著大麻的味道，味道有夠濃
截圖 2020-05-20 下午10.02.06
出來開會(x) –> 出來旅行(O)

以上大概就是這次去開會的心得，因為忙著弄畢業論文拖到現在才整理，希望大家有所收穫！
（我另外有1hr的分享版PPT，有興趣的可以找我要）

ll
Hope we meet again soon, AAAI !

對「AAAI 2020 參會心得」的想法

發表留言

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。