Google Brain利用稀疏技術和多專家模型(MoE),打造出1.6兆參數的NLP預訓練模型Switch Transformer,稱運算成本不變但更快速;經過2年醞釀,美國FDA終於發布AI/ML醫材軟體法規行動計畫;找出最佳神經網路架構好難?德州大學發表且開源無須訓練的神經網路搜尋(NAS)方法TE-NAS。
Google Brain聯手多倫多大學和Vector研究院,用3種常見的人類學習機制,來探討AI是否不需任務獎勵,只靠Intrinsic objective就能探索環境、找出最佳解法;微軟NLU模型DeBERTa超越人類表現,「離通用AI更近了」;臉書發起Open Loop計畫,號召全球政策制定者和科技公司加入,來研擬恰當的AI法規。