自然語言 | iThome

AI趨勢周報第155期：不求獎勵的RL代理就更像人類嗎？Google Brain告訴你

Google Brain聯手多倫多大學和Vector研究院，用3種常見的人類學習機制，來探討AI是否不需任務獎勵，只靠Intrinsic objective就能探索環境、找出最佳解法；微軟NLU模型DeBERTa超越人類表現，「離通用AI更近了」；臉書發起Open Loop計畫，號召全球政策制定者和科技公司加入，來研擬恰當的AI法規。

2021-01-14

AI趨勢周報第154期：OpenAI零樣本學習新作CLIP，不靠128萬樣本就完勝ResNet50

OpenAI不僅發表號稱是GPT-3翻版的圖像生成模型DALL·E，也同時發布一套文字和圖像預訓練模型CLIP，可根據自然語言來學習視覺概念。特別的是，使用者只需提供圖像類別名稱，就可直接將CLIP用於任何影像分類的基準測試（Benchmark），無須特別優化。

2021-01-07

AI趨勢周報第142期：推理能力新突破！OpenAI新作GPT-f能自動證明數學定理

OpenAI先前才釋出具1,750億個參數的超大自然語言預訓練模型GPT-3，最近又發表一款模型GPT-f，能以形式化語言Metamath自動證明數學定理；另一方面，Nviida日前在醫療影像醫器學習年會中，揭露一套醫療語音辨識模型Bio-Megatron，可聽懂病患說出的臨床單字，並對應到標準化的健康資料庫中。

2020-09-17

AI趨勢周報第121期：通吃自然語言和程式語言！微軟發表CodeBERT模型讓程式碼搜尋更便利

微軟亞洲研究院發表CodeBERT模型，可理解自然語言和6種程式語言，包括Ruby、Java、JavaScript、Python、Go、PHP等，能用自然語言來查詢程式碼，也可以建立程式碼文檔；另一方面，DeepMind釋出兩款JAX函式庫Haiku和RLax，要來提升強化學習的實作；而由微軟共同創辦人成立的艾倫AI研究院AI2，發表了電腦視覺模型評比工具

2020-02-27

軟硬體技術突破，微軟建立擁有高達170億個參數的語言產生模型

除了Nvidia的硬體技術支援，微軟使用了DeepSpeed訓練加速函式庫與ZeRO記憶體最佳化方法，大幅提升模型訓練效率

2020-02-11

AI趨勢周報第117期：Google開源第二代自然語言模型ALBERT，加碼釋出ALBERT中文模型

Google日前開源第二代自然語言預訓練模型ALBERT v2，在多項NLU基準測試上，第二代表現幾乎都比第一代高。同時，Google團隊也一併開源中文版ALBERT。另一方面，工研院利用自行設計的AsicNet卷積網路來打造邊緣AI相機，可24小時辨識寶寶表情和行為，比如吐奶、口鼻是否遮蔽等，準確率達95％以上，於今年度CES上展出。

2020-01-09

AI趨勢周報第115期：12合一！臉書AI研究院用一套ViLBERT模型，搞定不同類型資料集的ML訓練任務

臉書AI研究院日前聯手喬治亞理工學院、奧勒岡州立大學，用12個資料集訓練一套ViLBERT模型，不只可用來解決不同類型的電腦視覺與自然語言任務，參數還從30億個減少至2.7億個，準確度平均提升2分。另一方面，為更精準掌握景氣循環，國發會研擬開發一套景氣循環AI預警系統。此外，由國發會成率領民間團體成立的國家級投資公司台杉投資，明年計畫成立AI科技基金，同時要吸引國外AI技術團隊在臺成立研發中心。

2019-12-27

| AI | 微軟 | 語音合成 | google | AutoML | 自然語言 | PDF | Nvidia | TensorRT | 推論 | 萊迪思 | 28奈米 | FPGA | IT周報

AI趨勢周報第114期：快又不漏字！微軟發表FastSpeech能更快產生逼真自然的語音

微軟發表FastSpeech仿真語音生成模型，可快速產生逼真的人類語音，解決語音合成速度緩慢的痛點。Google正式推出AutoML Natural Language，新增了PDF語意理解功能，還可支援5,000個分類標籤，訓練資料量最多可支援1百萬筆文件。Nvidia發表新一代深度學習加速的SDK TensorRT 7，透過優化的編譯器，來加速迴歸和Transformer模型的推論，比傳統CPU快10倍以上。

2019-12-19