vae 缺點的八卦，PTT、YOUTUBE和 Yahoo名人娛樂都在討論：

「vae 缺點」的推薦目錄：

關於vae 缺點在 [問題] VAE在text generation的問題- 看板DataScience - 批踢踢 ... 的評價
關於vae 缺點在史上最佳GAN被超越！生成人臉動物高清大圖真假難辨 - PTT新聞的評價
關於vae 缺點在新天龍八部online game - 重楼大神带刷四绝! 终于出八星神器了!! 的評價
關於vae 缺點在機器學習（Lasso推論模型）：使用Stata、Python分析（附光碟）的評價

社群媒體上有些相關的討論：

vae 缺點在 [問題] VAE在text generation的問題- 看板DataScience - 批踢踢 ... 的八卦

作者somoskylin (八七booboo)

看板DataScience

標題[問題] VAE在text generation的問題

時間Wed Jul 1 01:13:20 2020

各位前輩好：

有些paper說VAE在image generation的缺點是不夠 realistic且生成的圖片會有點模糊

李宏毅教授的教學影片中也說VAE其實是模仿database的資料，而不是真正的去創造新的圖片，甚至生成的圖片是database的linear combination (我上課沒理解錯的話)，所以才需要GAN

請問前輩們，VAE在text generation也有類似的問題嗎?
也就是VAE並不會真正的生產句子，而是從training set的distribution space中給

因為我想知道 VAE在text generation的缺點

我找了一些paper都沒有在談論這個問題，基本上都是談論VAE有 KL vanishing問題

可以的話能給我paper title，感恩

-----
Sent from JPTT on my Xiaomi Redmi 5 Plus.

--

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.102.36 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1593537202.A.ACF.html

推 seasa2016: 那就用sequence gan如何 07/01 02:19

→ somoskylin: 主要是想知道VAE的缺點，看來我文章寫的不清楚 07/01 02:26

→ somoskylin: VAE有什麼樣的問題，才會用GAN之類的 07/01 02:28

推 sxy67230: VAE主要是他的approximately上界就是整個資料的分佈， 07/01 09:42

→ sxy67230: 等同於對整個模型做了一個限制，而GAN初始採用隨機噪聲 07/01 09:42

→ sxy67230: ，分佈上界就只是當Discriminator無法分辨真假來源的時 07/01 09:42

→ sxy67230: 候，所以GAN會難train就是這個原因。 07/01 09:42

推 sxy67230: 關鍵字應該是explicit density 跟 implicit density模 07/01 09:44

→ sxy67230: 型的差異 07/01 09:44

→ sxy67230: 更正一下：整個訓練資料的分佈 07/01 09:45

→ seasa2016: 可是gan也沒辦法保證不再資料分布中的樣本能不能有好結 07/01 11:08

→ seasa2016: 果吧，這點可能跟vae差不多？ 07/01 11:08

推 king22649: 這只能做出失智老人吧還是玩影像比較有趣 07/01 13:32

推 kokolotl: gan感覺也是吃training set的分佈吧 07/01 14:46

→ kokolotl: 最近歐巴馬馬賽克轉成白人爭議應該是這樣來的 07/01 14:46

→ somoskylin: 謝謝s大，我找找看 07/01 16:41

→ somoskylin: 整樓下來，我又confuse了 07/01 16:41

→ seasa2016: 我覺得只是vae的 loss設計的不夠好而已，所以才用gan 07/01 18:04

推 acctouhou: 我認為不是loss不夠好而是這些error不等價 07/01 21:48

推 acctouhou: 舉個例子數字辨識的1 同樣誤差20個pixel，你會去找筆 07/01 21:50

→ acctouhou: 畫筆直的而不是在乎1長度多少，這導致了明明loss很低， 07/01 21:50

→ acctouhou: 卻還是騙不過眼睛 07/01 21:50

→ acctouhou: 所以藉由另一個network來判斷之間的差異 07/01 21:51

→ acctouhou: 另外NN本來就是data-driven 所以基本上都是跟資料有關 07/01 21:52

→ acctouhou: ，除非你的dataset已經跟母體空間夠相似 07/01 21:52

→ acctouhou: s大分析精闢 07/01 21:52

→ seasa2016: 第二第三句不就是loss不夠好不能反映真正的lossㄇ 07/01 22:01

→ fr75: Obama轉白人可以貼一下連結嗎 07/02 05:56

推 kokolotl: https://read01.com/EyQBPMG.html 07/02 11:59

→ somoskylin: a大圖片方面我是知道的，但是文字沒有什麼1pixel差異 07/02 12:26

→ somoskylin: ，我就不知道差異處了 07/02 12:26

→ somoskylin: 請問各位前輩我這樣理解不知道對不對： 07/02 16:24

→ somoskylin: VAE是找尋並符合database的特徵分佈 07/02 16:24

→ somoskylin: GAN可以突破database產生以外的結果，只是比較難 07/02 16:24

推 geminitw: VAE 的 loss 不是 "設計" 出來的吧? 是推導而來的 07/02 23:55

→ geminitw: VAE 是在找出 latent variable 的機率分佈, 可以用高斯 07/02 23:56

→ geminitw: 也可以用其他的分佈, 也許 text 不適合用高斯 07/02 23:57

→ seasa2016: 用高斯或其他的分佈和怎麼評估reconstruct這兩個不都可 07/03 01:06

→ seasa2016: 以自己設計嗎？ 07/03 01:06

→ seasa2016: 推倒的機率式並沒有定義 07/03 01:07

推 world4jason: 歐巴馬那個我覺得難免…NBA那個curry都是黑人了而且 07/06 18:29

→ world4jason: 他們自己人也會認錯 07/06 18:29

推 goldflower: 歐巴馬事件鬥到yann lecun都說要退出twitter了XD 07/11 22:18

... <看更多>

vae 缺點的八卦，PTT、YOUTUBE和 Yahoo名人娛樂都在討論：

「vae 缺點」的推薦目錄：

相關內容

你可能也想看看

搜尋相關連結