Meta開發出文生圖模型CM3Leon

【資料圖】

近日，Meta公司宣布開發出一款名為CM3Leon的文生圖模型，該模型可以根據文本生成高質量的圖像，也可以為圖像生成文本描述，甚至可以根據文本指令編輯圖像。

據介紹，CM3Leon是首個使用純文本語言模型配方改編和訓練而成的多模態模型，并經歷了大規模檢索增強預訓練和隨后的多任務監督微調（SFT）階段。與Stable Diffusion、DALL-E、Midjourney等文生圖模型依賴于擴散（Diffusion）模型技術不同，CM3Leon采用了基于token的自回歸模型方法。

Meta公司表示，盡管訓練時的計算量僅相當于以往基于Transformer方法的五分之一，但CM3Leon在文本到圖像的生成方面還是獲得了同類領先的性能。CM3Leon既具備自回歸模型的功能多樣性和有效性，也保持著較低的訓練成本和較高的推理效率。作為一套因果掩碼混合模態（CM3）模型，它能夠以其他圖像和文本內容的任意序列為條件，生成相應的文本與圖像序列。這極大突破了以往大模型只能從文本到圖像或者只能從圖像到文本的功能局限。