微軟聯(lián)手北大，發(fā)布PPTC大模型測(cè)試基準(zhǔn)

　　據(jù)品玩引述 HuggingFace 頁(yè)面報(bào)道，微軟研究院聯(lián)手北京大學(xué)，共同發(fā)布了一款名為 PPTC 的大模型測(cè)試基準(zhǔn)，可以用于測(cè)試大模型在PPT 生成方面的能力。

　　研究團(tuán)隊(duì)表示，PPTC包含 279 個(gè)涵蓋不同主題的多回合會(huì)話和數(shù)百條涉及多模式操作的說(shuō)明。研究團(tuán)隊(duì)還提出了PPTX-Match評(píng)估系統(tǒng)，該系統(tǒng)根據(jù)預(yù)測(cè)文件而不是標(biāo)簽API序列來(lái)評(píng)估大語(yǔ)言模型是否完成指令，因此它支持各種LLM生成的API序列。

　　研究團(tuán)隊(duì)表示，當(dāng)前大語(yǔ)言模型在生成PPT 內(nèi)容方面主要存在三個(gè)方面的不足，包括多輪會(huì)話中的錯(cuò)誤累積、長(zhǎng)PPT模板處理和多模態(tài)感知問(wèn)題。