AI大模型技術(shù)正成為推動(dòng)高質(zhì)生產(chǎn)力發(fā)展的關(guān)鍵力量，在與千行百業(yè)的融合中發(fā)揮著重要作用。騰訊混元大模型通過(guò)采用混合專(zhuān)家模型 (MoE) 結(jié)構(gòu)，已將模型擴(kuò)展至萬(wàn)億級(jí)參數(shù)規(guī)模，增加“腦”容量提升預(yù)測(cè)性能的同時(shí)，推動(dòng)了推理成本下降。作為通用模型，騰訊混元在中文表現(xiàn)上處于業(yè)界領(lǐng)先水平，尤其在文本生成、數(shù)理邏輯和多輪對(duì)話中性能表現(xiàn)卓越。
近日，騰訊混元大模型正式對(duì)外發(fā)布256k長(zhǎng)文模型，并通過(guò)騰訊云向廣大企業(yè)和個(gè)人開(kāi)發(fā)者開(kāi)放，以支持更廣泛的創(chuàng)新和應(yīng)用。騰訊混元256k模型版本具備處理超過(guò)38萬(wàn)字符的超長(zhǎng)文本能力。在對(duì)話應(yīng)用場(chǎng)景中，該模型能夠“記憶”更多的對(duì)話內(nèi)容，有效避免“忘記”信息等問(wèn)題。此外，它還具備出色的上下文分析能力，能夠?yàn)閷?duì)話參與者提供更為精確和相關(guān)的反饋，從而輔助他們做出更明智的決策。
此外，該模型版本在長(zhǎng)文檔的閱讀理解和大規(guī)模數(shù)據(jù)分析方面也展現(xiàn)出強(qiáng)大性能。它能夠?yàn)榻鹑凇⑨t(yī)療、教育、出行等行業(yè)的專(zhuān)業(yè)人士提供強(qiáng)有力的工作支持，顯著提高他們的工作效率。模型在推理性能上也進(jìn)行了深入優(yōu)化，確保了在騰訊云等平臺(tái)上的實(shí)際應(yīng)用中，用戶(hù)能夠享受到更加流暢和高效的使用體驗(yàn)。
減少“健忘”，讓大模型更聰明
在大模型產(chǎn)品中，處理對(duì)話式需求是一項(xiàng)核心功能。但由于長(zhǎng)文本處理能力的局限，傳統(tǒng)大模型在對(duì)話中容易“迷失方向”或出現(xiàn)“記憶缺失”，隨著對(duì)話長(zhǎng)度的增加，遺忘的信息量也隨之增多。
騰訊混元256k模型針對(duì)這一挑戰(zhàn)進(jìn)行了專(zhuān)門(mén)優(yōu)化。它采用了先進(jìn)的“專(zhuān)家混合”（MoE）架構(gòu)，并融合了RoPE-NTK和Flash Attention V2等創(chuàng)新技術(shù)，既保持了對(duì)通用短文本（少于4,000字符）的高效處理能力，同時(shí)在長(zhǎng)文本處理的深度和廣度上實(shí)現(xiàn)了突破。
目前，騰訊混元大模型已經(jīng)具備256k的超長(zhǎng)上下文理解能力，單次處理字符數(shù)超過(guò)38萬(wàn)個(gè)，在經(jīng)過(guò)嚴(yán)苛的“大海撈針”任務(wù)測(cè)試后，該模型在長(zhǎng)文本處理上的準(zhǔn)確率已達(dá)到99.99%，在國(guó)際上也處于領(lǐng)先地位。
持續(xù)穩(wěn)定迭代，大模型應(yīng)用效率提升
騰訊混元大模型在業(yè)界率先采用了混合專(zhuān)家模型（MoE）結(jié)構(gòu)，并在此過(guò)程中積累了大量自研技術(shù)。在上一個(gè)版本32K中，該模型已顯著超越市面上的開(kāi)源同類(lèi)模型，并在多種應(yīng)用場(chǎng)景中展現(xiàn)出優(yōu)異性能。
經(jīng)過(guò)全新迭代，騰訊混元256k在通用領(lǐng)域的GSB評(píng)測(cè)中，相較于前一版本，勝出率50.72%。同時(shí)，騰訊混元256k的訓(xùn)練集融合了醫(yī)療、金融等多個(gè)領(lǐng)域的長(zhǎng)文本數(shù)據(jù)、翻譯數(shù)據(jù)和多文檔問(wèn)答等高質(zhì)量標(biāo)注數(shù)據(jù)，這使得模型在實(shí)際應(yīng)用中，尤其是在需要頻繁分析和處理大量長(zhǎng)文本資料的醫(yī)療和金融行業(yè)，能夠提供更為精準(zhǔn)和高效的工作支持。
例如，當(dāng)將一份央行發(fā)布的金融報(bào)告輸入騰訊混元256k模型時(shí)，該模型能夠迅速提煉和總結(jié)報(bào)告的要點(diǎn)，在處理速度和準(zhǔn)確性上均達(dá)到了令人滿(mǎn)意的水平。
推理性能優(yōu)化，帶來(lái)更強(qiáng)的大模型理解能力
與此同時(shí)，騰訊混元256k在推理性能上進(jìn)行了深入優(yōu)化。在INT8精度模式下，與FP16精度相比，模型的QPM（每秒查詢(xún)率）實(shí)現(xiàn)了23.9%的顯著提升，而首字耗時(shí)僅增加了5.7%。這些改進(jìn)顯著增強(qiáng)了模型在實(shí)際應(yīng)用中的響應(yīng)速度和整體效率。
以《三國(guó)演義》的分析為例，騰訊混元256k能夠迅速閱讀并檢索這部數(shù)十萬(wàn)字的古典小說(shuō)，不僅能夠準(zhǔn)確識(shí)別出小說(shuō)中的關(guān)鍵人物和事件情節(jié)，甚至對(duì)于天氣、角色著裝等細(xì)節(jié)描述也能提供精確的信息。
AI大模型作為新質(zhì)生產(chǎn)力的關(guān)鍵組成部分，對(duì)推動(dòng)產(chǎn)業(yè)升級(jí)和實(shí)現(xiàn)高質(zhì)量發(fā)展具有至關(guān)重要的作用。騰訊混元256k模型的推出為整個(gè)行業(yè)注入了全新活力，并開(kāi)拓了更廣泛的應(yīng)用前景。
目前，騰訊混元256k長(zhǎng)文模型已經(jīng)通過(guò)騰訊云向廣大企業(yè)和個(gè)人開(kāi)發(fā)者開(kāi)放，用戶(hù)可通過(guò)hunyuan-standard版本256k長(zhǎng)文模型接入。這使得更多的開(kāi)發(fā)者和用戶(hù)能夠便捷地接入并使用騰訊混元大模型的強(qiáng)大功能，進(jìn)而為各行各業(yè)提供智能化的解決方案，推動(dòng)更多創(chuàng)新應(yīng)用場(chǎng)景的實(shí)現(xiàn)。
