近5年来，大型语言模型研究的发展有三条技术路线：Bert模式、GPT模式、混合模式。T5模式将两者的方法结合，有两阶段。张俊林称这种模式“形似GPT，神似Bert”，生成和理解都行，从效果上看较适合理解类任务，国内很多大型语言模型采用这种模式。综合来看，当前几乎所有参数规模超过千亿的大型语言模型都采取GPT模式。
支持图像、音频、文本的多种模态交互
