CodeFuse-CodeLlama34B-MFT是一个通过QLoRA对基座模型CodeLlama-34b-Python进行多代码任务微调的代码大模型。模型微调采用了4k上下文。如果有必要，可以扩展到16k。

CodeFuse-CodeLlama-34B-4bits是CodeFuse-CodeLlama-34B模型的4bits量化版本，后者是通过QLoRA对基座模型CodeLlama-34b-Python进行多代码任务微调而得到的代码大模型，模型输入长度为4K。

CodeFuse-CodeGeeX2-6B是在基本模型 CodeGeeX2 上通过 LoRA 对多个代码任务进行微调的 6B Code-LLM。

CodeFuse-13B是基于GPT-NeoX框架训练的13B参数代码生成模型，能够处理4096个字符的代码序列。该模型在1000B Token的代码、中文、英文数据数据集上进行预训练，覆盖超过40种编程语言。

CodeFuse-StarCoder-15B是一个通过QLoRA对基座模型StarCoder进行多代码任务微调的代码大模型。模型微调采用了4k上下文。采用了MQA技术，推理速度比较快。

CodeGeeX2 是多语言代码生成模型 CodeGeeX 的第二代模型。CodeGeeX2 基于 ChatGLM2 架构加入代码预训练实现，得益于 ChatGLM2 的更优性能，CodeGeeX2 在多项指标上取得性能提升（+107% > CodeGeeX；仅60亿参数即超过150亿参数的 StarCoder-15B 近10%）更多特性包括更强大的代码能力、更优秀的模型特性、更全面的AI编程助手、更开放的协议。

在CodeGeeX2 的基础上采用了int4 量化推理，加快推理速度。

Code Llama 7B基本版本，经过预训练和微调的生成文本模型，参数规模从70亿到340亿不等，专为一般代码综合和理解而设计。

Code Llama 13B指令调整版本，经过预训练和微调的生成文本模型，参数规模从70亿到340亿不等，专为一般代码综合和理解而设计。

Code Llama 7B指令调整版本，经过预训练和微调的生成文本模型，参数规模从70亿到340亿不等，专为一般代码综合和理解而设计。

Code Llama 34B指令调整版本，经过预训练和微调的生成文本模型，参数规模从70亿到340亿不等，专为一般代码综合和理解而设计。

Code Llama 13B基本版本，经过预训练和微调的生成文本模型，参数规模从70亿到340亿不等，专为一般代码综合和理解而设计。

Code Llama 34B基本版本，经过预训练和微调的生成文本模型，参数规模从70亿到340亿不等，专为一般代码综合和理解而设计。

Code Llama 7B Python专业版本，经过预训练和微调的生成文本模型，参数规模从70亿到340亿不等，专为一般代码综合和理解而设计。

Code Llama 34B Python专业版本，经过预训练和微调的生成文本模型，参数规模从70亿到340亿不等，专为一般代码综合和理解而设计。

Code Llama 13B Python专业版本，经过预训练和微调的生成文本模型，参数规模从70亿到340亿不等，专为一般代码综合和理解而设计。

使用因果屏蔽目标对代码进行训练的仅 1B 参数解码器 Transformer 模型，允许插入/填充代码以及标准的从左到右生成。

这是一个6亿参数的仅解码器的Transformer模型，专门针对代码进行训练，使用因果掩码目标，允许插入/填充代码以及标准的从左到右的生成。

Replit Code v1.5 是一个专注于代码生成的3.3B 参数因果语言模型。

Replit Code V1-3b是Replit发布的一个大模型，用以生成代码的工具。模型大27亿参数。支持20种编程语言，基于5250亿个tokens进行训练。训练了10天后比现有所有的开源模型效果都好（基于人工评估）。

CodeGen2.5是一系列用于程序综合的自回归语言模型，该模型以CodeGen2为基础，在StarCoderData上针对 1.4T 代币进行训练，与 StarCoderBase-15.5B 相比，其大小不到一半，取得了有竞争力的结果。

CodeT5+是一个新的开放代码大语言模型家族，具有编码器-解码器架构，可以灵活地在不同模式下运行，以支持广泛的代码理解和生成任务。

该模型以CodeGen2为基础，在StarCoderData上针对 1.4T tokens进行训练，与 StarCoderBase-15.5B 相比，其大小不到一半，取得了有竞争力的结果。该模型具有填充能力，并且支持多种编程语言。

CodeT5是一个统一的预训练编码器-解码器 Transformer 模型，可以更好地利用开发人员分配的标识符传达的代码语义

该模型以CodeGen2为基础，在StarCoderData上针对 1.4T tokens进行训练，与 StarCoderBase-15.5B 相比，其大小不到一半，取得了有竞争力的结果。该模型具有填充能力，并且支持多种编程语言。

CodeT5+是一个新的开放代码大语言模型家族，具有编码器-解码器架构，可以灵活地在不同模式下运行，以支持广泛的代码理解和生成任务。

CodeT5+是一个新的开放代码大语言模型家族，具有编码器-解码器架构，可以灵活地在不同模式下运行，以支持广泛的代码理解和生成任务。

CodeT5+是一个新的开放代码大语言模型家族，具有编码器-解码器架构，可以灵活地在不同模式下运行，以支持广泛的代码理解和生成任务。

CodeGen 是一系列用于程序综合的自回归语言模型

CodeT5+是一个新的开放代码大语言模型家族，具有编码器-解码器架构，可以灵活地在不同模式下运行，以支持广泛的代码理解和生成任务。

CodeGen 是一系列用于程序综合的自回归语言模型，其中“NL”表示它是在 Pile 上预训练的，“6B”指的是可训练参数的数量

CodeT5+是一个新的开放代码大语言模型家族，具有编码器-解码器架构，可以灵活地在不同模式下运行，以支持广泛的代码理解和生成任务，codet5p-220m-py 是在Python上进一步调优。

CodeGen2是一个用于程序综合的自回归语言模型系列，CodeGen2具有填充能力，并且支持多种编程语言。

CodeGen 是一系列用于程序综合的自回归语言模型，其中“NL”表示它是在 Pile 上预训练的，“16B”指的是可训练参数的数量

CodeT5+是一个新的开放代码大语言模型家族，具有编码器-解码器架构，可以灵活地在不同模式下运行，以支持广泛的代码理解和生成任务。

CodeT5+是一个新的开放代码大语言模型家族，具有编码器-解码器架构，可以灵活地在不同模式下运行，以支持广泛的代码理解和生成任务，codet5p-770m-py 是在Python上进一步调优。

CodeGen2是一个用于程序综合的自回归语言模型系列，CodeGen2具有填充能力，并且支持多种编程语言。

CodeGen 是一系列用于程序综合的自回归语言模型，其中“NL”表示它是在 Pile 上预训练的，“2B”指的是可训练参数的数量。

CodeGen2是一个用于程序综合的自回归语言模型系列，CodeGen2具有填充能力，并且支持多种编程语言。

其中“Multi”表示模型使用CodeGen-NL 16B进行初始化，并在多种编程语言的数据集上进一步进行预训练，“16B”指的是可训练参数的数量。

CodeGen2是一个用于程序综合的自回归语言模型系列，CodeGen2具有填充能力，并且支持多种编程语言。

Stable Code 3B 专注于代码能力，可理解处理 18 种不同的编程语言，上下文长度 100K token。它对硬件要求也不高，用 MacBook Air 等普通笔记本电脑也能离线运行。

StarCoder模型是15.5亿参数的模型，训练于The Stack中的80多种编程语言，排除了选择退出的请求。该模型使用多查询注意力机制，拥有8192个令牌的上下文窗口，并采用了Fill-in-the-Middle目标在1万亿令牌上进行训练。

StarCoderPlus是对StarCoderBase的微调版本，其训练数据混合了：英文网络数据集RefinedWeb (1x)、来自Stack的StarCoderData数据集 (v1.2) (1x)、已上采样 5 倍 (5x) 的维基百科数据集。

StarCoderBase模型是15.5亿参数的模型，针对来自The Stack (v1.2)的80多种编程语言进行训练，排除了选择退出的请求。该模型采用多查询注意力机制，具有8192个令牌的上下文窗口，并使用填充中间（Fill-in-the-Middle）目标在1万亿令牌上进行了训练。

基于训练Ziya-Coding-15B-v1积累的训练经验，发布了大模型Ziya-Coding-34B-v1.0，并在HumanEval Pass@1的评测上，取得了75.5的好成绩，超过了GPT-4（67.0）的得分，也成为目前已知开源模型新高。

Ziya-Coding-15B-v1是基于StarCoderBase的155亿参数预训练模型。它可以根据指令完成生成和修改代码、代码解释、代码延续、NL2SQL等一系列与代码相关的任务。目前，Ziya-Writing-LLaMa-13B-v1已完成大规模预训练（PT）和监督微调（SFT）训练过程。