MachineTranslatedbyGoogle2024‑02‑21Gemma：基于Gemini的开放模型研究与技术Gemma团队，谷歌DeepMind11完整的作者列表请参阅贡献和致谢部分。请将信件发送至gemma‑1‑report@google.com。这项工作介绍了Gemma，这是一个根据研究构建的轻量级、最先进的开放模型系列以及用于创建Gemini模型的技术。Gemma模型在各个方面都表现出强大的性能语言理解、推理和安全的学术基准。我们推出了两种尺寸的型号（20亿和70亿个参数），并提供预训练和微调的检查点。芽在18个基于文本的任务中，有11个的性能优于类似大小的开放模型，并且我们提出了全面的对模型的安全和责任方面的评估以及模型的详细描述发展。我们相信，负责任地释放法学硕士对于提高边境安全至关重要模型，并实现下一波法学硕士创新浪潮。介绍方法论。我们推出Gemma，一个开放模型系列Gemma提升最先进的性能基于Google的Gemini模型（GeminiTeam，2023）。相对于可比规模（和一些更大的），开放模型（Almazrouei等人，2023；Jiang我们使用类似的架构、数据、最多6T的文本标记来训练等，2023；Touvron等人，2023a,b)Gemma模型广泛的领域，包括自动化基准和人工评估。示例领域包括问答（Clark等人，以及双子座模范家庭的培训食谱。与Gemini一样，这些模型在文本领域实现了强大2019；Kwiatkowski等人，2019），常识的通才能力，同时还具备最先进的理解和推理能力。推理（Sakaguchi等人，2019；Suzgun等人，2022），数学和科学（Cobbe等人，规模。通过这项工作，我们发布了预训练的2021年；Hendrycks等人，2020）和编码（奥斯汀和微调的检查点，以及用于推理和服务的开源代码库。...
发表评论取消回复