Upstage 的太阳能模型现已在 Amazon SageMaker JumpStart 中提供 机

Upstage的Solar模型现已在Amazon SageMaker JumpStart中上线

作者：Channy Yun () Hwalsuk Lee Brandon Lee发布日期：2024年4月2日发源地：Amazon SageMaker

关键要点

我们非常高兴地宣布，由Upstage开发的Solar基础模型现已在Amazon SageMaker JumpStart中提供给客户使用。Solar是一种大型语言模型LLM，经过100的Amazon SageMaker预训练，它体积小巧、性能卓越，专注于特定任务的训练，因此在多种语言、领域和任务中具有出色的适用性。

现在，您可以在SageMaker JumpStart中使用Solar Mini Chat和Solar Mini Chat Quant预训练模型。SageMaker JumpStart是SageMaker的机器学习ML中心，提供基础模型及内置算法的访问，帮助您快速入门ML。

在本文中，我们将向您展示如何通过SageMaker JumpStart发现和部署Solar模型。

什么是Solar模型？

Solar是一个紧凑而强大的模型，支持英语和韩语。它特别经过了多轮对话的精细调校，能够在各种自然语言处理任务中展现出更好的性能。

Solar Mini Chat模型基于Solar 107B，采用32层的Llama 2结构，并初始化了与Llama 2架构兼容的Mistral 7B预训练权重。此精细调校使其更有效地处理扩展对话，特别适合交互应用程序。它采用了一种称为深度上升的扩展DUS的方法，结合了深度扩展和持续预训练，允许比其他扩展方法如专家混合模型MoE更简单和高效地扩大较小模型。

在2023年12月，Solar 107B模型因以显著更少的参数在Open LLM排行榜上登顶，引起了轰动。Solar 107B提供的响应与GPT35相当，但速度提升了25倍。除了在Open LLM排行榜上高居首位，Solar 107B在某些领域和任务上还超越了GPT4的专用训练模型。

以下图表展示了这些指标的一部分：

来源：Upstage

通过SageMaker JumpStart，您可以部署基于Solar 107B的预训练模型：Solar Mini Chat和优化过的Solar Mini Chat量化版本。这些模型在韩语语言细节上提供了更深入的理解，显著提升了用户在聊天环境中的互动体验。它能够为用户输入提供准确的回复，确保在英文和韩文聊天应用中更清晰的沟通和更高效的问题解决。

在SageMaker JumpStart中开始使用Solar模型

要开始使用Solar模型，您可以使用SageMaker JumpStart，该服务旨在将预构建的机器学习模型部署到生产就绪的托管环境中。您可以在Amazon SageMaker Studio中通过SageMaker JumpStart访问Solar模型，SageMaker Studio是一个基于web的集成开发环境IDE，您可以在此进行所有机器学习开发步骤，从数据准备到构建、训练和部署您的ML模型。

在SageMaker Studio控制台中，选择导航窗格中的JumpStart。您可以在搜索栏中输入“solar”以查找Upstage的Solar模型。

接下来，让我们部署Solar Mini Chat Quant模型。选择模型卡以查看有关该模型的详细信息，例如许可证、用于训练的数据以及如何使用该模型。您还会找到一个部署选项，它将带您进入一个登录页面，您可以在此测试带示例负载的推理。

该模型需要一个AWS Marketplace订阅。如果您已经订阅了该模型，并获得了使用该产品的批准，您可以直接部署该模型。

如果您尚未订阅该模型，请选择订阅，访问AWS Marketplace，查看定价条款和最终用户许可协议EULA，然后选择接受报价。

完成模型订阅后，您可以通过选择部署资源如实例类型和初始实例数量将模型部署到SageMaker端点。选择部署，等待端点创建以进行模型推理。您可以选择mlg52xlarge实例，作为更经济的推理选项。

当您的SageMaker端点成功创建后，您可以通过各种SageMaker应用环境进行测试。

在SageMaker Studio JupyterLab中运行Solar模型代码

SageMaker Studio支持多种应用开发环境，包括JupyterLab，这是一个增强的完全托管的笔记本解决方案，具备快速启动的内核、预配置的运行时以及高性能私有块存储。如需了解更多信息，请参见SageMaker JupyterLab。

在SageMaker Studio中创建一个JupyterLab空间，以管理运行JupyterLab应用所需的存储和计算资源。

您可以在GitHub仓库找到在SageMaker JumpStart中部署Solar模型的代码示例，以及如何使用已部署模型的示例代码。现在，您可以使用SageMaker JumpStart进行模型部署。以下代码使用默认实例mlg52xlarge进行Solar Mini Chat Quant模型推理端点。

Solar模型支持与OpenAI的聊天完成端点兼容的请求/响应负载。您可以使用Python测试单轮或多轮聊天示例。

python

获取SageMaker端点

sagemakerruntime = boto3client(sagemakerruntime)endpointname = sagemakerutilsnamefrombase(modelname)

多轮聊天提示示例

input = { messages [ { role system content 你是一个有帮助的助手。 } { role user content 你能提供一个Python脚本来合并两个已排序的列表吗？ } { role assistant content 当然，这是一个用于合并两个已排序列表的Python脚本：

                python                def mergelists(list1 list2)                    return sorted(list1  list2)                                  }  {    role user    content 你能提供一个使用该函数的示例吗？  }]

}

从模型获取响应

response = sagemakerruntimeinvokeendpoint(EndpointName=endpointname ContentType=application/json Body=jsondumps(input))result = jsonloads(response[Body]read()decode())print(result)

您已经成功使用Solar Mini Chat模型进行了实时推理。

清理

测试完端点后，请删除SageMaker推理端点和模型，以避免产生费用。

您还可以在SageMaker Studio JupyterLab的笔记本中运行以下代码删除端点和模型：

python

删除端点

modelsagemakersessiondeleteendpoint(endpointname)modelsagemakersessiondeleteendpointconfig(endpointname)

删除模型

modeldeletemodel()

有关更多信息，请查看删除端点和资源。此外，您可以关闭不再需要的SageMaker Studio资源。

结论

在本文中，我们向您展示了如何在SageMaker Studio中开始使用Upstage的Solar模型并部署该模型以进行推理。我们还展示了如何在SageMaker Studio JupyterLab中运行Python示例代码。

由于Solar模型已预训练，它们能够降低训练和基础设施成本，并使您的生成式AI应用定制更加便捷。

请在SageMaker JumpStart控制台或SageMaker Studio控制台中试用它！您还可以观看以下视频，在Amazon SageMaker中尝试“Solar”。

本指南仅供参考。您仍需进行独立评估并采取措施，确保遵守特定质量控制实践和标准，以及适用于您、您的内容和所涉及的第三方模型的当地规则、法律、法规、许可和使用条款。AWS对本指南中提到的第三方模型不具控制或权威，也不对该模型是否安全、无病毒、可操作或与您的生产环境和标准兼容作出任何陈述或保证。AWS不保证本指南中的任何信息会导致特定结果或成果。

作者介绍

Channy Yun是AWS的首席开发者倡导者，热衷于帮助开发者利用最新的AWS服务构建现代应用程序。他是一位务实的开发者和博客作者，喜欢社区驱动的学习与技术分享。

Hwalsuk Lee是Upstage的首席技术官CTO，曾在三星科技、NCSOFT和Naver担任AI研究员。他在韩国科学技术院KAIST攻读计算机与电气工程博士学位。

Brandon Lee是AWS的高级解决方案架构师，主要帮助公共部门的大型教育科技客户。他在全球公司和大型企业的应用开发方面拥有超过20年的经验。