基本概念_大模型服务平台百炼-阿里云帮助中心

本文汇总使用阿里云百炼过程中涉及的基本概念，方便您查询和了解相关概念。

功能清单

分类	功能	说明
首页	首页	展示平台的使用流程、推荐热门模型以及调用数据概况等。
模型中心	模型广场	在这里您可以根据业务所需挑选通义系列大模型、官方行业或场景大模型、第三方大模型等接入到企业解决方案中。
	模型体验	通过选择模型，可选择1-3个模型快速体验或对比模型效果

模型工具	模型调优	模型调优支持多种训练方式，明确训练方向并选择合适的训练数据及参数，训练后的模型效果将更加符合业务需求。
	模型部署	已训练/系统预置的模型需要通过模型部署提供服务，支持预付费和后付费两种部署模式，可依据业务需求进行选择。
	模型评测	通过构建好的评测集进行模型评测，系统基于评测集将完成推理预测，完成预测结果标注后可查看评测报告。
应用组件	我的应用	应用是阿里云百炼平台输出大模型能力的最小单位。创建应用后，通过对应的PaaS接口即可调用大模型能力，可在应用管理中管理创建的各类模型调用应用。
	应用广场	在这里您可以挑选官方预置完整工程链路的应用或预置场景prompt的应用，通过应用将通义系列大模型接入到业务解决方案中。
	插件管理	在这里您根据业务或场景所需选择官方系统插件，或者引入企业自定义API插件，增强大模型交互能力。开启插件功能，调用大模型时根据实际输入内容自动判断应答链路。
	应用评测	通过选择评测集或拉取线上日志，批量评测应用效果，支持自定义评测维度，评测过程信息透明化，全方位评测应用效果。
	企业知识库-V1	支持上传企业知识，与大模型能力结合，用于企业特定知识领域的问答。只适用于【企业知识检索增强】系列应用，暂不支持与其他大模型联动使用。当前支持word、pdf、非结构化文档，以及excel格式的问答数据。同时提供完整的数据管理SDK供开发接入。（该服务已升级，详细请点击官方预置应用升级调整公告查看）
	Prompt工程	Prompt工程通过设计和改进prompt使大模型能够更准确、可靠地执行特定任务，平台为您提供了Prompt模板、Prompt优化等一系列Prompt工程工具。
数据中心	数据管理	平台统一的数据管理模块，支持多源、多格式的结构化及非结构化数据管理，支持多类目管理及自动化在线解析，应用于RAG、训练等模块。
	数据处理	数据处理可支持用户使用不同的模型算子，针对数据进行预处理，如数据去重、长度过滤、信息过滤、内容过滤等处理方式，清洗为满足需求的数据。
	知识索引	创建和管理用于RAG应用的知识库索引，基于对数据中心的统一引用。
	模型数据	模型数据支持创建不同数据类型的数据集，包括训练集、评测集，支持多版本数据管理，发布后可前往模型调优/评测功能使用。
系统管理	调用统计	您可以在这里查看专属模型的用量统计，以获得模型的使用情况。
	API KEY	访问阿里云API的密钥。
	评测维度	依据评测需求增加维度模板，支持自定义多级维度、多级分数，预置多种维度模板，可应用于主流评测任务。
权限管理	用户管理	支持引入阿里云RAM子账号，实现多用户同时操作。
权限管理	角色管理	为阿里云子账号进行角色管理，以实现功能权限隔离。
业务空间管理	业务空间管理	支持一个企业账号创建多个业务空间，便于业务间数据隔离和管理。
消息中心	消息中心	针对企业数据管理、模型训练以及系统其它功能的消息通知汇总。

产品名词解释

模块	概念	解释
模型推理	QPS	Queries Per Second，每秒处理查询次数。如默认QPS=5，即API每秒最多可以处理5个请求。
	RPM	Requests Per Minute，每分钟处理请求数。如默认QPS=5，默认RPM=300，即API每分钟最多可以处理300个请求。
	TPM	Tokens Per Minute，每分钟处理tokens数（输入+输出）。如默认QPS=5，TPM=300k，即API最多可以消耗300k（30万）tokens，即每个服务平均处理1000tokens。
应用广场	检索增强
	图片生成	接入图片生成插件使通义千问大模型拥有良好的文生图、图文生图的能力。
	Python代码解释器	接入代码解释器插件使通义千问大模型拥有执行Python代码的能力，可用于数学计算、数据分析与可视化、数据处理等任务。
	计算器	接入计算器插件使通义千问大模型拥有良好的计算能力，可用于教育等应用场景。
	夸克搜索	您可以在与通义千问大模型进行交互时，通过接入夸克搜索插件来查找公开的网络知识和信息，增强大模型对实时信息的获取能力。该插件能力由夸克团队提供。
	流程管理	通过流程画布的节点自定义业务流程，对接智能体应用，实现智能体对业务流程的调度，满足复杂及指定业务场景需求。
	快速干预	快速干预工具仅通过规则方式快速处理用户输入的违规话术或者大模型生成的风险内容，该工具无法替代内容安全检测类的专业产品。
	对话记录管理	使用平台内置缓存，可实现大模型应用的多轮会话。开启后，可在测试窗或API调用中通过传入SessionID实现多轮会话。
数据中心	类目管理	新增自定义类目或使用默认类目管理数据，类目支持不同类型的配置，建议区分数据类型或数据源建设类目。
	知识标签	知识标签是知识检索范围的唯一标识。用于区分应用识别调用知识时的检索范围。
	自定义插件	支持企业通过API方式设定输入和输出参数，将大模型与外部系统做联动。
	流程管理	基于流程画布创建应用。流程编排是一种面向开发者的可视化开发工具，支持LLM、API、脚本等类型节点，旨在简化接入大型语言模型（LLM）流程，同时提供应用流程的全生命周期管理，包括流程的编排、试验、部署等，为开发者提供自定义AI应用开发一站式服务。
	Prompt	即提示词，简单的理解为它是给大模型的指令。它可以是一个问题、一段文字描述，甚至可以是带有一堆参数的文字描述。大模型会基于 prompt 所提供的信息，生成对应的文本或者图片。
	Prompt模板	您可以通过设计不同Prompt模板来满足垂直场景需求，而无需每次拼接完整Prompt。
	Prompt优化	对Prompt语料进行内容质量和结构上的优化，便于获得更符合期望的大模型推理结果。
训练数据	训练集	构建合适训练集，通过模型调优可增强模型能力，提升预测效果，平台支持多轮训练数据、单轮训练数据、在线编辑及效果预览功能。
训练数据	评测集	构建合适的评测集，通过模型评测评估模型效果，发现模型问题，评测集包括Prompt及Completion，支持在线编辑及管理功能。
模型调优	全参训练	全参训练通过全量更新模型参数的方式进行学习，训练时间较长，收敛速度较慢，可实现模型新能力的学习和全局效果的优化提升。
	高效训练	高效训练采用低秩适应的方式，通过矩阵分解的方法，更新分解后的低秩部分参数，训练时间较短，收敛速度较快，适用于模型局部效果优化。
	RLHF训练	RLHF训练通过在强化学习的训练过程中加入奖励模型的方式，实现强化学习结果的持续性自动优化，从使得模型效果显著符合预期，功能开发中，敬请期待..
	预置模型	预置模型为未经过任何训练的原始模型，您可以通过选择基础模型进行训练从而得到自创模型，不同的基础模型的参数和能力不同，我们将持续推出不同能力方向的模型。
	自定义模型	自定义模型版本是基于您训练过的模型进行再次训练，从而调优模型效果，请注意，由于大模型的训练原理，多次训练模型时，后序训练易丢失前序训练已习得的能力，建议后序训练数据需要采样或保持前序训练数据。
	循环次数	循环次数代表模型训练过程中模型学习数据集的次数，可理解为看几遍数据，一般建议的范围是1-3遍即可，可依据需求进行调整。默认循环次数为10次。
	批次大小	批次大小代表模型训练过程中，模型更新模型参数的数据步长，可理解为模型每看多少数据即更新一次模型参数，一般建议的批次大小为16/32，表示模型每看16或32条数据即更新一次参数。
	学习率	学习率代表每次更新数据的增量参数权重，学习率数值越大参数变化越大，对模型影响越大，一般范围为：2e-5至2e-8。
	Training Loss	Training Loss 代表针对训练数据学习的拟合程度，曲线一般呈现下降趋势，Loss越小，表示训练数据拟合程度越高，过小的Loss易导致数据过拟合，需要根据实际训练过程进行判断。
	Validation Loss	Validation Loss代表针对验证集学习的拟合程度，曲线一般呈现先下降后上升趋势，Loss越小，表示验证数据拟合程度越高，优秀的模型效果往往出现Validation Loss的最小值节点，此时拟合程度最佳，训练效果最好。
	Validation Token Accuracy	Validation Token Acc代表针对验证集学习的准确程度，曲线一般呈现上升趋势，训练过拟合后会呈现下降趋势，优秀的模型效果往往出现在Validation Token Acc的最大值节点，此时预测准确率最高，训练效果最好。
超参配置	学习率调整策略	选择不同的学习率策略，动态地改变模型在训练过程中更新权重时所采用的学习率大小。
	验证步数	训练阶段针模型的验证间隔步长，用于阶段性评估模型训练准确率、训练损失推荐范围：[1,2147483647]。
	序列长度	训练数据的序列长度，单个训练数据样本的最大长度，超出配置长度将自动截断。推荐范围：[500,2048]
	学习率预热比例	warmup占用总的训练steps的比例。推荐范围：(0,1)
	权重衰减	L2正则化，让权重衰减到更小的值，在一定程度上减少模型过拟合的问题。推荐范围：(0,0.2)
	梯度存储	是否开启gradient checkpointing, 默认为True. 该参数可以用于节约显存, 虽然这会略微降低训练速度. 该参数在max_length较大, batch_size较大时作用显著。