30
2024/08
百面大模型-7
DPO的损失函数是什么，第一步的loss为多少？
DPO的损失函数通常设计为最大化策略模型（即正在训练的模型）对偏好数据（chosen）和非偏好数据（rejected）之间的预测差异。具体来说，损失函
...
百面大模型-6
当前LLM的对齐过程通常分为SFT和RLHF两个阶段，我们是否有可能直接跳过SFT阶段而进入RLHF阶段？
可以。论文ORPO: Monolithic Preference Optimizatio
...
百面大模型-5
以LLaMA模型为例，计算一下参数量
首先，假设词表大小为 ，模型包含 层解码器，中间状态的维度大小为 ，前馈网络层的中间状态维度大小为 。我们主要关注计算以下几个部分的参数量：
输入嵌入层：首先
...
百面大模型-4
1、Reward Model都有哪些训练形式？
奖励模型是通过在人类偏好数据上进行训练来设计的，旨在对模型的输出质量进行判别。该模型给出的分数能够在一定程度上反映人类的偏好。一般而言，奖励模型是基于
...
百面大模型-3
大模型预训练中的通常用什么优化器？
在现有的工作中，大型语言模型的训练普遍采用Adam及其变体AdamW。Adam优化器利用梯度的“动量”来确定参数的更新方向，它通过计算历史更新步骤中梯度的加权平均
...
百面大模型-2
1、大模型预训练中的学习率调整策略都有哪些？
现有的大型语言模型在预训练阶段普遍采用相似的学习率调整策略，这一策略主要包括预热阶段和衰减阶段。预热阶段通常占据整个训练步骤的0.1%至0.5%，随后学
...
百面大模型-1
1、大模型预训练中的dynamic batching策略是什么？
在大模型预训练中，通常将batch size设置为较大的数值，例如1M到4M个token，从而提高训练的稳定性和吞吐量。为了更好地训
...
Ripro V5主题增加推广用户送会员
最近在用这个主题，想加强一下推广功能。随手记录一下Ripro V5主题增加推广用户送会员功能，每满5人送一个月会员。
代码在ripro-v5/inc/template-admin.php中修改
//
...