1 Star 0 Fork 1

元原子/gpt2

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
临时测试.py 745 Bytes
一键复制 编辑 原始数据 按行查看 历史
元原子 提交于 2024-12-09 16:49 . 修改名称,使之更容易理解;
import matplotlib.pyplot as plt
import numpy as np
import torch
from 训练 import 获得学习率
def 学习率变化曲线():
x = np.linspace(1, 60, 60)
y=list(map(获得学习率,x))
plt.figure(1)
plt.plot(x, y)
plt.show()
def 测试编码():
# 学习率变化曲线()
import tiktoken
# 获取 GPT-2 编码器
gpt2_encoder = tiktoken.get_encoding("gpt2")
# 打印编码器的名称
print(f"Encoder name: {gpt2_encoder.name}")
# 打印前几个 BPE 合并规则
print(gpt2_encoder.encode("你好世界"))
# 打印特殊 tokens
print(f"Special tokens: ")
if __name__ == '__main__':
a1=torch.load("./日志/"+"模型_00099.pt",weights_only=False)
print(a1["模型"])
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/zozero/gpt2.git
[email protected]:zozero/gpt2.git
zozero
gpt2
gpt2
master

搜索帮助