chatgpt微调fine-tuning
微wx笑
2023-04-10【人工智能】
0
0关键字：
chatgpt
openai/chatgpt微调/fine-tuning/测试用/投喂资源微调涉及以下步骤：准备训练数据： 链接: https://download.csdn.net/download/gujunsheng837735/87537800直接下载可用整理了c
openai/chatgpt微调/fine-tuning/测试用/投喂资源
微调涉及以下步骤：
准备训练数据： 链接: https://download.csdn.net/download/gujunsheng837735/87537800
直接下载可用
整理了chatgpt微调所需要的测试资源数据，按照fine-tuning的格式生成的数据集。可以直接 fine_tunes.create -t 使用。微调完毕后可以 -p 回答结果。其中包含三四百条数据。适合测试openai自定义模型的人群使用。
chatgpt微调适用于以下模型：davinci curie babbage ada。
第一步：安装 OpenAI 命令行界面 (CLI)
pip3 install --upgrade openai
1
第二步：
设置环境变量：OPENAI_API_KEY
export OPENAI_API_KEY=“sk-************************************************”
export OPENAI_API_KEY="sk-************************************************"
1
下载上面的准备训练数据
格式为：
{“prompt”: “”, “completion”: “”}
{“prompt”: “”, “completion”: “”}
{“prompt”: “”, “completion”: “”}
…
第三步（用上面的数据可跳过）：
openai tools fine_tunes.prepare_data -f /文件存放位置/json_prepared.jsonl
1
它的作用是引导你完成建议的更改后，将输出保存到 JSONL 文件中。
第四步：
创建微调模型
使用 OpenAI CLI 启动微调：
openai api fine_tunes.create -t "/文件存放位置/json_prepared.jsonl" -m davinci --suffix "davinci model test01"
1
-m:chatgpt微调适用于以下模型：davinci curie babbage ada。(不加m参数 默认是curie)
–suffix:自定义模型名称
刚刚的命令会执行这几项操作：
第一次使用json_prepared.jsonl的时候会上传文件，如果下次依旧用这个文件训练其他模型的话，就不会重复上次了。
创建微调任务
传输过程直到完成(一般情况挺快的，但如果前面很多排队的，你就得慢慢等，自己训练数据量的大小也会影响速度)
如果事件中断了，可以通过以下命令来恢复：
openai api fine_tunes.follow -i ft-************************
1
你的微调工作id：ft-************************
微调完成以后可以在命令行测试：
openai api completions.create -m davinci:ft-********:davinci-model-test01-2023-03-02-09-13-35 -p "小明的妈妈有三个儿子，大儿子叫大明，二儿子叫二明，三儿子叫什么。"
1
-m： 刚刚创建成功的微调模型名称
-p： 你要提问的问题
————————————————
版权声明：本文为CSDN博主「ignore_wen」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/gujunsheng837735/article/details/129367715
本文由 微wx笑 创作，采用 署名-非商业性使用-相同方式共享 4.0 许可协议，转载请附上原文出处链接及本声明。
原文链接：https://www.ivu4e.cn/blog/ai/2023-04-10/1833.html
