|
|
|
ChatGPT的开源平替来了,源代码、模型权重和训练数据集全部公开。
它叫OpenChatKit,由前OpenAI研究员共同打造。
可以用简单的语言解释机器学习的概念,也可以回答测试者提出的第二个小问题。
信息提取也难不倒它,比如将一大段计划用表格表示。
据悉,OpenChatKit一共包含200亿参数,在EleutherAI的GPT-NeoX-20B(GPT-3开源替代品)上进行了微调,还可以连接其它API或数据源进行检索等等。
这不,GitHub刚刚上线,就已经获得了800+标星。
有网友感叹“事情进展得也太快了吧”,作者则回应:
安全带系紧,享受“飙车”吧。
来看看它具体怎么玩?
OpenChatKit,你的平替ChatGPT
据介绍,OpenChatKit一共包含4个基本组件:
1、一个指令调优的大型语言模型。
用EleutherAI的GPT-NoX-20B对聊天功能进行了微调,后者在carbon-negative计算上具有4300万条指令。
调整重点是多轮对话、问答、分类、提取和摘要等几个任务。
2、定制配方(recipe)。
用来帮助微调模型使其能够为特定任务提供高精度的结果,只需要准备自己的数据集。
3、一个可扩展的检索系统。
可以让你在推理时从文档存储库、API或其他实时更新信息源添加信息。
4、一个由GPT-JT-6B微调而成的调节模型(moderation model)。可以过滤模型对一些问题的响应。
这样的OpenChatKit可以为各种应用程序创建专用和通用的聊天机器人。
在GitHub上的仓库,你可以找到它的训练代码、测试推理代码以及通过检索增强模型的代码。
具体如何使用?
首先,在开始之前,安好PyTorch和其他依赖项。
先从作者团队的网站(Together)安装Miniconda,然后用此repo根目录下的environment.yml文件创建一个名为OpenChatKit的环境。
由于repo使用Git LFS来管理文件,所以还需要按照他们网站上的说明进行安装,然后运行git lfs install。
接着,关于预训练权重。
GPT-NeoXT-Chat-Base-20B是GPT NeoX的200亿参数变体,它在会话数据集上进行了微调。
作者在Huggingface上的GPT-Next-Chat-Base-20B发布了预训练权重。
数据集方面,OpenChatKit模型是在LAION、Together和Ontocord.ai共同构建的OIG数据集上训练的。
同样,从Huggingface下载数据集,然后在repo的根目录运行以下命令就行:
python data/OIG/prepare.py。
(你也可以贡献新的数据来改善模型效果~)
然后就可以预训练基础模型了。
方法是在根目录用以下命令下载GPT-NeoX-20B模型:
python pretrained/GPT-NeoX-20B/prepare.py。
它的权重放在pretrained/GPT-NeoX-20B/EleutherAI_gpt-neox-20b目录中。
下载好之后,执行bash training/finetune_GPT-NeoXT-Chat-Base-20B.sh脚本,开始配置和训练。
训练会启动8个进程,管道并行度为8,数据并行度为1。Checkpoints则将保存到repo根目录的model_ckpts目录中。
在推理之前,请务必将模型转换为Hugginface格式。
为了帮助你测试模型,作者也在这里提供了一个简单的测试命令行工具来进行交互,执行命令:
python inference/bot.py。
默认情况下,脚本会在目录下加载名为GPT-NeoXT-Chat-Base-20B model的模型,但我们可以通过—model进行改变。
都弄好之后,在提示符处输入文本,模型就会回复了。
最后,作者还提供了一个用维基百科进行扩展搜索的例子,操作也比较简单,感兴趣的同学可以自行查看。
关于作者
OpenChatKit的归属单位叫Together。
这是一家去年7月才成立的创业公司,专门为AI行业做去中心化的云服务。
CEO是Vipul Ved Prakash,他曾在苹果做了5年高级总监。
CTO是Zhang Ce,苏黎世联邦理工学院计算机专业的助理教授。
据推特博主Itamar Golan称,OpenChatKit的作者包含多位前OpenAI研究员。
总的来说,OpenChatKit开箱即用,擅长多项任务,包括带有上下文的总结和问题回答、信息提取、文本分类等。
但它还不太擅长创意写作(尤其是编长故事)、写代码,以及有时可能会重复响应你的请求、在切换话题时表现迟钝……
不过,正如Together在博客中说的那样:
这个模型不是发布完就完了,它是一个开源项目的开始。
或许我们可以持续关注一波~
那么,如果你感兴趣,传送门在这里:
https://github.com/togethercomputer/OpenChatKit
https://huggingface.co/spaces/togethercomputer/OpenChatKit
当前新闻共有0条评论 | 分享到: |
|
||||||||||
评论前需要先 登录 或者 注册 哦 |
|
24小时新闻排行榜 | 更多>> |
|
1 | 华尔街大鳄警告 它是一个“巨大的泡沫” |
2 | 复旦研究生珠峰地区登山死亡 真相更令人愤 |
3 | 突发:全球最大光刻机巨头爆雷 股价跳水 |
4 | 火箭军又将大地震?习四个字批示 |
5 | 惊曝:俄乌签署协议最后一刻,乌方突然退出 |
|
48小时新闻排行榜 | 更多>> |
|
1 | 北京扣动扳机 人民币贬值开始了 |
2 | 撤出中国,苹果跑的也太快了 |
3 | 铁拳再现!中国将禁止公布这些数据 |
4 | 不好,爆雷越来越密集了 |
5 | 中共情色档案中的薄熙来情妇有名有姓 |
6 | 重庆,又一次刷新了底线 |
7 | 这一幕,终于在深圳上演了 |
8 | 拜登祭出重招 堵上北京这个漏洞 |
9 | 华尔街大鳄警告 它是一个“巨大的泡沫” |
10 | 小学生剩下的日子全靠它了 |
|
热门专题 |
|
|
一周博客排行 | 更多>> |
1 | 习近平一盘神秘大棋成就了大日 | 文庙 |
2 | 周傥:美国迫在眉睫的危险 | 万维网友来 |
3 | 速战速决 伊朗真乃大丈夫也 | 体育老师 |
4 | 康生的儿子死了/漂亮国的象征 | 体育老师 |
5 | 达唐:故宫博物院遭公开举报 | 万维网友来 |
6 | 谁是中国人? | 谢盛友文集 |
7 | 日本电影《追捕》中的杜丘和真 | 弓长贝占郎 |
8 | 现代战争目的:摧毁战争意志 | 施化 |
9 | 前瞻:习马再相会 | 花蜜蜂 |
10 | 我宁在纽约行乞,也不在上海做 | 恨中 |
|
一周博文回复排行榜 | 更多>> |
1 | 川普就是美国的毛泽东 | 右撇子 |
2 | 前瞻:习马再相会 | 花蜜蜂 |
3 | 警惕有人把民主党与共和党的关 | karkar |
4 | 周傥:美国迫在眉睫的危险 | 万维网友来 |
5 | 美国为何选择这个时候公布中共 | 山蛟龙 |
6 | 习近平一盘神秘大棋成就了大日 | 文庙 |
7 | 现代战争目的:摧毁战争意志 | 施化 |
8 | 抖音在大选年被禁的可能性不大 | 随意生活 |
9 | 去......化 | 山蛟龙 |
10 | 康生的儿子死了/漂亮国的象征 | 体育老师 |