加载中...

地址发布 老王说明书 宣传中心
楼主: 15267158147
收起左侧

[Windows] [已失效] [自行打包] 本地酒馆语音对话 [1+15G][百度盘]

  [复制链接]
发表于 2024-4-6 03:07:26 手机版 | 显示全部楼层
楼主,能发一些角色卡吗?贵点没事,实在不懂怎么弄,可以打赏,十分感谢
回复 支持 反对

使用道具 举报

发表于 2024-4-6 15:31:57 手机版 | 显示全部楼层
这是什么情况?好几个模型都这样
Screenshot_20240406_153038.jpg
回复 支持 1 反对 0

使用道具 举报

 楼主| 发表于 2024-4-6 17:07:48 | 显示全部楼层
灲雨 发表于 2024-4-6 03:07
9 M. t8 {. u8 X; C楼主,能发一些角色卡吗?贵点没事,实在不懂怎么弄,可以打赏,十分感谢 ...
' l& a& q% W; q# u# I# @+ Z(欢迎访问老王论坛:laowang.vip)
角色卡这个东西你哪里都能找,也不用打赏,这是角色卡网站https://www.chub.ai/?search=&first=50&topics=&excludetopics=&page=1&sort=default&venus=false&min_tokens=50&first=50&page=1
- x# U3 o) g$ n0 n# D
回复 支持 1 反对 0

使用道具 举报

发表于 2024-4-6 22:05:11 | 显示全部楼层
问一下,网页里面显示模型加载成功,但是llm启动器里显示加载失败是怎么回事?怎么解?
, {8 n8 j. p1 R% C3 IERROR:The model could not be loaded because its checkpoint file in .bin/.pt/.safetensors format could not be located.
7 H0 A6 x- f, @0 Y1 C; {这个是启动器里的失败提示
回复 支持 3 反对 1

使用道具 举报

发表于 2024-4-7 04:09:11 | 显示全部楼层

你可以看看

本帖最后由 28791798851 于 2024-4-7 04:38 编辑
2 N$ F0 V4 S- c. \2 T" {
dacunge520 发表于 2024-4-2 23:11& w" w& A4 P2 `, s(欢迎访问老王论坛:laowang.vip)
唉,放弃了,按照你说的能打开了,但是对话都是空白,我也去频道看了看,说是内存爆了,但我看内存显存都 ...
' h6 `) d; _4 C; I" n4 r6 R(欢迎访问老王论坛:laowang.vip)
A卡有个解决方案是把CUDA代码转换为HIP代码就可以跑,不过很麻烦,可以借张卡就借吧
回复 支持 反对

使用道具 举报

发表于 2024-4-7 04:12:03 | 显示全部楼层

你看看我吧

本帖最后由 28791798851 于 2024-4-7 04:59 编辑
, E4 ~3 Q5 K$ e' I; P
kkgreed 发表于 2024-4-6 22:05
: r4 k2 j1 U, j7 v问一下,网页里面显示模型加载成功,但是llm启动器里显示加载失败是怎么回事?怎么解?
1 ~) t- i7 L6 M7 ~- UERROR:The model co ...
/ n% ]2 h, E3 A$ n# E% b(欢迎访问老王论坛:laowang.vip)
我也是这样的问题。这里说的是文件格式或者是下载过程中有损失,不知道问题出在哪里,同时发现我显存不够,换了低模型后可以用,下了个3b的2 s! z6 S1 O$ t; m(欢迎访问老王论坛:laowang.vip)
回复 支持 反对

使用道具 举报

发表于 2024-4-7 04:27:39 | 显示全部楼层
本贴模型配置大致如下:
. ^3 ~. i- `* s6 e4 v24G以上内存9 |3 ]' v: Q3 F  q(欢迎访问老王论坛:laowang.vip)
16G可以运行,但是加载7B模型时会爆内存,需要你用阳寿、运气和虚拟内存帮你顶过去,或者使用预量化模型
7 }9 d# `2 M0 s0 s" g# |8-16G显存的显卡1 a1 g- `* y7 X" [. U7 E(欢迎访问老王论坛:laowang.vip)
7B模型以FP16+INT8混合模式运行需要接近8G显存
$ u& X  N! s. h# u  C5 t7B模型以FP16模式运行需要15G显存【可以用两张8G显卡拼凑使用】" t' q0 }3 N- n0 c(欢迎访问老王论坛:laowang.vip)
最好是N卡9系以后产品,A卡需要折腾且有一定能力,小白可以直接放弃打出GG
" P8 Z5 ^+ H( x2 k不低于 E3 v2 或者 2-3代 i5 水平的CPU  i  f" y) d7 B5 o(欢迎访问老王论坛:laowang.vip)
至少能放下完整一个 RWKV 7B 模型的硬盘空间
, R" N9 O) Z! {一个RWKV 7B模型 一般14G
回复 支持 反对

使用道具 举报

发表于 2024-4-7 04:57:28 | 显示全部楼层
逛了大半天,有点晕头转向的,大致明白了一些,本贴的这个模型对显卡要求有点高,选择低模型对应自己的显卡这点很重要,压缩包内有个下载一些模型的链接,最后还是从github上自己学习了一下,从头部署环境,用大佬的代码和数据集训练模型,得到模型后还要有相应的知识库然后再破甲,整了快五个小时,这个压缩包没有找到具体的出处,用起来有些问题实在不知道怎么解决
回复 支持 反对

使用道具 举报

发表于 2024-4-7 05:35:51 | 显示全部楼层
现在用这个压缩包不管怎么换模型都显示Exception: 系统找不到指定的文件。 (os error 2)
回复 支持 反对

使用道具 举报

发表于 2024-4-7 07:57:06 手机版 | 显示全部楼层
28791798851 发表于 2024-4-7 04:12
; I$ [' o4 V: V8 ^0 u* r我也是这样的问题。这里说的是文件格式或者是下载过程中有损失,不知道问题出在哪里,同时发现我显存不够 ...

- N8 k3 _7 P/ S. d低版本模型在哪里下载?能和我说说怎么用么?
回复 支持 反对

使用道具 举报

发表于 2024-4-7 14:42:08 | 显示全部楼层
kkgreed 发表于 2024-4-7 07:57' i; _0 {& E' Y' R$ d# U(欢迎访问老王论坛:laowang.vip)
低版本模型在哪里下载?能和我说说怎么用么?

% D* i6 t4 I; Y# S$ P模型有一个链接的,你在压缩包解压了里面找一找,里面有个酒馆使用教程>模型下载和使用>模型下载网址,然后到网址之后你就找文本里告诉你的三种格式RWKV,GGML,GPTQ,然后选择3B的模型或者1B5的模型,7B的模型我的电脑跑不起来。7 ~3 e' c* B7 r( J- ?2 c(欢迎访问老王论坛:laowang.vip)
回复 支持 反对

使用道具 举报

发表于 2024-4-7 18:05:08 | 显示全部楼层
你的教程没人看得懂,你觉得我说错了就在你自己贴子里找一个成功运行的人出来.
回复 支持 2 反对 0

使用道具 举报

 楼主| 发表于 2024-4-8 01:55:01 手机版 | 显示全部楼层
28791798851 发表于 2024-4-7 04:27
9 |7 J  Z& V1 F7 w! L本贴模型配置大致如下:1 w. E8 z) O& c(欢迎访问老王论坛:laowang.vip)
24G以上内存5 ?8 M4 M& o- Y' n9 f( r(欢迎访问老王论坛:laowang.vip)
16G可以运行,但是加载7B模型时会爆内存,需要你用阳寿、运气和虚拟内 ...
  E: y0 m+ M. N(欢迎访问老王论坛:laowang.vip)
还是有人懂,那些电脑配置不够的,又想玩大模型,我真的服了
回复 支持 0 反对 1

使用道具 举报

发表于 2024-4-8 21:54:17 手机版 | 显示全部楼层
15267158147 发表于 2024-4-8 01:55. M+ b$ \5 v0 a, z# u, m5 K: S(欢迎访问老王论坛:laowang.vip)
还是有人懂,那些电脑配置不够的,又想玩大模型,我真的服了

$ G( d1 n" q; F% ^- N& ]1 S不是哥们,你看看人家上面都说了啥,用了五个小时,还是从其他地方找的攻略,之后压缩包有问题还没找到解决办法。大家吐槽的是你发的攻略看不懂,没别的意思,就是觉得你的回复有点抽象!
回复 支持 5 反对 0

使用道具 举报

 楼主| 发表于 2024-4-9 19:00:38 手机版 | 显示全部楼层
摘星种树 发表于 2024-4-8 21:54) v( f7 p) f# S+ A(欢迎访问老王论坛:laowang.vip)
不是哥们,你看看人家上面都说了啥,用了五个小时,还是从其他地方找的攻略,之后压缩包有问题还没找到解 ...
9 W4 P2 }4 V) R: H7 p6 w. \(欢迎访问老王论坛:laowang.vip)
攻略看不懂?跟着我的图走很难吗,你看了那个攻略了吗,他们说什么打不开的主要问题就是选了不适合自己的模型,我也不知道谁抽象
回复 支持 反对

使用道具 举报

发表于 2024-4-11 02:39:19 手机版 | 显示全部楼层
15267158147 发表于 2024-4-9 19:000 M; M* u" K' O( p' I(欢迎访问老王论坛:laowang.vip)
攻略看不懂?跟着我的图走很难吗,你看了那个攻略了吗,他们说什么打不开的主要问题就是选了不适合自己的 ...
1 z% b, N4 E. O) N0 G! a  }2 V' L(欢迎访问老王论坛:laowang.vip)
跟着你的图走我也能做到你发的图那样,但是那是角色卡的初始回答。另外你说的模型我下了好几个,最小的一个模型仅仅1.9g,而且是你自己介绍的说6g就可以用,还有我的模型加载出来了,显示成功了,是ai不回复。说你抽象的原因是因为前面很多回复你失败的人你都没有回答,挑了一个说更换模型的你倒是回复了,而且他说的模型加载不出来的问题你自动忽略了。随着ai宇宙崩溃,加上a社大量封杀账号,现在很多ai难民,我也希望你能搞出更牛逼的东西。
回复 支持 反对

使用道具 举报

发表于 2024-4-11 08:05:50 手机版 | 显示全部楼层
聊天记录会被别人看到吗?
回复 支持 反对

使用道具 举报

 楼主| 发表于 2024-4-12 00:28:40 手机版 | 显示全部楼层
摘星种树 发表于 2024-4-11 02:39
: j  N7 z, X9 k  r跟着你的图走我也能做到你发的图那样,但是那是角色卡的初始回答。另外你说的模型我下了好几个,最小的一 ...

( ~# I/ ]" U: @8 y- h  a/ N2 c* ^7 m他们的原因我是不是一开始就说了,是内存不够,但是他们还是要玩大模型,他们自己不看,还有,我也给他们QQ频道让他们去问了,你是一点不看啊,难道我还要一个一个解释过去吗,我说6g就能运行难道不对吗,6g是最低模型运行啊,你想玩大模型你得看看你的运行怎么样啊,这个也怪我吗,我觉得你挺抽象的
回复 支持 反对

使用道具 举报

 楼主| 发表于 2024-4-12 00:32:03 手机版 | 显示全部楼层
870078725 发表于 2024-4-11 08:05( A: l* l1 _: D- S( B(欢迎访问老王论坛:laowang.vip)
聊天记录会被别人看到吗?
; V4 }2 o+ Y5 U0 j; h) j3 J(欢迎访问老王论坛:laowang.vip)
不会的,这是本地部署,你就算断网也能用
回复 支持 反对

使用道具 举报

 楼主| 发表于 2024-4-12 00:35:32 手机版 | 显示全部楼层

你可以看看

本帖最后由 15267158147 于 2024-4-12 13:01 编辑
" f$ A/ ?  a+ l+ p7 r7 \, C
28791798851 发表于 2024-4-7 04:572 r( n- L' X6 x& Q( I9 x7 x( Q9 Q" O(欢迎访问老王论坛:laowang.vip)
逛了大半天,有点晕头转向的,大致明白了一些,本贴的这个模型对显卡要求有点高,选择低模型对应自己的显卡 ...

& x% u3 h. A" r; X, C# l这个在b站的mega会玩有教程,关键词是ai对话,你可以搜搜看
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 免费注册
点击进行验证

本版积分规则

我们不生产资源,只做资源的搬运工。

tags标签-春满四合院-AvGood-Archiver-小黑屋- |网站地图