Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

语音输入能不能做成一个独立的节点? #1541

Closed
5 tasks done
WholeWorld-Timothy opened this issue May 20, 2024 · 6 comments
Closed
5 tasks done

语音输入能不能做成一个独立的节点? #1541

WholeWorld-Timothy opened this issue May 20, 2024 · 6 comments

Comments

@WholeWorld-Timothy
Copy link

例行检查

  • 我已确认目前没有类似 features
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README,已确定现有版本无法满足需求
  • 我理解并愿意跟进此 features,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 features 可能会被无视或直接关闭

功能描述
语音输入能不能做成一个独立的节点?
我们本地部署了一个whisper之后,发现一个问题,就是whisper的文字转译不太准确,我们想了一个办法,就是用大模型再修正一遍,这样能实现我们的需求,但是用户体验不是很好,是因为对话框中出现的仍然是未修正的词语,大模型返回了正确的答案,这显得有些怪异,能够把语音输入做成一个独立的节点,反馈到输入框的是一个修正后的答案?
应用场景
whisper的文字转译不太准确,需要经过大模型修正后,才会获得正确的文字。
相关示例
例如语音识别是今日消瘦,我们说的意思是今日销售,大模型能把今日消瘦识别出来,转换今日销售。

@c121914yu
Copy link
Collaborator

这个,直接把 whiper 模型接口,改动下也可以?

@WholeWorld-Timothy
Copy link
Author

恩, 也可以的,就是感觉这样是硬编程的,如果在页面上可以配置是不是会更好。

@ifkd111
Copy link

ifkd111 commented May 23, 2024

这个,直接把 whiper 模型接口,改动下也可以?

大哥,怎么弄语音输入啊?我头都大了,dicker跑了个whisper 接了oneapi,一点用没有,到oneapi是通的,但是点语音输入没反应怎么弄啊

@Caesar1993
Copy link

用xinference部署whisper,跟one接通了,但是fastgpt一点,就是您的浏览器不支持语音输入,也不能触发asr服务

@c121914yu
Copy link
Collaborator

这个,直接把 whiper 模型接口,改动下也可以?

大哥,怎么弄语音输入啊?我头都大了,dicker跑了个whisper 接了oneapi,一点用没有,到oneapi是通的,但是点语音输入没反应怎么弄啊

浏览器支持且有 ssl 证书

@c121914yu c121914yu closed this as not planned Won't fix, can't repro, duplicate, stale May 31, 2024
@Caesar1993
Copy link

这个,直接把 whiper 模型接口,改动下也可以?

大哥,怎么弄语音输入啊?我头都大了,dicker跑了个whisper 接了oneapi,一点用没有,到oneapi是通的,但是点语音输入没反应怎么弄啊

浏览器支持且有 ssl 证书

什么浏览器支持?我用edge和chrome、safri都试了,不支持

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants