支持语音输入扩展插件

[xingwozhonghua126]

linux语音输入法已经很多了。可以做一个类似云语音的客户端，让各个语音输入法厂商通过修改配置的方式接入语音输入功能。

[wengxt]

这个基本上就是单独写一个可以接收语音的程序，然后fcitx那边只处理很少量的数据
不过语音在 PC 上来说应该作为和普通的输入法引擎并行的系统，而不是一个单独的输入法，就好像手机的语音输入就是在键盘上一个额外的 button 启用，但还是随时会返回键盘模式

[AnLazyOtter]

我也很希望能有语音输入功能。
我观察到，微软手机输入法swifty key中，语音输入功能是通过调用安卓系统当前安装的语音识别软件 来实现语音识别与上屏的，并不需要自己写一个语音到文本转换的功能。
是否小企鹅输入法也有可能使用这种方式来实现语音输入功能呢？

[calllivecn]

需要这个功能，目前尝试了下，pyaudio + whisper(openAI) 。转录效果很不错。
但是文字自动上屏遇到了困难。

[LumenYoung]

Hi, 我也在考虑基于 openai 的 whipser 做这么一个东西。因为我是在 wayland 上，所以在寻找了几个简单办法无果之后，还是把目光投向了 fcitx 。如果做成一个 fcitx 的模块，我个人认为比较容易解决自动上屏的内容，但我自己对于 fcitx5 的细节不了解，所以我现在有以下几个疑虑，不知道 @wengxt 能否提供一些信息来帮我评估一下可行性和难度。

1）我个人想象是想要做成一个 fcitx5 的 addon，成为一个类似双拼一样的可切换的输入方法，然后设置1/2个快捷键（开始录音和停止录音/toggle 录音）来控制语言输入。
2）同时这个 code 因为是在使用 openai-whisper 最好是直接在 python 里面 implement。

我想问问这个想法是否可行呢？或者有什么可以补充的细节，欢迎各位讨论。

[wengxt]

ydotool 不可能能用来输入任意 unicode 文本，因为它的本质是模拟物理键盘按键。
xdotool 可以的原因是它操作 xserver 的键盘布局给任意 unicode 文本映射成了按键，再模拟这个不存在的按键。而 ydotool 是在设备文件级别操作的，只能生成原始按键。wayland compositor 并没有能修改按键映射的统一接口（事实上大部分情况也没有这样的接口）。

[LumenYoung]

谢谢回复。我理解的话，ydotool 会在输入比如中文字符的时候遇到问题，确实，我没有办法输入中文，ydotool 只能对英语使用者方便。

那我更希望之后可以在 fcitx 的框架下实现这个功能。想问问 wengxt 是否可以推荐我看哪部分的文档？有哪些需要注意的部分？谢谢

[wengxt]

https://fcitx-im.org/wiki/Develop_an_simple_input_method 输入法也是一种 addon，文件结构是类似的

关于 fcitx 内的 dbus api 的使用可以参考，当然最好你先了解一下 dbus 的基本知识
https://github.com/fcitx/fcitx5/blob/master/test/testdbus.cpp#L18

[LumenYoung]

谢谢老K 的帮忙。我已经写了一个在 KDE wayland 上面运行的 dictation app 了，你可以在这里看到它。我今天试了一下，应该是正常可以用的。

写的过程中我发现了一个问题：使用 whisper 的时候是需要加载模型的，如果我们使用 cpu 这个加载速度其实大概要几秒钟，比较不方便，所以我的 app 设计成了 server client 的形式，让这个模型在平时就在 background 中运行，且模型本身的 ram 占用也不算小 (base 700~MB, small 1.5GB)。我想如果在 fcitx5 中使用也会遇到类似的考虑，如果在背景运行就会占用大量内存，如果不放在背景运行那么每次使用都会需要长时间的加载（如果有显卡可能会好很多，但是考虑大部分人的使用情况）。

如果你觉得这样的设计不合适，且在之前的讨论中你谈到 语言输入和输入法分开，那么我现在提供的办法应该已经比较接近了，完全可以通过加入一个 tray app 之类的来方便大部分人的使用。

[wengxt]

和输入法结合就是把用一个模块把fcitx变成client即可。中间你还可以利用fcitx显示一些信息，例如正在加载/计算etc，而不是毫无反馈

[catcherxuefeng]

安卓端有离线语音输入方案了，可以完美融合到小企鹅输入法中
https://github.com/ElishaAz/Sayboard

[xingwozhonghua126]

目前效果还是待优化

https://github.com/niedev/RTranslator?tab=readme-ov-file

https://openai.com/index/whisper/

上面的离线识别加翻译都很好

[fastfading]

PC端根本不需要什么输入法软件, 直接写个Python代码就可以做,
这行消息就是用这个代码发出来的

[Yikai-Liao]

Cloudflare has offered a cheap speech to text service based on whisper. It would be great if there is fcitx plugin that can call this api.

| Price | | $0.0039 per minute of audio input|

https://developers.cloudflare.com/workers-ai/platform/pricing/#speech-to-text

[xingwozhonghua126]

https://github.com/niedev/RTranslator?tab=readme-ov-file

[StrayDragon]

给 fcitx 实现一个和 fcitx 通信的 addon，fcitx 已经封装了 dbus 的库所以可以直接用。另一个接收声音和发送的在别的地方实现就行了

至于是不是单独的输入法，我倒是觉得不是很必要弄成单独的输入法就是了。如果需要按键启动，实现成类似 unicode 那个模块 ctrl+shift+alt+u 的方式就好了。

我最近也有类似的需求, 因为在Linux中没有找到能替代的语音输入方式(其实讯飞可以但是并不能私有部署)
调研了下, 发现目前可以自己部署的ASR服务无论速度和精准度都很优秀了, 比如 https://github.com/modelscope/FunASR
就像 @wengxt 提到的那样, 我开发了一个类似的方式 https://github.com/StrayDragon/fcitx5-oratio 来处理 (vibe coding出来的不懂cpp(逃 , 目前只在我的 Hyprland (Archlinux) 环境中测试, 有同样需求的可以试试, 欢迎PR!

[Xinkai]

我开了一个语音输入的项目，已经适配了Fcitx。刚刚能用的程度。

基本思路和上面说的一样，可以认为是一个 Emoji Picker的同等地位。两部分组成：一个daemon负责录音、发请求；fcitx方面有一个addon与daemon适配，捕捉trigger hotkey和文本框支持、候选词处理等。

[wjjsn]

我弄了一个，虽然跟 fcitx5 没什么关系，但是功能也算实现了。写插件还是太麻烦了，本地部署语音转文字还是太麻烦了。从fcitx5 addon，whisper.cpp绕了一大圈还是选择了最简单的办法
https://github.com/wjjsn/linux-voice-input

[catcherxuefeng]

我已经用上了，https://github.com/xifan2333/fcitx5-vinput

[calllivecn]

😏哈哈，想法挺好。有空试试

[catcherxuefeng]

https://github.com/xifan2333/fcitx5-vinput 安装简单，使用效果好

[calllivecn]

👍嗯也试试

[xifan2333]

感谢 @catcherxuefeng 的推荐！

fcitx5-vinput 最近更新了不少功能：

• 支持长按即说即停（push-to-talk）和短按切换两种触发模式
• 命令模式：选中文本后语音指令直接修改
• 可选 LLM 后处理（纠错、翻译、格式化等）
• 场景管理，运行时切换不同的后处理 prompt
• vinput CLI 管理模型、场景、LLM 配置

现在可以通过 AUR、Fedora COPR、Ubuntu PPA 直接安装：

# Arch Linux
yay -S fcitx5-vinput-bin

# Fedora
sudo dnf copr enable xifan/fcitx5-vinput-bin
sudo dnf install fcitx5-vinput

# Ubuntu 24.04
sudo add-apt-repository ppa:xifan233/ppa
sudo apt update
sudo apt install fcitx5-vinput

欢迎试用和反馈！