使用基于本地计算的实现

[rainzee]

动机

当前使用 ChatGPT 的实现存在诸多问题，典型的问题如下：

• 可用性问题，由于众所周知的原因，OpenAI 的 API 可能在诸多国家和地区有可用性问题，甚至用户网络也极大地影响体验。
• 隐私性问题，浏览记录的重要性不言而喻，甚至很多 url 中包含了很多隐私数据，诸如密钥等，当前的解决方案中，可能无法保证用户的隐私问题，很多对隐私极端注重的用户可能因此会弃用。
• 高门槛问题，OpenAI 的 API KEY 对诸多用户来说依旧是一个较高的门槛，甚至在某些国家和地区，无法注册订阅等等，提供中心的服务又会带来服务器成本，Token 成本，隐私性问题等等。

综上所述，使用基于本地推理的实现变得很合理，能极大的提升体验，和用户群。

挑战

基于本地推理计算的实现也存在一些挑战，例如，训练难度，成本，数据集等问题，本地推理带来的性能开销，以及做为一个浏览器插件本身的桎梏，我本人是一个客户端和后端开发者，对机器学习了解不深，做了简单地调研之后，可能 Bert 等是个可行的选择，欢迎继续讨论其他方案，仅做抛砖引玉。