来了，又要发新一篇博客了。这次来讲一下最近使用continue.dev替代github copilot的使用感受。
背景
本来我是订阅的github copilot，每月10刀。虽然我的使用频率很低，不过我觉得还物有所值。不过因为其他一些原因，我还要使用另一个github账号，所以就导致另一个账号无法使用copilot，再买一份就有点贵了。于是我看了一下使用其他插件是不是也能达到相同的效果。
试用
我试了这么几款vs code插件和使用ai llm来进行代码补全和问答的插件。 - continue.dev - TabbyML - twinny - privy
这几个应该是开源的支持自定义api的代码补全和问答的插件。这里面privy是主打本地模型，不联网。而Tabby是团队自部署模型服务，还带一个后台管理系统。twinny看文档，其目的也是主要用于连接自建ollama模型，provider里都没有openai，不过支持litellm，可以间接转发。
所以基本只剩下一家continue了。continue可以说是一个高度自定义的插件了，即可接入外部云服务的ai接口，也支持ollama或类似本地或内部网络的llm api。不过目前代码补全部分还是beta阶段。
另外还有一些插件，比如b站上说的比较多的codegpt，也是支持本地和线上服务。但是是闭源的，就没有试用。
本地ollama
因为我的电脑配置很差，所以我使用公司的电脑也测试了一下本地ollama的效果，但是公司的MBP2019配置也好不到哪去，所以效果也不是很好。使用6.7b的deepseek coder instruct回答代码问题，要4-5分钟。更崩溃的是使用1b的starcoder做代码补全，初始速度是10-20s。然后代码敲起来之后多并发会慢到4，5分钟才出结果，根本无法使用。
continue使用情况
基本上所有插件都是分两个接口，一个是问答的，一个补全代码的，continue也一样。这是因为常规的llm没有对代码补全这种形式做微调，可能效果并不好，所以会单独设置一个给代码补全的专门的模型。 问答型可以有多种模式，比如chatgpt式的问，或者嵌套一个模版，来重构代码，写测试，修改等。而代码补全就和最早的copilot一样，在敲代码停顿时会显示灰色的ai生成代码，如果确认接受这些自动补全，那么按tab填写了这些代码了。目前continue还是偏重问答式，如果是类似cursor那种框选然后让ai不断生成修改的方式编程的话，continue支持的不错，比如选中你需要修改的那一段代码，然后出发edit问答，向ai说出你的要求，在收到ai的回答后，continue会diff显示ai结果和当前的区别，像处理merge conflicts一样，你可以一段一段的选择accept current还是incoming。极端的情况就是你可以不断地问和下指令，不断修改和填充，就像人写代码一样，只不过换成了ai。另外，continue也支持提供一些上下文来作为问答的上下文（有点绕），比如提供某个代码文件，整个工程（在copilot里是workspace），文档等，这样不光你的问题是prompt，插件也会讲与问题相关的代码，文档一起提供给模型参考。这里面为了提供更贴切的上下文，continue会对项目代码做索引，就是先embedding本地代码，然后提交时，会搜索相关度高的部分作为上下文。所以这里会有后台任务一直在索引代码变更，我在公司电脑试用时发现会导致卡顿，可能是公司项目太大了，同时总是切换分支（切换分支会导致开新的索引），配置差应该也是一个原因。个人的小项目没有感觉到卡顿。 代码补全我觉得一方面和copilot差不多，都是在使用第三方库时，补全的内容可能离预期差很多，感觉上下文的处理不是很好。另外请求量挺大的，不是很清楚触发机制。按插件的统计，token的使用，自动补全占大头。
模型
模型也是分成问答和代码补全两部分。
代码补全模型
代码补全相对特殊，常规模型可能没有良好的适配训练，工作的并不是很好。大家比较常用的是starcoder，deepseek-coder-base，codellama，以及新发布的codestral，另外好像codeqwen-base也是适用的。这些应该都是开源模型，可以本地运行，也可以使用在线服务商的，不过很多服务商是没有这些模型的serverless服务的，得找找，自己部署就不合算了。根据continue的推荐，我用过fireworks.ai的starcoder 7b，速度很快，很流畅，价格是0.2刀输入输出每百万token，是很便宜了，即使补全消耗的比较大，消耗的也是比较慢的。deepseek官方注册给的credit太少，只试了两句问答就没了，另外官方只有chat和coder两种模型，你也不知道他是base模型还是instruct模型。然后还有赛博菩萨cloudflare worker ai的deepseek-coder-base 6.7b，因为有每日免费额度，当前这个模型还在beta，免费！不过我在使用中会总出现多返回了
问答模型
问答模型就可以使用各种常规模型了，选择非常多。比如御三家openai或gemini，或claud的模型，从评测上看gpt-4依然是最好的？不过好像对于复杂问题，claud opus的风评最好。低价的选择有together.ai的deepseek-coder-33b和phind-34b，之前的codestral也可以。免费的选择有groq，有限量的llama3-70b，是比较适合代码问答的，而且巨快。然后cloudflare只有6.7b的deepseek-coder-instruct，模型大小小了点，准确性差一点。
embeddings模型
其实还有第三种模型（貌似现在有第四种rerank）embeddings模型。就是使用什么模型来计算代码的向量，这决定了是否能够提供更相似的上下文给问答或补全模型。现在continue有三种选项，transformers.js是本地计算；nomic-embed-text是通过ollama；voyage-code-2是云端付费商业模型。我只使用了本地transformers模型，就先不做评价了。
未来
这两天高通，amd，intel都上市或发布了高TOPS npu的cpu产品，未来本地算力会越来越高。像代码补全和embeddings这类模型本地运行应该会非常普遍了。我也该考虑更新一下我的电脑了。