4060Ti显卡Ollama+Open WebUI本地运行Qinawen2.5:14B
千问的模型在本地运行是我测试过几个开源模型之后选取的最佳模型,同等参数量在中文能力上是明显超过llama3.1:8b和gemma:7B的。 qwen2.5:14b 模型权重大小 9GB,运行需要 11G 显存。我的显卡16G显存刚刚好,如果是qwen2.5:32b 模型权重大小 19GB,运行需要
技术小记
未读
在Python中有哪些条件语句?
在 Python 中,条件语句主要用于实现程序的分支逻辑,即根据不同的条件执行不同的代码块。主要的条件语句包括 if、`elif`(else if 的缩写)和 else。 下面分别介绍这些条件语句的基本用法: If 语句 if 语句是最基本的条件语句,用于测试一个条件,如果条件为真(True),则执
技术小记
未读
AI 助手应用开发历险记:踩坑指南
我在年初设计了一个智慧园区的 AI 助手产品。上线之后,仅支持文字的对话输入输出。 今年年底,我们决定在原来的基础上增加基于用户上传图片和文档文件的对话功能和智能语音客服。 语音客服的实现方案很简单,就是让用户输入语音,系统自动对音频进行识别,转成文字之后调用大模型 API,大模型输出文字内容后,再
技术小记
未读
从API到Agent:万字长文洞悉LangChain工程化设计
从API到Agent:万字长文洞悉LangChain工程化设计 我想做一个尝试,看看能不能用尽量清晰的逻辑,给“AI外行人士”(当然,我也是……)引入一下LangChain,试着从工程角度去理解LangChain的设计和使用。同时大家也可以将此文档作为LangChain的“10分钟快速上手”手册,本
技术小记
未读
如何基于Go语言自己构建节假日查询API
如何基于Go语言自己构建节假日查询API [转载] 谢伟 大家好,我叫谢伟,是一名程序员。 之前梳理了一些内置库的学习,收到了一些评论,绝大多数评论都在直指一个问题:为什么梳理这些无关痛痒的内置库? 好吧,看上去确实都是些简单的内置库的梳理。主要原因是为了:
技术小记
未读
开源社区新宠Mistral,被誉为最好的7B模型
Mistral-medium代码生成完胜GPT-4 最近,Mistral-medium开放内测。 有博主对比了开源的Mistral-medium和GPT-4的代码生成能力,结果显示,Mistral-medium比GPT-4的代码能力更强,然而成本却只需GPT-4的3成。 根据官方发布公告,Mistr
技术小记
未读
我发现一个极简的桌面端epub阅读器,但是不太完美
起因是这样的,我这个人有收集书籍电子版的癖好🙂,看到别人推荐的好书我又感兴趣的我就会去Z-Library上去找,找到我觉得最好的版本就把他下载下来,同步到我的手机、ipad的阅读器上。 但是我的电脑不能上一直没有阅读器打不开,因为市面上的阅读器都需要注册且有很多广告,我就想有没有离线的工具,又轻巧