LLM聊天质量评估-介绍

LLM evaluation allows engineers, QAs, and PMs to:

  • Prevent regressions – Catch breaking changes before they reach production
  • Optimize performance – Find the best prompts, models, and parameters for your use case
  • Build confidence – Get data-driven insights into your AI application’s quality
  • Save time – Automate manual testing with 40+ pre-built evaluation metrics
  • Enable iteration – Compare different versions of your AI system objectively
  • Quality assurance – Ensure consistent performance across different inputs and scenarios

More details https://www.confident-ai.com/docs

A new AI LLM world (A fresh perspective) !

还在坚持的跨时区生活:工作、旅途与脚下的球

过去的三个月,像一张被精心编织的网,它的经纬线是由截然不同的时空构成的。一端,是凌晨一点的越洋电话会议;另一端,是家乡泸州1902米山巅的辽阔风声。我穿梭在这张网中,试图在全球化的工作节奏与个人真实的生活体验之间,找到自己的平衡点。

这三个月,工作的主旋律依然是与美国团队的深度协作。

  • “凌晨1点”与“早上11点”,这两个时间点像两个锚点,固定了我一天的框架。深夜的沟通,需要清醒的头脑和精准的表达;午前的复盘,则是对一夜工作的沉淀与梳理。
  • 这种跨时区的协作,磨砺了我的时间管理能力和异步沟通的艺术。它让我深刻体会到,在全球化的工作环境中,真正的“在一起”并非物理时间的重叠,而是目标与进度的同步。

身体,是承载所有思想和工作的容器,我从未忘记对它的关照。

  • 每周踢球,是雷打不动的仪式。在球场上,没有代码、没有会议,只有最原始的奔跑、对抗与协作。这是一次次精神的“重启”,汗水冲刷掉的是疲惫,换来的是多巴胺带来的纯粹快乐。
  • 每日骑车,则是我与这座城市最直接的对话。穿行在街道上,感受风、阳光和季节的细微变化,这片刻的独处,是忙碌生活中珍贵的留白。

输入,是防止内心枯竭的最好方式。

  • 读了《黄家驹传》, Beyond的音乐是时代的呐喊,家驹的故事让我思考理想与坚持的力量。那是一种“灵魂的摇滚”——即便在商业与现实中碰撞,也要守护内心的旋律。
  • 翻了《Tiktok爆款攻略》,这是另一个极端的探索。我好奇于这个时代注意力经济的运作逻辑,这是“流量的密码”,是算法和数据构建的现代巴别塔。
  • 在两种截然不同的内容间切换,仿佛让大脑在不同的维度上做体操,既感性又理性,既怀旧又前沿。

这三个月最浓墨重彩的一笔,无疑是关于足球的远征。

  • 作为一名成都蓉城的球迷,飞赴韩国首尔,在宏伟的世界杯球场,亲眼见证心爱的球队客场作战,这是一种无法用言语完全形容的震撼。
  • 当身披红色战袍的球员在异国的绿茵场上奔跑,当熟悉的助威声在客队看区响起,0-0的比分背后,是巨大的激情与坚守。那一刻,我感受到的是一种“当地的全球化”——家乡的球队,站上了亚洲顶级的舞台;而我个人的爱好,也因此与更广阔的世界产生了连接。

回望这三个月,当我站在泸州1902米的山顶,那些碎片化的生活图景仿佛被瞬间串联,变得清晰:

  1. 关于平衡: 生活不是单选题。我们完全可以既深入全球化的工作,又扎根于个人真实的热爱。平衡,不是静态的完美,而是动态的驾驭。
  2. 关于尺度: 我们同时生活在多个尺度的世界里。从个人骑行的街道,到家乡的山川,再到首尔的世界杯球场和跨时区的协作网络。重要的不是固守一隅,而是拥有在不同尺度间自由切换的心境与能力。
  3. 关于坚持: 无论是凌晨一点的会议,每周的绿茵之约,还是远赴他乡的助威,所有微小的、日复一日的坚持,最终会定义我们是谁,并将我们带往想去的地方。

下山,回归日常。但这段整合了工作、健康、知识与远方的旅程,已经为我注入了新的能量。这三个月,充实而立体。期待下一个季度的故事。

寻找 前端开发工程师

IT/5k-10k/经验不限/本科及以上/成都/5-10K

职位描述:

职位职责:

  1. 负责公司网站、移动端、小程序等前端页面的开发、维护和优化工作;
  2. 参与产品需求的分析,根据需求文档进行前端的系统设计,并完成前端页面的开发工作;
  3. 负责与后端开发人员协作,完成前后端数据交互的编写;
  4. 持续关注前端技术的发展,提高前端开发效率和性能;
  5. 参与团队技术分享和交流,提高团队整体技术水平。

任职要求:

  1. 本科及以上学历,计算机相关专业,至少3年以上前端开发经验;
  2. 熟练掌握VUE.js、JS、HTML5、CSS等前端技术,了解前端工程化、模块化等开发思想;
  3. 熟悉移动端适配和跨平台开发,有微信小程序、支付宝小程序等移动端开发经验者优先;
  4. 有良好的编码习惯,逻辑清晰,善于解决问题和分析问题;
  5. 有良好的团队合作精神和沟通能力,能快速融入团队,推动项目进展;
  6. 有责任心和自律性,对工作认真负责,能承受一定的工作压力。

附加信息:

  • 候选人加分项:有创业或类似经历

工作地址:

成都武侯区– 天府五街菁蓉汇6幢1楼

联系方式:

邮箱:lishengzhao@cloudjac.com

寻找 售前解决方案工程师

成都/经验3-5年/本科及以上/售前支持工程师/全职/7-14K

职位诱惑:

大厂背景,全新创业,AI新方向,期权

职位描述:

职位职责:

1.与销售团队合作,利用个人销售资源,积极开拓新客户,为客户提供定制化的技术解决方案;
2.参与制定销售策略,负责为客户提供产品演示、解决方案讲解和技术咨询;
3.参与招标项目,负责技术方案的撰写和呈现,确保方案的专业性和可行性;
4.为客户提供技术支持,解答客户对产品功能和解决方案设计的技术疑问;
5.与产品团队紧密合作,及时反馈客户需求和市场信息,协助完善产品功能和解决方案设计;
6.参与行业会展和技术交流,为公司树立专业形象,扩大市场影响力;
7.在安全行业深耕个人发展,积极拓展行业资源,为公司业务拓展提供支持。

职位要求:

1.本科统招及以上学历;
2.3年以上软件产品相关工作经验,有AI、身份安全、应用安全等领域的解决方案设计经验;
3.具备出色的沟通能力和客户服务意识,能够与客户建立信任和良好的合作关系;
4.熟悉安全软件产品市场和竞争对手,了解行业趋势和客户需求;
5.能够独立分析和解决问题,有较强的学习能力和团队合作精神;
6.具备相关销售资源,有成功的售前技术支持经验,能够为销售团队赢得重要项目和客户;
7.有深耕AI行业的愿望和能力,愿意为公司业务发展做出长期贡献,并愿意接受公司提供的股权激励。

附加信息:

  • 候选人加分项:软件安全

工作地址:

成都武侯区– 天府五街菁蓉汇6幢1楼

联系方式:

邮箱:lishengzhao@cloudjac.com

Langflow中配置Milvus注意事项

若在Langflow中使用Milvus作为Vector DB,则在配置时注意以下几点,很容易出错。

1.字段名称与字段属性必须要与Milvus中定义的匹配。Primary Field Name,Text Field Name与Vector Field Name


如上图对应的Milvus字段定义如下所示(使用Attu工具)

注意:vector字段的类型与长度必须要与Embedding中返回的长度与格式一致,否则会存入失败;另外metric_type要与具体的检索数据格式匹配。

2.若Milvus开启了认证功能,则填写的Connection Password不能只填写Milvus的密码,而应该是username:password格式的组合(若Milvus账号与密码分别为root与Abc123#,则此处填写的值应该为 root:Abc123#)。

茄智AI介绍

茄智AI是一款专为B端市场设计的AI应用类产品,立足于私有大模型与私有知识库的强大基座,充当企业数字化转型的智能中枢,同时聚焦私有大模型的安全高效应用。有以下特点:

安全优先:专注于企业私有化部署,确保模型与数据的物理隔离,符合企业级数据安全与隐私保护的最高标准。

细粒度访问控制:基于角色与组织结构的访问授权机制(RBAC与ABAC),实现精准的权限管理,确保只有授权用户才能访问相关AI功能和数据,提升内部管理的安全性。

提示词安全策略:通过设定角色的提示词管理,配合知识库的授权,设定回答范围,有效避免数据越权行为,提升用户交互体验的安全性。

全面审计追踪:提供详尽的大模型使用日志与审计功能,帮助企业监控模型应用情况,及时发现并解决问题,确保合规使用。

灵活扩展与定制:平台设计具有高度灵活性,可根据企业特定需求进行定制化开发,支持多种AI应用场景的无缝接入。

联系:info@cloudjac.com。

更多:https://mp.weixin.qq.com/s/L-FGzZxcWwZX3hYBTSsbxQ

《ToB的本质》摘录与感触(2)

“定价是需求和供给的交叉点,决定了产品的价值传递方式。”

“对某一企业软件市场规模进行准确评估几乎是一件不可能的事情。这有两个原因:第一,没有可信数据源。第二,破坏性创新的统计价值低。”

“若定价未在官网上标出,那么厂商很可能不是严格意义上的SaaS厂商。定价不以高低论英雄,而应以是否适合产品自身定位分好坏。”

“总结来看,企业软件定价模式需要在这两个要素之间平衡:与价值传递相吻合的灵活性,与客户预期和采购相吻合的惯性。”

“国内市场中目前没有专为企业软件提供定价支撑的工具,关于定价,优惠券,免费试用,大客户折扣,到期提醒,成本红线,价格调整,新定价灰度发布,反馈收集等一系列价格管理能力,均需要厂商自行摸索,业内不仅缺乏共识的最佳实践,自己摸索的效率和效果也都很一般。” ——- 机会?

“定价是组织对市场把控力的整体体现,定价不能凭空猜测。”


“线索交换是值得一提的特殊渠道。这一手段短期成单的可能性不大,但客户画像的真实性近乎100%,是罕见的能够批量直接触达企业软件决策者的营销方式。”

“渠道的作用是“放大”,既放大了优点,也放大了缺陷。”

“回到创业阶段,很多时候销售人员(无论新手还是老手)卖不出产品,是因为核心团队没有想清楚怎么卖,卖给谁,并且产品定位不清,价值不显,无法为销售人员搭建一套可学习,可复用的支撑接口,销售工作自然难以深入。”

“基本的销售方法应由核心团队自行实践,总结清楚,然后再招一两位销售人员,试探是否可以复制。”

“我们应将知识的互通视为企业经营的头等大事,也应将其看作销售管理的底层核心目标。”

“在知识分享不畅的软件团队中会出现“三不”:销售不知道怎么深入讲解;知道如何讲解的人不分享;组织中缺乏鼓励分享的机制或文化。”

“虽然最终成单原因是复杂的,但专业性这一要素是核心产品价值的对外体现,需用最重视的态度反复雕琢。”

“市场负责触达,销售负责转化,,,如果说销售是在“点”上转化,那么市场无疑是在“面”上制造影响,而后者天然就是模糊的。”


“当达到5000万元年收入规模时,单产品的收入增长可能会大幅放缓。为了持续增长,厂商普遍会选择横向扩充新的产品线作为第二,第三增长曲线,组成产品矩阵,联合售卖。”

“然而,多产品线带来了更为复杂的管理问题。”

“多产品线,是以产品侧体系性对抗需求侧体系性零散多变的思路,是以数量对抗未知的暴力哲学。”

“一次只做一件事,一个团队只有一个目标,这是做好任何事情的基础。”

“每一个功能都有它的价值,但也有它的代价,我们经常重视前者而忽视后者。”

“清晰的产品边界是交付标准化的基础,而交付标准化是规模化发展的前提。”

“技术优势是一项隐性优势。若不经过专门的良好包装,在短期市场竞争中,技术优势难以体现出价值。包装的内容需要与客户的需求相契合,并不能凭空捏造。”


“交付是最繁重,成本最高的软件经营环节,交付的成本是不可被规模化摊平的,是企业软件行业难以规模化发展的“罪魁祸首”。”

“我仍建议交付环节由合伙人专门负责。交付工作是处于一线的,需要想办法让销售人员听到最后排的声音,让管理者听到最下方的声音,让产品人员听到现场的声音,整个团队才能动员起来。”

“交付是体系化的最大困难,指望某一部门超水平发挥去解决无疑是白日幻梦。错综复杂的体系化问题,只能由体系化的应对方式去解决。”


“软件本质上是企业经营最佳实践的标准化输出。”

“软件的价值根植于人力成本。人力成本由产业链,行业经济,发展阶段,社会形态综合叠加,共同决定。”

“由于企业软件的价值是企业本身在社会中价值的映射,所以市场经济发展越充分的地区,软件价值的天花板理应越高。”

“软件的最终目标是帮助企业实现其社会价值,从业者也当以此自勉。”

延展阅读:《ToB的本质》摘录与感触(1)

《ToB的本质》摘录与感触(1)

“而国内的企业软件仍重度依赖于售前,交付,沟通,驻场等服务,对这些与客户同协同律的工作的依赖,意味着地区壁垒可能通过企业客户而对软件厂商的经营模式产生间接影响。”——软件只是实现客户定制的工具罢(还不错的工具)?

“换句话说,企业软件行业可能少有颠覆性的新机会,现有大厂可以相对安稳地经营下去,持续享受整个市场水涨船高带来的福利。”——企业软件解决的痛点不够痛?

“销售扩张时优先设立地区线,而后考虑行业线,理应具备最佳的性价比。”

“近10年以来,有多少旧人折戟沉沙,就有多少新人奋勇争先。诸多我尊敬的团队,景仰的前辈,未坚持到日出之刻;多少优秀的产品,精致的服务,徘徊在黎明之前。”——创业维艰呢


“稳定且仍在发展的广阔土壤,较低的门槛,专业的需求以及纷杂的壁垒,这“大,专,低,杂”的因素综合在一起,互相作用,共同构成了行业珊瑚礁状的形态特点。”

“这像是企业软件行业存在的市场壁垒,让大资本与巨头食之无味的同时 ,给无数创业者和管理者以穿越周期,安稳栖身的机会。”——无序意味着机会。

“在社会中的其他科技领域增长乏力时,企业软件行业可能以其特殊的结构,稳定的土壤,庞大的需求,较低的门槛,纷杂的市场壁垒,吸引大量科技和工程领域人才进入耕耘。”

“当一个具备标准功能,标准流程的企业软件产品交付给客户时,会同时发生3件事情:客户的认知需要与软件价值达成一致;企业的流程需要与软件支持的流程对齐;旧有的系统需要与新软件完成对接。”——软件开发结束只完成了一小步。


“软件厂商和投资者如果抛开对低利润,难扩张的重交付模式的厌恶,只从市场整体的利弊出发,不带感情色彩来看,或许会发现:可以(或愿意)提供重交付模式,反而是厂商具有的,符合市场需要的竞争优势。”——优势由交付决定??

“发展不是规划出来的,而必须是实践出来的。”

“定制多,交付重,离业务近,却解决了企业的核心问题。”——服务模型(管家式服务)。

“对老旧系统的兼容问题,属于非功能性质的需求,对技术水平和投入的隐性要求很高,会给企业带来极高的成本,且没有经验的人员很难预估其难度。”——骨头上的肉。

“老系统带来的交付难度可作为衡量企业的信息化阶段和步幅的指标,交付难度越低,企业的信息化成熟度可能就越高。”


“中国企业软件的云化趋势是由中小企业(特别是科技企业 )和新兴企业的快速发展带动的。”

“需求是发展的驱动力和方向,但又天然具有一定的模糊性,盲目性,甚至欺骗性。”

“SaaS只能解决产品成本问题,无法绕过软件产生价值的必要步骤。国内大部分企业缺的并非单纯的产品,而是顾问式的,能落地的解决方案。”——有多少清晰的认知到?