deepseek- harness编程体验大家都说大模型编程到底好不好用还得亲自试试才靠谱。deepseekharness本地部署进去第一件事是设置工作空间(还有token缴费)我就预感这玩意不是要和我聊天是给我干活的。第一个任务我给了他一个SQL解析的任务任务描述如下生成一个python代码使其能够解析含一个select的 sparkSQL注意需要将条件、字段、表、聚合以及可能函数等信息详细拆解为一个对象并且该对象包含解析SQL和将解析结果返回成SQL的能力方便人确认解析结果的正确性。成功生成脚本和测试文件大概12分钟我简单看了测试文件里面的25个测试样例评价是夯。 我们之前实现的该功能由于早起没有sqlglot包只能在sqlphrase上面打补丁花的时间还是比较久的分几次测了几万例才算稳定下来。大模型写的这个后面的测试工作肯定还是需要的。既然效果这么好那就直接上强度~~chatBI任务我将一个历时三年左右的历史项目重新整理了一下并优化部分设计了然后整理了近一万字的需求说明文档和关键信息的定义和部分样例知识完整项目细节。然后让大模型代码实现。成本(我)花了7小时写需求和设计文档。约1万字(deepseek)花了30分钟写完(我)检查了2小时左右代码增加了5个要求和测试的SQL样例和部分测试表结构。(deepseek)花了30分钟写完我看了半小时代码实现效果整体框架符合预期几乎每个模块都有对应部分测试样例能跑,而且代码很规范。细节坑肉眼可见比如 feature/generator 里的_extract_value中如下def_extract_value(self,qualifier:str)-str:从限定词语义中提取取值启发式。 - 近三个月/最近三个月 - 90天 - 多位 - 2多名男性 - 纯数字限定词如 最近三天 - 数字本身 - 男性 - 男女性 - 女 qqualifier.strip()if三个月inqor近三月inq:return90if多位inqor多个人inq:return2if男inqand性inq:return男if女inqand性inq:return女if男inq:return男if女inq:return女mre.search(r(\d),q)ifm:returnm.group(1)if期末inqualifier:return期末if期中inqualifier:return期中returnqualifier三个月转成90天是没问题的但是半年、四个月、两周这些就不管了~多位转成2这个也不符合预期这种抛给前端与用户明确意图即可。期末转期末这种也是问题应该存在一个默认通用方案。整体质量从这段代码中的槽点密度可见一般。有什么用大模型写代码有什么用基于现在这个框架我有信心在3-5个月内完成重新填充但考虑到每一个环节都可能用AI来提高效率有可能1个月也能做好。而实际上我们整个项目接近两年其中包含方案设计、项目沟通主要是说服领导采用方案展示进度、预期等等、测试等等。粗略估计花在代码上的时间10个人月以上。还是能够大幅提升开发速度的。另外基于这个快速框架能够将工作快速分包给多人实现协同开发有这个基础的前提下沟通成本会下降。应该怎么用基于当前项目实践的理解在心中有整个实现方案(胸有成竹)的前提下我们应该清晰的描述整个项目需求并定义关键细节.然后检查大模型生成的结果确保不存在因需求理解造成的框架性错误。针对每个模块进行检查然后以模块为单位补充测试样例和实现方案让大模型实现。如果还是不对就手动去实现。如果不是理解差异本质就是大模型不会这一步推理不要去教一个没有微分基础的人学积分测试~ 海量的测试样例如果我们没有方案只有需求呢我比较建议先去和大模型讨论实现方案明确了方案再讨论实现。于是我问了大模型两个问题我想实现一个chatBI产品请给出两个实现方案。 DSL的具体形式是什么看到答案后。世界果然是巨大的草台班子~(需求说明书的方案居然就是大厂的NL2DSL方案而且他们DSL设计的也太丑了)最后充的十块钱还剩8块多代码虽然是垃圾但是狠赚不亏。大模型能帮我们做很多事但是仍然有很多事需要我们自己做。