个人介绍
从2015年开始从事Java开发工作,由于本科学的微电子,然后考研985失利,不愿调剂到一般学校,于是只能从事半导体行业最末端工作,从事半导体封装。但是实在受不了电子厂的工作环境,于是辞职转行软件开发。由于不是计算机专业的,所以一开始找工作都没公司愿意要,尽管我本生本科阶段就对编程感兴趣,自学了java,无奈还是离工作要求差较远。
好在在西安找到一个靠谱的培训班,虽然只有8个学生,老师还算负责,她也是从程序员辞职创业的,所以没有像别的培训班那样提前签订借款合同,从开始学就开始身背贷款。我们是找到工作后,每月向她支付培训费,也没什么利息。大部分人找到工作,提前就全还清了,我记的是8000的培训费。我算是培训的快的,3个月后就毕业找到工作了。去的是一家小公司,工资5000,对于在2015年刚进入软件行业的我来说还可以。不过后面加班确实严重,我记的一周内连续加班到晚上12点,第一次感受到头疼的感觉,好在那时年轻,所以说程序员容易猝死是真的。后面一直给我安排超出我能力外的工作,我问老员工,他们都不会做。我只好每天加班搞,关键项目经理还嫌你慢,不是我不愿意干,实在是不给时间呀。那段时间压力特别大,对自身都产生了怀疑,后来坚持不住我就辞职了。
但是不得承认的是,在小公司的历练让我在最短的时间里能力得到了提高,也为以后继续从事软件开发奠定了基础。
人总是要为生存而努力,后面为了高的工资去了外包,不是大家愿意去外包,实在是好的甲方太少,尤其是在西安这个地方,基本都是华为和汇丰的外包公司。后面换了2家外包公司一家汇丰的一家华为的,汇丰的还好,华为的真是受不了,那种工作氛围你要能接受,建议直接去OD,虽然被戏称为our dog,但至少你拿到收的工资够多。
最后一家公司是做外企外包的,为vmware公司提供服务,我在这里度过了4年时光,因为是外地的,所以我有2年多时间都一直在家办公,就像是远程办公一样。我每周四和美国的客户开会汇报一周的进度,然后讨论接下来要做的事情,有突发的状况通过邮件来沟通,关系融洽,感觉就是我理想的完美工作。但是好景不长,去年博通收购vmware,裁员一直没停止,导致和vmware的合作出现问题不能继续,于是公司狠心的辞退了我,而且不给赔偿,这就是外包公司的不好,随便辞退你。
随着年龄增大以及it市场走向衰落,第一次感受到压力,觉得上班已经没什么保证了,得找找其他出路,也不想再去外包,可是好的甲方公司也卷的厉害,学历要求都是985,211,硕士,连外包最低要求都要本科了。想要看看这里有没有远程或是合作的机会。
我所做的项目
一直在帮vmware做RAG的应用,它们没有自研大模型,而是部署了开源的大模型:llama2,mistra,然后我们做基于这些大模型的AI应用。我所做的RAG包括以下功能:
- 不同文档的总结包括pdf,word,ppt,audio,会议视频
- 上传文件的管理,可以手动添加metadata信息
- 同类型文档的对比总结,比如3个文档都是描述同一对象的,但是年份不一样,只要就可以对比总结出发展趋势
- 文档建立知识库,可以对话文档,存储对话历史记录
还有一些新的功能还没做就裁员了:
- 支持在线文档总结,只需要填写url
- 支持RAG对话上下文记忆功能
- 支持Agent
总的来说实现了RAG的基本功能,借助了langchain以及llamaindex框架,但是还有一些关键领域还在研究没来的及实现:
- 文档解析效果,当文档中包含图表以及图片时如何处理,现有提供的解析库都只是提取出文字,会造成排版混乱,导致回答不准确。Adobe公司以及llamaindex提供了远程的解析服务,会将文档内容转换成markdown格式的内容,这样RAG回答的准确率会提升很多,但是这些服务都是付费的,还没有比较好的转markdown的开源库,一些自研算法比如使用OCR来识别文档内容也不能应对所有文档类型。
- 向量搜索准确度,受到top_k,以及重排序算法的影响,向量搜索始终不能实现完美的效果。
因为代码全由我一人开发,所以自己又写了一遍,替换大模型为国内阿里的模型,改了一些代码适配中文环境,现在已经部署在自己的机器上:
只需要前端对接一下就能实现最终效果。由于本人无机器学习的基础,所以整个RAG应用缺少独创性,只是对整个RAG的开发流程比较熟悉,也知道一些行业的痛点。如果你也在做RAG应用,或是基于AI的应用,需要后端开发可以联系我。
如果你有客户需要RAG私有化部署,也可以联系我,可以定制化开发。
如果有感兴趣的前端,也可以联系我,可以依据现有接口对接前端,可以部署到我的服务器,然后寻找合适的客户去售卖,然后分成,当然前提时卖的出去。
考虑到个人买的小服务器,经不起压测,就不放在线API文档地址了。
个人技术栈
除了Python外,我的主要编程语言时Java,熟悉springboot以及springcloud,只不过最近的工作一直时python,其中一些项目也用到Node来开发后端接口。
个人还是比较喜欢研究新技术的,无奈还是卷不过别人,不够优秀。想过成为独立开发者,但是尝试之后,没有能带来持续收入的作品,还是套牢在工作上,现在的就业市场让人怀疑作为程序员真的就只能做牛马吗?还是希望能有远程工作的机会,接触更多新的工作内容,摆脱焦虑的心态。
我这边有兴趣,不知道怎么联系你丫?
同样很励志,赶紧机会还是有的,千万不要焦虑,都是自己一步一步修炼出来的。加油
好励志
做rag开源的有很多,MaxKB,Qanything,anythingLLM
你是个积极要求上进的人!
好厉害