- 熟悉 Python、Transformers,以及 Tensorflow 和 PyTorch 深度学习框架;
- 熟悉深度神经网络常用模型及原理包括 DNN,CNN,LSTM,GRU 等;
- 熟悉自然语言处理、问答系统、搜索推荐等相关算法,能够对算法进行实现、验证和迭代
- 熟悉 Embedding、NER、文本分类、意图理解、词性标注、关键字提取、主题模型;
- 熟悉 Baichuan、ChatGLM、LLaMA、Qwen 等 LLMs,具有大模型调优和业务落地经验;
- 熟悉大模型常用的优化加速方法 MQA、GQA、FlashAttention、NEFTune 和 Unsloth;
- 熟悉大模型分布式训练框架 Accelerate 和 DeepSpeed,以及推理加速框架 vLLM;
- 熟悉大模型高效微调方法 Lora、QLora、GaLore、BAdam、LongLoRA、PiSSA;
- 熟悉大模型常见的压缩方法,如量化(AWQ、GPTQ)、剪枝(LLM-Shearing)、压缩(SpQR);
- 熟悉业界常见的多模态大模型,如 CLIP、BLIP2、VisualGLM、Qwen-VL 等;
有9年NLP&LLM相关工作经验,想找一份远程办公的全职工作,有意私聊
城市:
海外
职业:
开发
https://eleduck.com/posts/lafwNo
https://eleduck.com/posts/JpfXDQ
都可以去试试
非常感谢