← 全部職位
智算后端研發(fā)工程師
北京
職位描述
1、開發(fā)云原生場景下異構算力調度框架。
2、優(yōu)化大模型推理能力，快速的部署推理服務，提升推理速度和吞吐。
職位要求
1、熟練掌握Linux/Unix平臺上的編程，熟練使用Golang/Python語言進行開發(fā)，熟練使用數(shù)據(jù)結構和常用算法。
2、具有深度學習推理加速和優(yōu)化的經驗，熟悉至少一種推理引擎，如 vLLM、SGLang、Llama.cpp
3、熟悉常見的模型量化技術，并能夠進行模型的量化優(yōu)化。
4、熟悉常見的機器學習算法及框架，如 神經網絡、transformer架構、PyTorch框架。
5、熟練掌握 Kubernetes 和 docker 技術。
6、具備良好的溝通和團隊合作能力，能夠與跨功能團隊密切合作，解決問題并實現(xiàn)共同目標。