淘天算法技术-多模态内容理解算法-杭州

淘天内容理解算法团队，聚焦AI发展与业务结合的应用，赋能淘天推荐、搜索、广告、直播等多个业务场域，探索语义理解与搜推广结合应用的新范式。 本岗位负责构建面向视频、商品等多模态内容的高级语义理解系统，深入挖掘内容背后的深层语义信息，推动搜索、推荐、兴趣理解等核心业务的智能化升级。 主要负责的工作有： 1. 多模态高级语义理解：针对视频、图文、商品等内容，开展主题生成、脚本生成、知识抽取、种草意图识别等高级语义理解任务，构建动态可演进的语义Schema体系； 2. 动态语义Schema构建：设计并实现可扩展、可解释的动态语义结构，支持跨模态、跨场景的语义对齐与推理，提升内容理解的深度与泛化能力； 3. 多模态大模型（MLLM）应用与优化：基于多模态大模型进行相关性判断、意图识别、文本生成等任务的微调、蒸馏与推理优化； 4. 向量与语义检索系统：构建高精度、高效率的多模态向量检索系统，支持语义级内容匹配与召回，赋能搜索与推荐系统； 5. 生成式AI技术探索：结合MLLM能力，探索视频脚本理解、种草意图理解、内容摘要生成、AI搜索等生成式应用场景； 6. 跨模态对齐与融合：研究文本、图像、视频、音频等多模态信息的深度融合机制，提升跨模态语义一致性与理解准确率。 推动平台内容理解能力从“看得见”到“看得懂”的跃迁。

1. 计算机、人工智能、模式识别、自然语言处理等相关专业硕士及以上学历； 2. 熟悉深度学习基础框架（PyTorch/TensorFlow），具备扎实的编程能力； 3. 熟悉自然语言处理（NLP）、计算机视觉（CV）基础任务、多模态任务，如文本分类、序列标注、图像理解、目标检测、QA等； 4. 有视频理解、多模态内容分析、知识图谱构建、意图识别、文本生成等项目经验者优先； 5. 有语义理解与搜推结合应用结合的项目经验者优先； 6. 熟悉多模态大模型（MLLM）的训练、微调、推理优化流程，有实际部署经验者优先； 7. 在ACL、CVPR、ICML、NeurIPS、EMNLP、MM等顶会发表过论文者优先； 8. 具备良好的问题抽象与建模能力，能独立完成从问题定义到技术落地的闭环； 9. 具有良好的团队合作精神，较强的沟通能力，对工作充满激情，能够主动思考和行动，推进工作顺利实施；