50 lines
10 KiB
Markdown
50 lines
10 KiB
Markdown
|
# AI 算法应用工程师
|
|||
|
|
|
|||
|
|
# 对应岗位：AI 算法应用工程师
|
|||
|
|
|
|||
|
|
# 一、项目经历
|
|||
|
|
|
|||
|
|
### （一）项目名称：AI语音识别智能家居系统开发项目
|
|||
|
|
|
|||
|
|
### （二）实习岗位：AI算法应用工程师助理
|
|||
|
|
|
|||
|
|
### （三）实习时间：2024.06-2024.07
|
|||
|
|
|
|||
|
|
### （四）实习单位：**上海数趣信息科技有限公司**
|
|||
|
|
|
|||
|
|
### （五）岗位职责：
|
|||
|
|
|
|||
|
|
1. 协助导师完成语音数据采集与预处理，参与麦克风阵列配置、波束成形与滤波实验，~~使用 SpecAugment 等数据增强方法提升噪声环境下的鲁棒性，并整理对比不同场景下的识别精度与延迟表现，为后续模型微调提供基础数据~~**学习用 SpecAugment 做数据增强，整理不同环境下的识别精度和延迟对比，为后续模型训练提供参考数据**。
|
|||
|
|
2. 在导师指导下参与端到端语音识别模型的实验验证，~~尝试基于 Hugging Face Transformers 进行小规模语音模型的微调测试，学习 LoRA 微调与Prompt设计 技术，协助完成命令词库配置与关键词匹配，提升模型对特定任务的准确率~~**用 Hugging Face Transformers 做了一些小模型微调测试，尝试过 LoRA 和 Prompt 设计，帮忙完善命令词库和关键词匹配，让模型在特定任务上更准**。
|
|||
|
|
3. 协助进行语音识别模块与 STM32 主控芯片 的对接调试，~~完成语音指令到设备控制命令的转换实验，验证从识别到执行的延迟与稳定性，并整理接口兼容性与功耗对比表，确保系统运行的完整性与可靠性~~**做语音指令到设备控制的转换实验，测试延迟和稳定性，整理了接口兼容性和功耗对比，保证系统运行更稳**。
|
|||
|
|
4. 参与多传感器与语音指令的联动测试，协助完成温湿度、光照等传感器数据采样与滤波处理，~~结合语音指令实现阈值逻辑控制与多设备协同实验，记录异常值对识别效果的影响，并提出改进建议，支持算法场景化优化~~**配合语音指令做阈值逻辑控制和多设备协同实验，记录异常值对识别的影响，并提出了一些改进小建议**。
|
|||
|
|
5. 协助导师开展远程控制与数据传输调试，参与 Wi-Fi 模块配置与数据加密测试，~~比较不同网络条件下的通信延迟与稳定性，整理设备端与App端的状态反馈数据，保障语音识别与智能家居系统的安全性与可靠性~~**对比了不同网络条件下的延迟和稳定性，整理了设备端和App端的反馈数据，帮助保证系统安全可靠**。
|
|||
|
|
6. 参与阶段性系统集成与功能验证，~~学习使用 ONNX 模型转换与TensorRT推理加速，配合工程师进行模型压缩与性能优化实验，记录推理速度提升效果与资源消耗对比，形成性能优化实验报告，支持项目迭代优化~~**尝试用 ONNX 转换模型和 TensorRT 加速，跟工程师一起做了模型压缩和优化测试，记录了推理速度和资源消耗对比，并整理成实验小报告**。
|
|||
|
|
|
|||
|
|
# 二、专业技能
|
|||
|
|
|
|||
|
|
### （一）核心能力
|
|||
|
|
|
|||
|
|
1. ~~精通基于Transformer架构的大语言模型微调全流程，具有丰富的Hugging Face Transformer库实战经验。熟练掌握监督微调（SFT）、奖励模型训练（RW）及PPO强化学习（RLHF）等进阶调优方法，能够针对垂直领域场景进行有效的知识注入和风格对齐。深入理解Prompt Engineering设计范式，能够构建高质量的指令数据集，显著提升模型在特定任务上的zero-shot和few-shot表现~~**熟悉基于 Transformer 架构的模型微调流程，用过 Hugging Face 的工具，尝试过 LoRA、Prompt 设计等方法，能在小场景下提升模型表现**。
|
|||
|
|
2. ~~具备深厚的语音信号处理理论基础，精通端到端语音识别（ASR）及神经语音合成（TTS）模型的架构原理。能够针对复杂声学场景（如高背景噪声、多人对话、方言及口音变异）设计定制化解决方案，熟练应用SpecAugment、Voice Conversion等技术进行数据增强与音色克隆，显著提升语音交互系统的鲁棒性与自然度~~**有语音信号处理的学习基础，了解端到端语音识别（ASR）的原理，用过 SpecAugment 做数据增强，能在噪声场景下提升系统效果**。
|
|||
|
|
3. ~~具备系统的AI伦理与安全风险防控意识，精通多层级内容安全过滤技术（敏感词过滤、语义理解过滤、基于LLM的对抗生成检测）。熟练掌握隐私信息脱敏算法（如基于NER的实体替换、差分隐私），具备模型对抗样本攻防（Adversarial Attack & Defense）实战经验，能有效保障AI系统的生产环境安全与合规性~~**了解AI安全和合规的重要性，学习过常见的敏感词过滤和隐私信息脱敏方法，能在实验中考虑到安全因素**。
|
|||
|
|
4. ~~具备搭建完整的AI效果评估体系的能力，精通多维度指标监控（意图识别准确率、业务转化率、用户满意度等）与分析方法论。能够通过归因分析定位效果瓶颈，设计A/B测试实验框架，并运用统计分析方法驱动模型和策略的持续迭代优化，确保算法效果可衡量、可追溯、可提升~~**能做一些模型效果评估，尝试过用准确率和延迟等指标来比较实验效果，也配合做过 A/B 测试**。
|
|||
|
|
5. ~~精通模型服务化全链路优化技术，掌握模型剪枝、量化（PTQ/QAT）、知识蒸馏等模型压缩技术。具有丰富的GPU推理加速经验（TensorRT），熟练掌握ONNX模型转换与性能调优，能够实现模型服务的高并发、低延迟部署，显著降低计算与存储成本~~**学习过模型压缩和量化，接触过 ONNX 转换和 TensorRT 加速，在实验里观察过优化前后的性能差异**。
|
|||
|
|
6. ~~掌握敏捷开发项目管理流程，具备出色的跨团队协作与资源整合能力。能够高效管理算法项目的需求、开发、测试和上线全生命周期，确保项目高质量交付。具备优秀的技术文档撰写与方案宣讲能力，能够清晰同步项目进展与技术方案，有效推动复杂项目落地~~**熟悉敏捷开发流程，能用 Git、Jira 参与团队协作，整理过实验报告和技术文档，配合团队完成项目优化**。
|
|||
|
|
|
|||
|
|
### （二）复合能力
|
|||
|
|
|
|||
|
|
1. 基础编程能力：掌握数组、链表、哈希表、堆栈、树与图等核心数据结构的原理与使用场景，具备使用Python进行数据处理与基础编程的能力。
|
|||
|
|
2. 人工智能应用能力：了解人工智能的发展路径与主流算法框架（如Transformer、多模态模型），初步掌握LLM调用、Prompt编写与图文生成工具的使用方法，具备AI基础素养与合规意识。
|
|||
|
|
3. 计算机系统基础理解能力：具备从计算机底层结构（CPU架构、缓存设计、指令系统）到上层操作系统演进（Linux、虚拟化、边缘OS）的系统理解能力，能够初步分析软硬件协同机制与设备运行原理。
|
|||
|
|
4. 网络通信协议理解能力：理解TCP/IP模型、Wi‑Fi、蜂窝通信、BGP路由等核心网络协议，了解云计算架构下的网络基础设施与数据传输机制，具备构建连接与排查通信问题的基础能力。
|
|||
|
|
5. 自动化脚本应用能力：会使用Python对本地数据进行基础处理、接口调用任务，能够使用小型自动化工具来提升开发与运维效率，具备基础的异常处理与日志记录能力。
|
|||
|
|
6. 持续学习能力：关注技术前沿趋势，如扩散模型、多模态大模型等方向，具备持续学习的意愿与主动探索的习惯，能够主动跟进新技术动态并将其应用于实际学习或项目尝试中。
|
|||
|
|
7. 版本管理与协同开发能力：掌握Git的本地提交、远程仓库操作流程，具备多人协作开发、代码评审与冲突解决的工作经验。
|
|||
|
|
8. Linux系统操作能力：能够在Linux环境下完成磁盘管理、用户权限配置、网络设置等常规操作，熟悉文件系统与命令行工具，具备脚本自动化与远程运维的初步经验。
|
|||
|
|
9. 嵌入式与边缘设备部署基础：了解物联网设备中的嵌入式系统架构，具备边缘设备操作系统、驱动管理与资源调度机制的基本认知，能够协助完成设备配置与系统调优任务。
|
|||
|
|
10. Agent智能体开发基础能力：理解Agent的基本结构与工作机制，了解其在物联网、自动化控制和多任务协同中的应用模式，初步具备使用LangChain等主流框架实现简单任务编排和功能调用的能力。
|
|||
|
|
|
|||
|
|
# 三、个人评价
|
|||
|
|
|
|||
|
|
在实习过程中，~~具备扎实的语音信号处理与AI算法应用能力，能够使用 Pandas/NumPy 进行语音数据清洗与特征处理，并结合 SpecAugment 等方法提升复杂环境下的识别效果。熟悉基于 Hugging Face Transformers 的语音模型微调流程，能够尝试 LoRA 微调与 Prompt 设计，积累了在特定任务中提升准确率的经验。具备语音识别模块与嵌入式芯片对接调试的实践经历，能够完成从语音指令到设备控制的全链路实验，理解延迟与功耗优化的关键环节。熟练使用 ONNX 与 TensorRT 进行模型转换与加速，能够协助完成模型压缩与性能优化测试，提升系统部署效率。掌握 Git、Jira 等工具的团队协作方式，能够参与版本管理与任务跟踪，支持算法在智能家居场景中的迭代优化。保持对大模型、多模态与AIGC等前沿技术的关注，善于将新技术应用于项目探索，展现了较强的学习力与落地能力，为未来在AI算法应用方向的发展奠定了扎实基础~~**在实习中学会了用 Pandas/NumPy 做语音数据清洗和特征处理，结合 SpecAugment 提升复杂环境下的识别效果。尝试过用 Hugging Face Transformers 做模型微调，用过 LoRA 和 Prompt 设计，积累了一些提升准确率的经验。参与过语音识别模块与嵌入式芯片的对接实验，理解了延迟和功耗优化的重点。学习使用 ONNX 和 TensorRT 做模型转换和加速，对比过优化前后的性能差异。能用 Git、Jira 配合团队做版本管理和任务跟踪，支持项目迭代。平时也关注大模型、多模态等前沿方向，喜欢把新技术应用到实验中，体现了学习力和动手能力，为以后做AI算法应用积累了基础**。
|