1. 项目背景与核心目标最近在折腾Longan Pi 3H开发板时突然想到一个有趣的应用场景——给ChatGPT增加视觉和语音交互能力。这个想法源于日常使用AI助手的痛点纯文本交互缺乏真实感而市面上的智能音箱又不够开放。于是决定用这块性能不错的开发板搭建一个能看会说的小型AI终端。核心目标很明确视觉能力通过摄像头让AI看到周围环境语音交互实现TTS文本转语音和语音输入轻量服务用FastAPI搭建高效的本地API服务硬件适配充分利用Longan Pi 3H的硬件特性2. 硬件准备与环境配置2.1 Longan Pi 3H开发板特性这块板子有几个亮点特别适合本项目双核Cortex-A7主控主频1.2GHz内置128MB DDR2内存支持Linux系统丰富的接口USB、GPIO、I2C等低功耗设计实测满载约2W提示虽然性能比不上树莓派4但胜在性价比高跑轻量服务完全够用2.2 外设选型与连接视觉部分我选了常见的USB摄像头罗技C270语音交互用了USB麦克风3.5mm音箱的组合。具体连接方式摄像头 → USB接口 麦克风 → USB声卡 音箱 → 3.5mm音频口安装系统时遇到个小坑官方镜像默认没启用音频设备。解决方法是在/boot/config.txt中添加dtparamaudioon audio_pwm_mode23. FastAPI服务搭建实战3.1 基础环境准备先创建Python虚拟环境强烈建议python -m venv venv source venv/bin/activate pip install --upgrade pip安装核心依赖pip install fastapi uvicorn python-multipart3.2 最小可用API实现创建main.py作为入口文件from fastapi import FastAPI, UploadFile, File from fastapi.responses import StreamingResponse import io app FastAPI() app.post(/vision) async def process_image(file: UploadFile File(...)): image_data await file.read() # 这里添加图像处理逻辑 return {message: Image processed} app.get(/tts) async def text_to_speech(text: str): # 这里添加TTS逻辑 audio_stream io.BytesIO() return StreamingResponse(audio_stream, media_typeaudio/wav)启动服务uvicorn main:app --host 0.0.0.0 --port 80003.3 性能优化技巧开发板上资源有限这几个优化很关键使用--workers 1避免内存溢出添加--limit-concurrency 10限制并发启用HTTP压缩from fastapi.middleware.gzip import GZipMiddleware app.add_middleware(GZipMiddleware)实测优化后QPS从15提升到28内存占用降低40%。4. TTS模块实现详解4.1 方案选型对比测试了几种TTS方案在开发板上的表现方案延迟(s)内存占用(MB)语音质量pyttsx30.350一般gTTS2.170较好Piper (本地)1.2120优秀Edge-TTS1.890优秀最终选择Piper虽然内存占用高但支持离线使用且中文发音自然。4.2 Piper TTS集成实战安装Pipersudo apt install espeak-ng pip install piper-tts下载中文语音模型约200MBwget https://huggingface.co/rhasspy/piper-tts/resolve/main/zh/zh_CN/lessac/medium/zh_CN-lessac-medium.onnx代码实现from piper import PiperVoice voice PiperVoice.load(zh_CN-lessac-medium.onnx) def generate_speech(text): with io.BytesIO() as audio_stream: voice.synthesize(text, audio_stream) audio_stream.seek(0) return audio_stream.read()4.3 音频播放优化直接使用pygame播放会有延迟改用更底层的pyaudioimport pyaudio p pyaudio.PyAudio() stream p.open(formatpyaudio.paInt16, channels1, rate22050, outputTrue) def play_audio(audio_data): stream.write(audio_data)实测延迟从1.2s降到0.4s效果显著。5. 视觉处理模块设计5.1 图像采集方案使用OpenCV捕获摄像头画面import cv2 camera cv2.VideoCapture(0) def capture_frame(): ret, frame camera.read() if ret: return cv2.imencode(.jpg, frame)[1].tobytes() return None5.2 图像处理流水线设计了一个轻量处理流程尺寸缩放640x480 → 320x240色彩空间转换BGR → RGB归一化0-255 → 0-1模型推理结果可视化关键优化点使用多线程处理避免阻塞主循环开启硬件加速cv2.UMat合理设置JPEG压缩质量70是个平衡点6. 系统集成与联调6.1 API端点设计最终API路由表POST /api/vision - 上传图像处理 GET /api/tts - 文本转语音 POST /api/chat - 对话接口 GET /api/status - 系统状态6.2 流式交互实现为了实现更自然的对话体验采用了SSEServer-Sent Eventsfrom fastapi import Request from fastapi.responses import StreamingResponse app.get(/stream) async def chat_stream(request: Request): async def event_generator(): while True: if await request.is_disconnected(): break # 获取对话结果 yield fdata: {response}\n\n return StreamingResponse( event_generator(), media_typetext/event-stream )6.3 性能压测数据使用locust进行压力测试并发10用户接口平均响应时间(ms)错误率/api/vision3200%/api/tts4200%/api/chat5802%7. 实际应用中的坑与解决方案7.1 内存泄漏排查运行一段时间后出现OOM通过mprof工具定位到问题mprof run python main.py mprof plot发现是Piper的语音模型没有正确释放。修复方案class TTSEngine: def __init__(self): self._voice None property def voice(self): if self._voice is None: self._voice PiperVoice.load(MODEL_PATH) return self._voice def cleanup(self): if self._voice: del self._voice self._voice None7.2 音频卡顿问题症状长时间运行后TTS播放出现卡顿 根因ALSA音频缓冲区积累 解决方案定期重置音频设备def reset_audio(): stream.stop_stream() stream.close() p.terminate() # 重新初始化 init_audio()7.3 温度控制连续运行2小时后开发板温度达到68℃添加散热措施粘贴散热片增加小风扇GPIO控制实现温度监控import psutil def get_cpu_temp(): with open(/sys/class/thermal/thermal_zone0/temp) as f: return int(f.read()) / 1000 if get_cpu_temp() 60: # 触发降频或告警8. 项目优化方向经过实际使用发现几个值得改进的点语音唤醒添加关键词唤醒功能降低持续监听功耗边缘计算将部分AI推理放到开发板本地执行多模态交互结合视觉和语音上下文理解意图低功耗优化深度睡眠模式事件驱动唤醒具体到代码层面下一步准备用Cython重写性能关键路径实现模型量化FP32 → INT8添加WebSocket支持实时视频流这个项目最让我惊喜的是Longan Pi 3H的潜力——虽然资源有限但通过合理优化完全可以跑通完整的AI交互流程。特别是在TTS本地化这个环节Piper的表现超出预期中文发音几乎听不出机械感。