-
项目名称(暂定)
-
图语家PicInterpreter
-
事先说明
-
先说清楚:这个项目目前没有稳定资金,合作方式是 公益贡献 或者 可能有的其他收益,而且只是可能有而已。
-
我是谁
-
我曾是一名康复科医生,目前转行卖保险了。父亲患有完全性失语。这个项目的初心就是为了打造一个工具让我父亲和家人重新能够沟通。如果可以的话,把这个工具带给更多有需要的人,他们不仅表达困难,理解他人也存在障碍。
-
我没有编程经验,部分文档为AI生成,我会标注出来。
-
项目是做什么的
-
失语症患者脑子是清醒的,只是没法用语言表达。现有的 AAC(辅助沟通)工具大多是国外做的,使用起来学习门槛有点高,表达也不够自然。他们最迫切的需求,是一座新的沟通桥梁。
-
图语家目前的MVP想解决两件事:
-
别人说话时,系统把语音转成图片序列,让患者"看懂"
-
患者选图片,系统结合场景和上下文用 LLM 生成完整的句子,替他们"说出来"
-
目前计划将开源 AAC(辅助与替代沟通)软件改造为现代化 Web 端应用,后续移植为微信小程序。
-
这不是一个纯工具类产品,它承载着真实的医疗和情感需求。
-
当前进展
-
核心功能模块的产品需求文档已完成
-
技术架构已有初步构思
-
部分功能模块我自己通过AI编程已验证
-
已通过企业主体进行小程序注册
-
运营资金来源正在寻找:完善 Demo 后,我会尝试申请各类公益基金(如腾讯科技向善、阿里巴巴公益等)、医疗创新大赛奖金,或探索适老化产品的商业化路径(如 B 端医院/康复机构定制)。
-
我在找什么样的工程师(此部分为AI生成,因为我没有编程经验)
-
你不需要现在就是全栈大神,也可以一起探讨架构后认领功能模块。
-
技术要求
-
掌握
-
前端:React / Next.js,能够构建 PWA;熟悉无障碍设计实践(WCAG 标准)
-
后端:Node.js 或 Python,能够设计 RESTful / WebSocket API
-
数据库:PostgreSQL 基础使用;了解 IndexedDB 或类似本地存储方案
-
AI 接口对接:有过 LLM API(OpenAI、Claude、国内大模型均可)、语音识别、TTS 等接口的实际对接经验
-
国内生态:熟悉微信小程序开发(第二阶段核心);了解国内常用 AI 服务(讯飞、腾讯云、阿里云语音等)
-
加分项
-
有过医疗健康类、无障碍类产品的开发经验
-
了解 pgvector / 向量检索,或有 RAG 实现经验
-
有 PWA 离线方案设计经验(Service Worker、本地缓存策略)
-
了解图像检索或以图搜图技术
-
有 WebSocket 实时通信经验(语音流处理)
-
了解 ARASAAC 或其他开源 AAC 图库
-
你在这个项目中要做什么(此部分为AI生成,因为我没有编程经验)
-
第一阶段:Web 端 MVP(优先)
-
基于现有原型和技术架构文档,搭建可用的 Web 端应用
-
实现患者端极简操作界面(无障碍优先:大图标、高对比度、≤3 步完成核心交互)
-
集成 ASR 语音识别(支持粤语,优先使用讯飞/Azure,需设计离线兜底方案)
-
实现图库管理系统(ARASAAC 图库导入、自定义图片上传、词汇-图片多对多映射)
-
对接 LLM API 实现"图片组合→自然语言句子"生成逻辑,包含上下文管理
-
集成 TTS 语音合成(支持语速/音色调整)
-
搭建护理者后台(图库管理、患者档案、使用记录查看)
-
设计并实现本地优先(offline-first)的数据架构,核心功能支持完全离线
-
第二阶段:小程序移植
-
基于 Web 端成果,完成微信小程序适配
-
处理小程序环境下 ASR/TTS/LLM 接口的调用差异
-
解决小程序包体积限制与图库资源加载问题
-
我可以做什么
-
目前保险经纪的工作让我有比较灵活的时间,可以实地跑广佛周边、处理各种事务来提供必要支持
-
提供医生相关经验(我以前就是康复科的医生)
-
快速提供真实的产品使用反馈(我父亲就是完全性失语的病人)
-
我重视的特质
-
能够在需求模糊时主动澄清、推动决策,而不是等待指令
-
代码习惯良好,写出来的东西自己能维护
-
对失语症群体或弱势群体有基本的同理心,理解这个产品的使用场景
-
愿意在早期阶段承担一定不确定性
-
你能获得
-
1. 完整公益开源项目实战经验,代码署名,纳入项目贡献者名单,丰富 GitHub 履历。
-
2. 深耕无障碍开发、离线 AI 部署、跨端(Web + 小程序)移植,提升技术竞争力。
-
3. 亲手打造帮助失语患者的实用工具,收获实实在在的社会价值与成就感。
-
联系方式
-
有意向的话,回复或发邮件告诉我:
-
1. 你最近做的一个完整项目,技术栈、你负责什么、遇到什么坑、怎么解决的
-
2. 你对这个 MVP 的初步判断——大概要多久,你会怎么拆解
-
3. 你期望的合作形式


8


我是安卓app技术栈开发 看来我帮不上忙 但我也得过大病 我知道这个项目是个好项目 只能在这里留言支持一下 加油
做成app更方便,尤其是涉及本地模型,数据库和离线使用的情况。可以平板横屏操作,另外可以用跨端框架,如flutter或者rn。看起来整体逻辑比较简单,但是现有的图库能不能很好地表达语意我不太确定,如果要效果好需要全部要用ai生成图片,可能会有很高的费用。另外这里好用的支持多语言的asr模型在移动设备上运行难度会比较高。
很难啊,现有的ai光将语音转文字就会有很多歧义,很难落地看现状
我觉得做成android以及iOS app的性能会好很多 web应用讲真的性能很差哦
支持,你这个适合脑机接口
医生您好:
看到"图语家"项目的介绍,这个切入点很有价值——现有的AAC工具确实太工业化了,失语症患者需要的是有温度的沟通桥梁。
我有软件工程和AI应用开发经验,想贡献后端AI模块:
我能提供的具体支持:
设计"图片组合→自然语言"的Prompt工程(已做过类似AI角色对话项目,有成熟的上下文管理方案)
搭建Python后端服务(FastAPI),封装多LLM适配层(同时支持OpenAI/讯飞/通义,方便你们根据成本和网络环境切换)
实现上下文记忆逻辑(让AI理解患者想表达"需求"还是"陈述")
提供Docker部署包和API文档,前端同事直接对接即可
边界说明:
我主要擅长后端和AI逻辑,前端界面(React/小程序)和视觉设计由其他同事负责,这样分工效率最高。
时间投入:
总计约20小时,预计2-3周内交付核心模块。由于是公益项目,不收取费用,但希望代码署名并保留后续优化空间。
方便的话,请发我技术架构文档和现有的原型Demo,我看看AI生成逻辑怎么和你们的前端流程配合最顺畅。
祝项目顺利,希望能帮到更多像您父亲这样的患者。
李国敬
GitHub: https://github.com/liguojing112