大学生创新团队研发手语翻译APP 平均年龄只有22岁|江苏科技大学|骨骼动画_凤凰科技
大学生创新团队研发手语翻译APP 平均年龄只有22岁
用微信扫描二维码分享至好友和朋友圈
把语音转换成文字，再将文字翻译成手语，为普通人与聋哑群体搭建沟通的桥梁。
原标题：江苏科技大学：互联网助力志愿服务 拿起手机，点击机器人图标，说出你想对聋哑朋友说的话，只需几秒钟，一张张手语图便跳了出来，实现普通人与听障者的零距离沟通。这原本只是一个简单的概念设想，一群平均年龄只有22岁的大学生做到了，让不懂手语的人也能和听障群体进行交流。 5月14日，江苏科技大学计算机系的5名志愿者来到镇江市特教中心，在没有手语老师的翻译下，通过一个手机APP&&聋人自然手语翻译器，与高一年级10位聋哑学生交流互动。 去年10月，TouchVoice创新团队宣告开发一款助听障群体沟通的软件，目前该团队已扩容至9人。理工科背景加上对自然语言处理的核心优势，几人一拍即合，决定潜心研究一个惠及聋哑群体的手机软件。把语音转换成文字，再将文字翻译成手语，为普通人与聋哑群体搭建沟通的桥梁。 设想勾画完成，&三大库&的建立至关重要。 &目前来看，我们已经完成最基础的构想&&手语图片库，并且取得了良好的用户体验，和同学们交流了40多分钟，每句语音都被准确翻译成了手语图，他们都能看懂。&吴琪说。 吴琪是江苏科技大学三年级学生，曾在社区做过志愿者，帮扶青少年群体。在团队中主要负责&3D骨骼动画&研发。 然而，将手语图片全部录入系统并不容易，几经周折，团队将&我爱手语网&列为最佳选择对象，在教师编写的&爬虫&软件支持下，5234张图片全部被收入囊中。 为了这款APP能带给用户最佳体验，加班、熬夜、通宵成了家常便饭。团队放弃了今年的&史上最长寒假&，回家过了几天春节，便匆匆赶往学校，继续开发、研制。分工明确助力团队一路向前，3D人体骨骼动画研究、安卓端的开发、算法研究、以及自然语言分析缺一不可。本科生与研究生共同协作，发挥各自的专业特长。 另外的两大库分别是手语动画库和手语视频库。为了呈现出动态手语，而不是简单的几张图片，并将手语与文字翻译互通，用动画和视频进行呈现。团队购置了Leap Motion设备拍摄手语动画，配备了带有RealSense3D摄像头的笔记本。陈璟告诉记者，团队构思了各种手语识别算法，考虑平行关节、手指点、深度图等问题，最终由于手指关节数据的误差较大，还是陷入了瓶颈。 幸运的是，&聋人自然手语翻译器&得到了学校和镇江市残联的大力支持，并前往绍兴市拜访手语协会的王丽娅老师。&王丽娅老师给团队普及了很多专业知识，愿意助我们一臂之力，并希望借助与我们的合作，推广自然手语的教学。双向翻译指日可待。&陈璟告诉记者。
[责任编辑：杨旭]
用微信扫描二维码分享至好友和朋友圈
凤凰科技官方微信
播放数：940715
播放数：397100
播放数：244845
播放数：170193
48小时点击排行●S码的教研发现、发明创新简介（续6、手语方面）●
& &●S码的教研发现、发明创新简介（续6、手语方面）●
&&&&&&&&&&&&&&&&●（6）手语等方面的发现、发明创新●
S码网上圣理书院（S院）当然关注到聋盲人的教育问题，也有一些这方面的教研发现、发明创新。如注意到聋人听不到声音，不便用拼音查字打字和学拼音手语，专门把S码的形码原理方法，用于聋盲教育方面，研究出不管字音的查字打字法与手语新法，把S码的国学注音简拼法用于简化拼音盲文等。
上世纪80年代，报刊不要写稿人的钱，主要是看文稿水平来优选发表，审稿较客观公正。90年代后期，改为写稿人交版面费才发表，所以发表的不一定是很好的而是交了钱中较好的，影响了文稿优选的公正性。所以我80年代每年几乎每月都有一批文稿在书刊中刊出。90年代后期因要交版面费已不太客观公正，S码不再理会一切交钱发表通知，只承认可不给稿费但不另交钱的约稿。如2000年后绥化学院学报不要求我交版面费，才在该院学报上发表了一批特殊教育的文稿。如：
《绥化学院学报》2011年1期《中西语言与中国手语发展的责任》1页
《绥化学院学报》2011年1期《聋盲智障识字入门课本的统筹考虑》3-7页
《2011年两岸沟通障碍学术研讨会论文集》《聋人沟通无障碍试观》&26页
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&《中国的手语困境与出路》45页
《绥化学院学报》2012年1期《结合识字查字与手语打好聋生汉字输入基础》16-20
《绥化学院学报》2013年1期《汉语字词的手语打法优选》&（页）
&&&&S码发现与揭示，中国聋人都有父母为他们取的美好的汉字姓名，但聋校两大本五千多条词的《中国手语》教材中，只有约40个姓的手语约定。千百万聋人姓与名与几万词语，在《中国手语》等聋校教材中都找不到简明的手语打法。
很多专家致力于按自然手语设计更多的聋人都还不会的所谓自然手语词语，以为就能解决聋人思想沟通问题，这是不现实的。那怕是再多记十万八万新自然手语，聋人仍难免这样的课堂尴尬和阅读自学障碍。S码认为，不需要聋师与聋童再花那么大的精力，去学记十万八万条新自然手语词汇，只要记三五千个汉字手语，聋校教学效果就可能与普校相当接近。
聋人因听不见音而难掌握拼音码打字与拼音手语，所以很多聋人都学会了五笔字型王码打字。因此S码提出一个创新发明的手语新方案，设计聋人看得见的汉字字形首尾部件码手语，左右手打一个汉字的首尾码手势，就打明了一个汉字。聋人之间与聋听人之间的交流沟通障碍，就可能得到根本改观。
S码揭示，前几十上百年的中国老聋人中不识字的多，普遍文化程度不高，受到这影响的老的自然手语词，偏重形像可视的事物的象形、会意等手势，忽略了可视字形的利用，少有汉字型手语。近几十年才增多了汉语拼音方案的字母拼音缩写指语词，《中国手语》一书中就用得较多。西文等拼音字要频繁变换多次字母指式才能打出一个西文字，但对于不善于听音拼音的中国聋人来说，同音字多的拼音手语不见得好学好用。这样的东施颦学西文的拼音指语，不能解决中国手语问题。S码敏感到这新形势，认为该发明汉字手语而不能只造自然手语或拼音手语，现在聋人已普遍享受到识字扫盲教育，普遍熟习了字形。用字形码打字的聋人，比例已相当大，很多聋人已掌握了高难度的很多听人也没学会的王码五笔字型打字，形码打字员成了聋人热门职业选择之一。聋人对字形这可视物规律的掌握，比对不可视的的语音拼音规律，可能更易掌握。
S码指出，既然专家们不反对手语用几十个字母作汉语拼音方案几十个声韵母代码，不反对约定声韵母代码字母指式，按拼音来打手语用。那么，用几十个字母键符作汉字字形部件代码，约定部件代码字母指式，按字形规律来打手语，也没有什么不可以。因此S码发明汉字手语建议必要，也可行。
因此S码在北京大学中文论坛的输入法讨论专区上，发了《为聋童优选推荐两码一字的形码》一帖，征求常用五六千字中首尾码没有超过20个同码字的组的打字码。该专区是众多全国编码高手云集在万马奔腾争论的地方，都认为S码创意好，但都说指标不可能达到。我公布了国标GB2312字表中近七千字没有超过18个同码字的组的LR型码代码表等后，也没能征求到更好的方案。再公布了最多只少数姓有几个同首尾码的姓的百家姓LR型手语字典，征求意见后，未见再有反对或被骂（该坛很多帖被恶骂的），也没出现更好的办法。可能S码LR型码与手语，是全国领先的创新。
聋人因听不见音而难掌握拼音码打字与拼音手语，所以很多聋人都学会了五笔字型王码打字。LR型码（龙人码）是聋人看得见的汉字字形首尾部件码，部件数量比王码少得多。聋人掌握LR型码当然比学王码容易得多。熟习LR型首尾码及其约定的指式后，左右手打一个汉字的LR型首尾码手势，就打明了一个汉字。聋人之间与聋听人之间的交流沟通障碍，就可能得到根本改观。
虽然S码LR型部件比著名的王码郑码等高难码少一半，但毕竟也约130个，是中难度码。因此S码设了起点难度较小，并便循序渐进学的分步教法。
第一步先教只约十类单笔画码的八部首D型码（BD码）与单笔画指式手语，D型码助记口诀为：
&&&&&&横F&竖i&k撇笔&，点d&捺A&提笔t。&ZSJL形相似，7形L&3形B。
聋人不管字音，按S码正逆序编码法，取字的前四笔BD码再跳到字尾去按笔顺的逆序取码，这样的6位码同码字只约10%超过十个。D型码也是LR型码中的单笔画码，LR型手语只用到首末笔D型码指式，这指式约定见下表。
&&&&先练熟D型码查字打字后，再练LR型码中的首尾笔码手语，这一步难度不算大。
百家姓的LR型手语中，很多姓的LR型手语就是D型首尾笔码手语。如：“习jt、衡kj、隆bf、申ii、丘kf、史ia、禹kd、冷dd、冯df、房dk”……看着上表学打这些姓氏手语难度不算大。
有了一些D型码查字打字与LR型中的单笔画的手语姓的基础后，再练LR型首尾腹码打字，虽然这一步有一定难度，毕竟比学五笔字型码打字简易得多。因五笔字型码部件多一倍，要取前三位末一位码还要加末笔字型识别码。而LR型打字只首末位加倒数第二位（腹码）这首尾腹三位码打字。因国标GB2312字表的近七千字中，LR型首尾腹码没有超过十个同码字的组，显然比学五笔字型码打字简易得多。手语则是只用LR型首尾码两位。
&&&&&&&&&&&&&&&&&&LR型码与手语
练熟LR型首尾腹码打字后，必已练熟了取字的首尾码。再练LR型首尾码指式打百家姓首尾码手语，练熟后再把《百家姓》中各字的手语打法、原理，推广到几千常用字手语打法中。这样循序渐进，每一步新增的难度就不至于太大。
3、LR型码按下表约定了部件代码指式与手势，右手打字首部件代码指式，左手打字尾部件代码指式。胸侧打字母码指式，鼻脐连线的体中轴线附近打数码指式。姓氏则特别约定冠侧（额侧）打字母码指式，眉间附近打数码指式。
&&&&只要看懂这一页图表，聋人就可自学练习打出字的首尾码指式。再加约定的转腕等附加的同码字区分动作，就可打明字义。如上图中可看出“燕、火”字首尾部件“火廿灬”代码都是H，都是横伸出拇指外的四个指头，若两臂侧平伸出这四指并两臂上下动作扑翼状，就表示不是“火”而必是“燕”字。这一页教材可能比那两大本《中国手语》更便聋人自学手语用，聋校各科课本前都该附上这一页LR型手语指式图。
S码还发明约定的指式可以用下列指头编号表示：1、食指，2、中指，3、示指（无名指），4、幺指，5、拇指，0、拳头。如指式512横，表示横伸出姆指、食指、中指这三个手指，表示的是“v几冖宀贝”这4种部件代码v的指式。聋校汉字手语教材与《百家姓》手语字典及各科课本前面，都宜有如上的一张表几行说明。这指头号的发明，就可使手语课本、字典每字的手语，只要一行指头号表述，就可说明手语打法，不需要多辐手势图描述一个字，也不一定要视频才能看懂。如《中国手语》中一个词可能用了多幅图也说不清楚，甚至看了视频也不易打明。而LR型字典“燕”字，只要一行文字表，说明左右臂平伸，横伸1234指头，两臂并作上下扑翼状即可，不需要多辐手势图或视频。
&&&&&&&&&&&&&&&&&&LR手语字典HH部
┈┬┈┈┈┈┈┈┈┈┈┈┈┬┈┈┈┈┈┬┈┈┈┈┈┬┈┈┈┈┈┈┈┐
首┊字码手势与指式&&&&&&&&┊&&上下动&&┊左右动&&&&┊&备&&&&注&&&&&┊
尾├┈┈┈┈┈┬┈┈┈┈┈┼┈┬┈┬┈┼┈┬┈┬┈┼┈┈┈┈┈┈┈┤
码┊右手首码&&┊左手尾码&&┊左┊右┊双┊左┊右┊双┊其它附加动作&&┊
┈┼┈┈┈┈┈┼┈┈┈┈┈┼┈┼┈┼┈┼┈┼┈┼┈┼┈┈┈┈┈┈┈┤
h&&&H1234横&&&&H2上&&&&&&&火
hh&&H1234横&&\&&H1234横&&&&&&&&点
Hh&&H1234横&&&&H1234横&&&&&&&&&&&&&&&&炎&&&&&&&&&&&&&&&&&&&&
hh&&H1234横&&&&&H1234横&&&&&&&&&&&&&&&&&&&&焱
hh&&H1234横&&&&&H1234横&&&&&&&&&&&&燕&&&&&&&&&&&&两臂平伸上下动
hh&&H1234横&&\&&&H1234横&&&&&&&&&&&&&&&&&&&&&&&烃
hh&&H1234横&&\&&&H1234横&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&鹾
&&&&、&&&&&&&&&&百家姓》手语字典Lr型与打字例
国家手语研究中心只研究设计新造自然手语与拼音手语，没重视到汉字手语。汉字手语可能使中国手语发展超过西方手语水平，这是中国梦可能早日实现的一个方面项目。
&&&普校小学生学每个汉字时，要求同时记住字音、字形、字义三方面。聋校小学生学记每个汉字时，就要求同时记住字形、字义和这样约定的汉字手语三个方面。因此听人的口耳眼三通道交流，聋人可练唇读用口手眼三通道交流弥补。
百家姓S码Lr型（龙人码&）手语字典，有多种排序本。一种是按传统的《百家姓》“赵钱孙李”顺序，另一种是按LR型首尾码序。
还有用LR型码中的单笔画D型码排序查LR型手语的DLR型版本。DLR型《百家姓》手语字典的正文按Lr型首尾码排序，前面附一个单笔画首尾腹D型码排序的检字表，单笔画首尾腹D型码后是LR型首尾码与手语。虽然LR型首尾码是中难度不太一时记熟，但其中含的单笔画D型码只一行代码表很容易记熟，而不难取D型码查到该字的LR型首尾码。
如“阮”姓，字首的LR型部件与D型码部件都是3字形折笔代码B，末笔是L形折笔代码L，倒数第二笔D型码是代码为K的撇笔。末尾的LR型部件是代码为R的‘儿’。所以这字的首尾腹D型码是BLK，首尾LR型码是BR，它的DLR型检字表中内容如下表。
&&&&&&&&BLR型《百家姓》手语字典检字表的B部
┈┈┈┬┈┈┬┈┈┈┬┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┬┈┈┈┈┈┐
前四末┊首尾┊姓与&&┊字首尾码手势&与指式&&&&&&&&&&&┊&备&&&&注&┊
一D型┊&LR┊P4码&┊┈┈┈┈┈┈┈┬┈┈┈┈┈┈┈┤&&&&&&&&&&┊
&&&码&┊&型&┊注音&&┊右手首码&&&&&&┊左手尾码&&&&&&┊……&&&&&&┊
┈┈┈┼┈┈┼┈┈┈┼┈┈┈┈┈┈┈┼┈┈┈┈┈┈┈┼┈┈┈┈┈┤
Bd&&&&b8&&&&qn=陈&&&B拇食指上&&&&&&8拇食指上
Bd&&&&b5&&&&uei=隗&&&B拇食指上&&&&&&5&上伸五指&&&&&&转右腕
Bf&&&&by&&&&&in=阴&&&B拇食指上&&&&&&&Y拇指横&&&&&&
Bf&&&&b0&&&&iaw=阳&&&B拇食指上&&&&&&&0上伸拳&&&&&&&&转右腕
Bf&&&&bf&&&&low=隆&&&B拇食指上&&&&&&&&F五指上&&&&
Bi&&&&bi&&&&lu=陆&&&&B拇食指上&&&&&&&I食指上&&&
Bi&&&&bi&&&&tao=陶&&&B拇食指上&&&&&&&I食指上&&
BL&&&&br&&&ruan=阮&&&B拇食指上&&&&&&&R幺示指上&
由上述内容可以看出，当前中国手语还停滞在很低水平的旧模式束缚下，只各地有一些词汇较少的老式自然手语，既不能满足当地的聋人的现代表活需要，也不便全国通用。国家手语中心只在忙于想再仿造些所谓自然手语和汉语拼音方案手语，想聋人都学这些新造的手语来实现全国有丰富的统一手语用，恐怕相当困难短期实用性不大。若改为试三五千LR型汉字手语，也许更现实可行。LR型手语的初学记忆难度比聋人听不见的新拼音手语可能小些，也可能比新造的所谓自然手语初学记忆量小。若从LR型百家姓手语字典练习开始，可能短期内就可看出成效。
希望都来呼吁，该给聋校学生一人一本BLR型手语字典或BLR型《百家姓》手语字典，至少聋校各科课本前都该附上一页LR型手语指式图，若没有更好的手语系统发明的话。
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。}