电脑动画及影像剪辑手语歌成效之研究

---

学习障碍,听觉障碍及自闭症学生学习3D
电脑动画及影像剪辑手语歌成效之研究
朱经明

壹,前言
一般来说,左脑负责语言文字,右脑负责视知觉,音乐,艺术等能力.部
分学障者负责语言文字的左脑较弱,而却有右脑的优势.学习障碍者虽然有文
字能力缺陷 , 但是可能有过人的视知觉能力.有些研究者认为认为些学障
者所拥有的视知觉能力 , 将成为未来科技社会技能的主流(Babbit & Miller,
1993).所以学习障碍的教学方法常用到图形组织,如在阅读前,将重要概念
与名词以结构图呈现;阅读之後,本文中重要细节及主要概念亦可以结构图呈
现.例如一位学障者凯莉所说:「我是个视觉型的学习者.读书的时候,我不
只是看书上的文字 , 我还用图片,表格帮忙了解书本内容.我一面念,一面
把内容和熟悉的事物联想在一起,在心里转化为图像.阅读的时候,脑子里就
回忆这些储存在我心里的视觉图像,把它们和正在读的东西联起来.」(Olivier
& Bowler, 1996).近年来研究显示视知觉不是造成学习困难的主要原因,
Bakker (I979) 则根据阅读的速度和正确性将阅读障碍分为下列三种:
l.语言型阅读障碍 (linguistic dyslexia): 阅读速度相当快,但错误很多,如增
字,减字,替代字等.
2.知觉型阅读障碍 (perceptual dyslexia): 阅读相当正确,但是速度太慢,常常
迟疑和重复.
3.混合型阅读障碍 (mixeddyslexia): 兼具前二类阅读障碍的特质.
Van Strien等 (I995) 则认为由於文字的复杂性与新奇性,初步阅读主要
为右脑功能.当文字的知觉处理自动化之後,儿童转向语意及文句的阅读过
程,此时主要为左脑的功能.知觉型阅读障碍者主要依赖右脑的视知觉过程
而无法转向左脑的语言策略过程.语言型阅读障碍者则从初步阅读开始,就
特殊教育论文集 16
使用左脑语言策略,因此有知觉错误的情形.语言型阅读障碍者人数可能较
知觉型阅读障碍者为少.
听觉障碍者及自闭症的优势也在於视觉能力,多媒体电脑盛行,
可处理动态影像 (video),图形,动画及等.许多学者指出利用电脑来教导听
障学生是很好的方法,例如Hight利用电脑教导读唇,Prinz和他的同事也开
发软体来教导阅读,写作及手语(林宝贵,民83).Andrews & Jordan(1998)
认为多媒体电脑特别适合於听觉障碍儿童,因为多媒体电脑可处理手语影像,
学生可以点取文章中的生字以获得手语翻译.除了手语翻译,多媒体电脑也可
以图画,动画和影像片段加强对文字的理解.由於听障者主要由视觉获取讯
息,因此阅读能力的培养甚为重要,多媒体电脑有助於提升听障者认字与阅读
能力.
王大延(民83) 指出大部分的自闭症患者有认知缺陷的问题,但有些自闭
症愚者却拥有异常的秉赋,被称为「零碎天赋」.这些零碎天赋表现於超强的
记忆能力,空间概念,时间概念,拚图,图形设计,音乐等.美国著名的自闭
症动物学博士葛拉汀(Grandin)即能画出非常精密的立体图,她认为她是以
图形方式思考,甚至能在想像中进行三度空间视觉模拟,葛拉汀是属於高功能
自闭症者.因此朱经明( 民86 )认为 可以利用高功能自闭症患者优秀的空间知
觉能力,训练他们在 3D 立体动画上发展.目前 3D 电脑虚拟实境已运用在
各个领域,尤其是在娱乐事业.以一部电影「魔龙传奇」为例,就需要九六
位动画师费时一年完成其中三分锺的部分.另外,著名的电影「侏罗纪公
园」,「野蛮游戏」,「铁达尼号」里面均有许多3D电脑动画.因此,电脑
动画师的需求应是很大的.
贰,3D电脑动画及多媒体电脑
Pessig & Eden (2000a)研究发现虚拟实境中的3D物件旋转可改善14位听障
儿童(8岁至11岁)的弹性思考能力,前後测有显著差别.在另一个类似的研究,
Pessig & Eden (2000b)亦发现3D物件旋转实验组与2D游戏控制组比较,前者
(21位听障学生)有较好的形状推理能力.虽然美术能力有助於电脑绘图,但3D
电脑绘图较2D不需要美术能力.3D电脑软体可利用内部的数学运算模拟自然
情景,如光线和阴影.光线和阴影可以使图形看起来自然与真实.如果不喜欢
结果,也可以随时修改,电脑会重新产生图形(re-render).3D的缺点是产生的
学习障碍,听觉障碍及自闭症学生学习3D电脑动画及影像剪辑手语歌成效之研究朱经明 17
图形过於完美,真实世界并不那麼完美,所以3D图形难免有人工化的感觉.
因此在电脑中的3D动画,有时必须加入一些不完美的元素.
多媒体电脑是指一组硬体和软体设备 , 能产生令人印象深刻的视听效
果.在视觉方面,包括文字 (text) ,圆形 (graph) ,影像 (image ) ,动画
(animation ) 和动态视讯 (video); 而在听觉方面则包括语音,音效和音乐等.
和传统媒体不同的是:电脑多媒体增加了即时性的互动功能,使用者可以指挥
电脑执行不同的工作,选择他想去的某一点,取得他想要的资讯等.传统电脑
萤幕只会显现平面的效果,与现实生活璟境不尽相同.虚拟实境 (virtual reality)
以 3D 立体图形制作程式为主轴创造一个虚拟的世界,在此虚拟世界中,使
用者有如身处於一个真实的璟境.与多媒体电脑一样,虚拟实境亦具有即时的
互动性,另外虚拟实境更有融入感.在虚拟世界中,使用者不仅有三度空间的
立体感觉,更可以与这个虚拟世界产生互动如移动里面的物件, 也可以自由
走动浏览周围璟境.目前虚拟实境的应用以「教育训练」及「电子游乐」为两
大主流.有人认为这一波的电脑是 MPC( 多媒体电脑 ),而下一波就可能是
VRPC(虚拟实境电脑 ) .
Hillinger(1994)认为一般印刷文字不能提供阅读困难者需要的协助,超媒
体电脑可弥补阅读者基本技能的缺陷.他称这种电脑超媒体为互动反应书
(responsive text),互动反应书提供语音或图形协助认字,提供背景资料或解
释,提出互动的问题以监控阅读的过程.对有些学习者,以图形,动画或动态
影像来解释整段文字相当有效.另外阅读能力不好的人常无法监控阅读的过
程,互动反应书要求阅读者移动「括号指标」至包含相关讯息的句子.学生使
用互动反应书较使用传统教科书或互动性较弱的阅读软体,其阅读理解能力可
获得提升.电脑超媒体类似超文字(hypertext)之连结(link)功能,可以连
结至另一个文件资料,除了是文字型态外,也可以是图形,声音,影像等多媒
体资料.超媒体具有多媒体之优点,故能迅速取代超文字之地位.听觉障碍者
经常因为阅读理解感到挫折以至於放弃或停止.这会形成恶性循环;他们
愈不喜欢阅读,阅读能力就变得愈差.超媒体或超文字阅读软体能帮助听觉障
碍学生认识他们感到困难的字.学生只要点取这些字就能得到字义或解释,也
可以听到字音,或看到有助於理解的图画,动画或影像.有些更先进的超媒体
阅读系统还提供摘要,大纲,概念构图(concept maps),问题引导等以帮助
学生阅读理解.Higgins, Boone和Lovitt(1996)研究发现使用超媒体学习指导的
学习障碍学生能保留较为的讯息,他们的超媒体学习指导包括下列三种超媒体
特殊教育论文集 18
功能:(1)注记:学生点选画线的字词可获得相关讯息的解释.(2)同义字:学
生点选粗体的字词可获得同义字.(3)询问:以选择题方式控制学生进度,学
生必须答对题目才会进入下一单元,答错会使学生回到相关的文字部分.Xin,
Glaser & Rieth(1996)研究以动态影像为基础的定锚教学协助学习障碍的学生
认识单字的意义,在六个星期之後发现较非以动态影像为基础的教学,得分多
27分.
为鼓励身心障碍者从事电脑工作资策会设有「资讯向日葵」竞赛活动.获
选为「资讯向日葵」的听障青年蔡继武主要工作是操作电脑美工排版,偶尔也
帮忙做做网页设计,最近还在学习3D动画软体,由於过去念的是广告设计与
服装设计,具备一定美学艺术基础,在宽广辽阔的资讯世界里,这部分的工作
让他如鱼得水.也得到「资讯向日葵」楷模奖的涂清介,本身是一位重度听力
障碍人士,但他在短短四年内,不但靠著自修,学会上网,影像处理,动画及
网页设计等诸多电脑资讯技能,而且也为自己争取到许多资讯工作的机会,甚
至还能够教导其他听障者使用电脑,为听障人士开拓另一片天空.当年奇摩站
的首页,「股市」,「影音馆」专区,以及Yahoo!奇摩的网路广告,有许多部份
就是出自涂清介的手笔.
本研究教导下列3D动画软体技术
1. 尺寸与显示品质
2. 新增与编辑文字
3. 选取与群组物件
4. 使用物件管理员
5. 移动,改变大小与旋转物件
6. 编辑物件样式色彩光线材质
7. 修改物件的个别表面
8. 基本的斜角样式
9. 加入背景
10. 加入与编辑3D图形和形状
11. 制作基本的3D物件
12. 动画基本观念
处理主画格与时间轴
建立简单的动画
学习障碍,听觉障碍及自闭症学生学习3D电脑动画及影像剪辑手语歌成效之研究朱经明 19
以光线与色彩来建立动画
以多个时间轴来建立动画
以多个物件来建立动画
13. 外挂特效
主画格与外挂特效
14. 了解整体与主要属性
15. 斜角特效
底板
自订斜角
外框
中空
烙印
16. 物件特效
弯曲
跳舞
扭曲
爆破
移动路径
自然路径
环绕路径
组件移动
组件旋转
组件倾斜
组件缩放
扭转
17. 转场特效
炸开
碰撞
跳跃
18. 整体特效
火焰
光晕
特殊教育论文集 20
参,手语与手语歌影像剪辑
有人认为台湾自然手语是绝无仅有,优雅柔美又具国际化的语言.台湾手
语发展至今已有一百年的历史,听障人士所使用的手语,虽大同小异,唯因时
空阻隔,南北手语不尽相同.教育部有鉴於此,为谋求启聪学校教学用手语具
有一致性,减少各地听障 人士在沟通上之困扰,乃於民国六四,六九年
指示社教司策划主导全国启聪学校教师,专家学者,民间听障团体组成手语统
一编撰小组,於六七年九月,七六年六月相继出版手语画册第一辑,第二
辑.不过其中部分与传统手语不尽相同引起聋人精英不少反弹,诚如今年当选
大杰出青年的中华民国听障者体育运动协会秘书长赵玉平所言:「不管怎
样,经由一代代传递下来的传统手语我们必须肩负保存的责任.这些手语是百
年来全台聋人共同的心血结晶,每一个手势都经过千锤百鍊,具有高度的语言
价值.不论任何人或任何单位,在研究手语时都应该有这点认知.」
手语有表意,表形, 表字,表音之别 ; 表意与表形属於自然手语.自然
手语以手势,表情,动作和姿势组合来表情达意.在聋人文化与知识水准日益
提升的今天 , 纯粹的表意手语已不足应付资讯的爆炸 , 因而教育程度较高的
聋人纷纷在原有的表意手语当中加入表字手语 , 来扩充手语的运用范园.台
湾表音手语甚少,有语言的「语」和阿姨的「姨」.中国大陆手语则有大量表
音手语.例如「借」 ,动作跟「要」的手势相似 ,但「借」的手势另一手打出"
J" 的指式 , 这就和「要」的动作有了区别.又如鱼类的「鲳」,「鲤」等 , 也
就采用指式与手势相结合的方法 : 第一个动作分别给它们打上 " CH", ,
" L", 等指式 ; 第二个动作一致用「鱼 」的手势 (中国聋人协会, 2000).
一般听障教育者认为聋人日常沟通常用自然手语 , 但为矫正听障学生在
笔谈,作文的语顺颠倒,遗漏,误用等缺陷,教学上有必要适当的使用中文文
法手语以弥补自然手语之不足.赵玉平( 民88 )也认为聋校的语文教学越落
实,聋生的语文程度越提升,便越压缩表意手语发展的空间;社会上手语歌的
爱好者越投入,越助长了中文式手语的成长.但是中文文法手语来自听觉性语
言之句型结构,聋生较不易了解,反而可能造成其学习的障碍.故不少聋人认
为教导聋生阅读宜以自然手语为主,中文文法手语为辅.手语是聋人的母语,
在手语中,他们获得朋友,建立自信心,成就感以及对聋文化的认同感.许多
学习障碍,听觉障碍及自闭症学生学习3D电脑动画及影像剪辑手语歌成效之研究朱经明 21
聋人认为,传统口语教育只是使他们成为听人社会的瑕疵品以及边缘人.所以
不少聋人或听障者接受口语教育後,再接受手语教育时对手语产生认同感,甚
至连原来反对手语的父母亦受到影响.例如李丽花原反对手语,後来成为手语
之家志工团团长,李丽花的出发点都是为了对女儿的爱.女儿一句「我在聋人
协会,和他们聊天很愉快」并坚持要用手语改变了她的想法.
Oxman(1976)教导11位自闭症儿童手语,发现手语可增进他们说话的频率
及清晰度.Oxman & Blake(1980)以同时沟通训练10位 不会说话的自闭症及类
似自闭症儿童 (6至14岁).发现大部分孩子的话是仪式性或模仿性,但是每个
自闭症孩子都能使用手语达到社会互动的目的.Kiernan(1983)於研究自闭
症患者学习手语及符号沟通之有关文献後,指出手语及符号沟通可做为自闭症
患者的沟通方式,并有助於其语言发展.Carr & Kologinsky(1983)训练六位
自闭症儿童使用手语,在模仿性提示(imitative prompting),逐渐消除(fading),
区分性增强(differential reinforcement)和随机教学之後,这些儿童即能以手
语提出请求,并能将学得的手语应用在不同的成人与场合.Carr & Kologinsky
(1987)再以同样方法教导四位无语言的自闭症儿童(11至16岁)学会动词+
名词的手语,他们也都能将手语应用到新的情境.Kangas & Lloyd(1988) 指出
手语的学习较口语容易,有些研究发现学习手语的幼儿较学习口语的幼儿较早
发展出语言技能.Heller, Manning, Pavur & Wagner (1998) 发现学习手语的正
常幼儿较未学习手语的正常幼儿在毕保得图画词汇测验(PPVT)上得分较高,
达到非常显著水准.Charlop & Milstein (1989)让三位自闭症男童 (6-7 岁)观察
二个人讨论玩具的录影带,结果发现他们可模仿录影中的会话加以类化并维持
15个月时间.Smith & Bell (2001)鉴於自闭症儿童缺乏心理推理能力,因此利
用录影带教导自闭症儿童对人的兴趣,以及使其了解思考就像脑中的图像以提
升对情境的了解.
Russell (1991)指出纽约州水牛城的圣玛莉聋校教导聋生影片制作技术,包
括字幕制作,表演,写剧本,舞台设计,摄影机操作等,学生极感兴趣.大部
分聋人的思惟模式是手语空间加图形的结构 ,电脑特别适合这种呈现方式.手
语歌是听人学习手语的主要方法之一,相信透过电脑的储存与推广,能使优美
嫚妙的手语歌源远流长成为永久的艺术.
本研究教导下列影像剪辑技术:
1. 撷取MPEG视讯
2. 依场景分割
特殊教育论文集 22
3. 撷取动态影像
4. Windows中的视讯档大小
5. 脚本
脚本模式
时间轴模式
资料轨
选项面板
「播放专案」按钮
处理素材
使用影像素材
在「脚本」步骤中撷取静态影像
使用色彩素材
使用视讯滤镜
6. 特效
7. 神奇的转场效果
8. 标题
转动与卷动
淡入与淡出
汇整所有项目
使用视讯或影像素材作为标题
9. 语音与音乐
语音旁白
背景音乐
处理背景音乐
混音
淡化处理
肆,研究结果
三位填答问卷的学生,有二二位表示喜欢及非常喜欢学习3D电脑动
画,有六位表示普通,二位表示不喜欢.二三位表示喜欢及非常喜欢影像剪
辑,六位表示普通,一位表示非常不喜欢.另访问下列学生获得下述之了解可
学习障碍,听觉障碍及自闭症学生学习3D电脑动画及影像剪辑手语歌成效之研究朱经明 23
做日後类似活动之参考:
甲生,高中听障生.平常对电玩很感兴趣,过於热衷网路游戏功课因而退
步.参加电脑影像剪辑及3D电脑动画研习,表现优异并觉得电脑可以做比较
有意义的事情.开学後,即较少玩电玩,积极帮班上设计班级网页及替同学张
贴电脑海报.现对参加身心障碍学生资讯技能竞赛,甚感兴趣.
乙生,国中学障生.书写有困难的阅读障碍者,口语能力及人际关系没有
问题.数学逻辑推理也不错,但因读写问题,计算题比应用题好,应用题如果
念给他听即会做.电脑中文输入采注音输入法,速度与正确性都不错.3D电
脑动画及影像剪辑做得非常好,电动游戏玩得也不错,目前正研究Flash动画.
丙生,小学高年级自闭症学生,唯个性相当活泼,玩起电脑生龙活虎.在
学校对电脑最有兴趣,数学计算题不错,但理解应用题较有问题.认字阅读,
写字,造句没有问题,但作文较差.除电脑外,对地图及方位很有兴趣,例如
到台北坐捷运要怎麼转车,都可以说得很清楚.班上同学对他不错,但较不懂
得别人的想法,怕将来差距会变大.母亲发现他小时不理人,不看人家,因此
2岁上台大检查,发现有脑波异常,但没有癫痫.2岁9个月会讲话,但不是
生活会话,而是母亲所教的字卡.目前讲话已会注视别人,且就读普通班,成
绩稍落後,平常喜欢看电脑书籍,小牛顿,巧连智等.
丁生,国小中年级自闭症学生,喜欢电脑游戏,教育软体及学习木笛,书
法等.目前在普通班,功课不错,只有作文较不顺畅,可能创造力与抽象能力
是自闭症的弱点之故.语文表达也较弱,不过数学常常考满分.3岁才开始讲
话,可是二岁多就认识字.兴趣广泛,书法是全年级第一名,音乐很好,听到
音乐,就能把谱写出来,立志大学读音乐系.喜欢收集地图和研究地图,目前
在学桌球.喜欢交朋友,但喜欢讲自己有兴趣的事情,较不擅长聊天式的谈话.
陈生功能高,3D动画与影片剪辑均能顺利完成,可结合电脑及其音乐艺术等
天赋,配合其超人之专注能力,应有杰出的发展.
戊生,国小中年级自闭症学生,喜欢打电脑,母亲常要求先打文件才玩电
动,外出时也喜欢玩投币式电动游戏.语言发展迟缓,5岁8个月才会讲话,
目前仍接受语言治疗,训练文法及造句.精细动作不错,喜欢拼图,学校课程
中最喜欢的是电脑.但不喜欢看课外书,作文内容较贫乏.目前数学,国语还
好,就读普通班,不用接受资源班补救教学.母亲希望能将其对电脑的兴趣转
移到学习有用的电脑技能,故对3D电脑动画及影片剪辑颇有兴趣,希望明年
能继续参加.
特殊教育论文集 24
参考文献
中文部分
中国聋人协会( 2000).中国手语.台北:大立出版社.
王大延(民83).自闭症的特徵.特殊教育季刊,52, 7-13
朱经明(民86).特殊教育与电脑科技.台北:五南出版社.
林宝贵(民83).语言治疗与矫治.台北:五南出版社.
赵玉平( 民88 ).手语大师IV.台北:现代经典出版社.
英文部分
Andrews, J. F. & Jordan, D. L. (1998). Multimedia stories for deaf children.
Teaching Exceptional Children, 30(5), 28-33.
Babbit, B. C. & Miller, S. P. (1993). Using hypermedia to improve the
mathematics problem-solving skills for students with learning disabilities.
Journal of Learning Disabilities, 29(4), 391-402.
Bakker, D. J. (1979). Hemispheric differences and reading strategies: Two
dyslexias Bulletin of the Orton Society, 29, 84-100.
Carr, E. G. & Kologinsky, E. (1983). Acquisition of sign language by autistic
children II: Spontaneity and generalized effects. Journal of Applied
Behavior Analysis, 16(3), 297-314.
Carr, E. G. & Kologinsky, E. (1987). Acquisition of sign language by autistic
children, III: Generalized descriptive phrases. Journal of Autism and
Developmental Disorders, 17(2), 217-229.
Charlop, M. H. & Milstein, J. P. (1989). Teaching autistic children conversational
speech using video modeling. Journal of Applied Behavior Analysis, 22(3),
275-285.
Heller, I., Manning, D., Pavur, D., & Wagner, K. (1998). Let's all sign: enhancing
language development in an inclusive preschool. Teaching Exceptional
Children, 30(3), 50-53.
Higgins, .K., Boone, R. & Lovitt, T. C. (1996). Hypertext support for remedial
students an students with disabilities. Journal of Leaning Disabilities, 29(4),
402-412.
Hillinger, M. L. (1994, June). Using hypermedia to support understanding of
学习障碍,听觉障碍及自闭症学生学习3D电脑动画及影像剪辑手语歌成效之研究朱经明 25
expository text: Examples from the workplace and classroom. Paper
presented at the Annual National Educational Computing Conference, Boston,
MA. (ERIC Document Reproduction Service No ED 396 668).
Kangas, K. A. & Lloyd, L. L. (1988). Early cognitive skills as prerequisites to
augmentative and alternative communication use: what are we waiting for
AAC Augmentative and Alternative Communication, 4(4), 211-221.
Kiernan, C. (1983). The use of nonvocal communication techniques with autistic
individuals. Child Psychology and Psychiatry and Allied Disciplines, 24(3),
339-375.
Olivier, C. & Bowler, R. F. (1996). Learning to learn. New York: Simon and
Schuster.
Oxman, J(1976). The possible function of sign language in facilitating verbal
communication in severely dysfunctional non-verbal children. Paper
presented at the University of Louisville Interdisciplinary Conference on
Linguistics (Louisville, Kentucky, May,1976).
Oxman, J. & Blake, J. (1980). Sign language use by autistic children: A pragmatic
analysis. Paper presented at the Annual Convention of the American
Psychological Association (Montreal, Canada, September, 1980).
Passig, D. & Eden, S. (2000a). Improving flexible thinking in deaf and hard of
hearing children with virtual reality technology. American Annals of the
Deaf and Dumb, 145(3), 286-291.
Passig, D. & Eden, S. (2000b). Enhancing the induction skill of deaf and hard of
hearing children with virtual reality. Journal of Deaf Studies and Deaf
Education, 5(3), 277-285.
Russell, J. W .(1991). Scouting students' talents through video. Perspectives in
Education and Deafness,9 (5), 16-17 .
Smith, H. A.; Bell, K. S.(2001). Video as semiotic vehicle in the development of a
theory of mind for children with autism: The case of Peter. International
Journal of Applied Semiotics, 2 (1-2), 73-87.
Van Strien, J. W. Stolk, B. D. & Zuiker, S. (1995). Hemisphere-specific
treatment of dyslexia subtypes: Better reading with anxiety-laden words
Journal of Learning Disabilities, 28(1), 30-34.
特殊教育论文集 26
Xin, F., Glaser, W. G. & Rieth, H (1996). Multimedia reading using anchored
instruction an video technology in vocabulary lessons. Teaching
Exceptional Children, Nov/Dec, 45-49.