Effects of Picture Labeling on Science Text Processing and Learning: Evidence From Eye Movements

Authors


Abstract

This study investigated the effects of reading a science text illustrated by either a labeled or unlabeled picture. Both the online process of reading the text and the offline conceptual learning from the text were examined. Eye-tracking methodology was used to trace text and picture processing through indexes of first- and second-pass reading or inspection. Fifty-six sixth graders were randomly assigned to one of three reading conditions (text with a labeled illustration, text with an unlabeled illustration, or text only) in a pretest, immediate posttest, and delayed posttest design. Results showed no differences for factual knowledge as a function of reading condition. However, for the transfer of knowledge at both posttests, readers of the text with the labeled illustration outperformed readers in the other two conditions, who did not differentiate from each other. Eye-fixation data showed that the labeled illustration promoted more integrative processing of the learning material, as revealed by the time spent refixating text segments while reinspecting the illustration. In addition, relations emerged between the indexes of integration of text and picture during online processing and the offline measures of factual knowledge and transfer of knowledge. Overall, in accordance with the theoretical assumptions of the multimedia principle, the study underlines the crucial role of integrative processing of words and graphics to sustain learning from illustrated text. Moreover, the study indicates that this integrative processing can be effectively supported by appropriate visual signaling.

Abstract

本研究调查有标记或无标记的插图对阅读科学文本的影响。研究者考查在线的文本阅读和离线的文本概念学习过程;通过追视测验方法记录首次和第二次注视时间指数,追踪阅读者对文本和图片阅读或捡视的处理过程。56名小学六年级学生被随机分配到三组阅读环境(有标记插图的文本、无标记插图的文本,或无插图的文本),以实验前测、即时后测和延迟后测的设计进行研究。研究结果显示,以事实知识作为阅读环境的函数时,并无发现任何差异。然而,在两个后测中,有标记插图文本的阅读者,在知识转移表现上,均优胜于其他两组的阅读者,而其他两组的表现并无差异。眼球注视资料揭示阅读者在重新检视插图时重新注视文本分节所用的时间,这些资料说明,有标记插图能促进阅读者对学习材料作更多的综合性处理。此外,在线的文本阅读时综合处理文本与图像的指数,与离线的事实知识习得和知识转移的表现成绩,两者之间出现关联。总的来说,本研究依据多媒体理原则的理论假设,强调文字与图像的综合处理,在支援插图文本的阅读学习上所起的关键作用。本研究亦指出,适当的视觉信号可以有效地支援这种综合处理过程。

Abstract

Este estudio investigó el efecto de leer un texto científico con ilustraciones con o sin leyendas. Se examinaron tanto el proceso de leer el texto en la red como el aprendizaje conceptual de aprendizaje del texto. Se usó la metodología de seguir el movimiento de los ojos para seguir la pista del procesamiento del texto y las ilustraciones por medio de índices de la lectura de primera y segunda instancia o inspección. Cincuenta y seis estudiantes de sexto grado fueron escogidos al azar para participar en una de tres condiciones de lectura (un texto con una ilustración con leyenda, un texto con una ilustración sin leyenda, o sólo el texto) en un pre examen, un pos examen de inmediato, y un pos examen atrasado. Los resultados no mostraron ninguna diferencia en cuanto al conocimiento de los datos como función de la condición de lectura. Sin embargo, para la transferencia del conocimiento en ambos pos exámenes, los lectores del texto con ilustraciones con leyendas salieron mejor que los de las otras dos condiciones, los cuales no mostraron diferencias entre sí. Los datos sobre el movimiento ocular mostraron que las ilustraciones con leyendas promovieron un procesamiento más integrado del material a ser aprendido, como visto por el tiempo pasado en reconcentrarse en los segmentos de texto mientras se volvía a ver la ilustración. Además, surgieron relaciones entre los índices de integración del texto y la ilustración durante el procesamiento en la red y las medidas fuera de la red del conocimiento de hechos y transferencia del conocimiento. En conjunto, de acuerdo con las teorías asumidas de los principios de multimedia, este estudio subraya el rol importante del procesamiento integrado de palabras e ilustraciones para apoyar el aprendizaje por medio de textos ilustrados. Además, el estudio indica que este procesamiento integrado puede ser efectivamente apoyado por el señalamiento visual apropiado.

Abstract

استقصت هذه الدراسة تأثيرات قراءة نص علمي مصور بصورة معلمة أو غير معلمة. وقد تم فحص كل من عملية قراءة النص على الشابكة والتعلم المفاهيمي لدى النص خارج الشابكة. وتم استخدام طريقة متابعة العيون لتقصص أثر معالجة النص والصورة من خلال مؤشرات المرور الأول والثاني أو المعاينة. وقد تم تعيين ستة وخمسين طالباً في الصف السادس الابتدائي عشوائياً في حالة من ثلاث حالات قرائية (نص صوره معلمة، ونص وصوره غير معلمة، ونص مجرد) في نموذج اختبار قبلي واختبار بعدي مباشر واختبار بعدي متأخر. وأشارت النتائج إلى عدم وجود اختلافات فيما يتعلق بمعرفة حقيقية كوظيفة حالة القراءة. ومع ذلك، وبخصوص نقل المعرفة في كل من الاختبارين البعدين، أداء قراء النص ذات الصور المعلمة تجاوز أداء القراء في الحالتين الأخرين الذين لم يتميزوا عن بعضهم بعضاً. وقد بينت معطيات تثبيت العيون أن الصور المعلمة دعمت معالجة المواد التعلمية أكثر تكاملاً كما تبينت بقضاء الوقت في إعادة تثبيت قطع النص بينما تمت إعادة النظر في الصورة. وبالإضافة إلى ذلك، ظهرت علاقات بين مؤشرات تكامل النص والصورة أثناء المعالجة على الشابكة ومقاييس المعرفة الحقيقية خارج الشابكة ونقل المعرفة. عموماً ووفقاً للافتراضات النظرية لدى مبدأ المواد المتعدد الأوساط فإن الدراسة تؤكد دور المعالجة المتكاملة الحاسم للكلمات والصور لمؤازرة التعلم من نص مصور. وفوق هذا، تشير الدراسة إلى أن هذه المعالجة المتكاملة تستطيع دعمها إشارات بصرية ملاءمة.

Abstract

Aвтopы пpoaнaлизиpoвaли peзyльтaты чтeния нayчнoгo тeкcтa, cнaбжeннoгo иллюcтpaциeй c пoдпиcью или бeз пoдпиcи. Иccлeдoвaлиcь пpoцeccы чтeния oнлaйн и oфлaйн (нa элeктpoнныx и бyмaжныx нocитeляx). Meтoд, пoзвoляющий oтcлeживaть движeниe глaзa, иcпoльзoвaлcя, чтoбы ycтaнoвить, кaк пpoиcxoдит oбpaбoткa тeкcтoвoй инфopмaции и видeopядa: yчитывaлиcь индeкcы пepвичнoгo и пoвтopнoгo пpoчтeния и пpocмoтpa. Иcпытyeмым (yчaщимcя шecтoгo клacca, N=56)пpeдлaгaлocь пpoчитaть тeкcт в oднoм из тpex вapиaнтoв: тeкcт c пoдпиcaннoй иллюcтpaциeй, тeкcт c нeпoдпиcaннoй иллюcтpaциeй, тeкcт бeз иллюcтpaции. Пpoвepкa знaний ocyщecтвлялacь дo чтeния, нeпocpeдcтвeннo пocлe нeгo и пo пpoшecтвии знaчитeльнoгo вpeмeни. Peзyльтaты нe пoкaзaли пpямoй зaвиcимocти пoлyчeнныx знaний oт ycлoвий чтeния. Teм нe мeнee, в oбoиx зaключитeльныx тecтax дeти, paбoтaвшиe c тeкcтoм c пoдпиcaннoй иллюcтpaциeй, пoкaзaли бoлee выcoкиe peзyльтaты, нeжeли двe дpyгиe гpyппы, чьи peзyльтaты дpyг oт дpyгa нe oтличaлиcь. Дaнныe aппapaтypы, фикcиpoвaвшeй движeния глaз, cвидeтeльcтвyют o тoм, чтo пoдпиcь пoд иллюcтpaциeй cпocoбcтвoвaлa бoлee цeльнoмy ycвoeнию yчeбнoгo мaтepиaлa – cyдя пo вpeмeни, пoтpaчeннoмy нa пepecмoтp ceгмeнтoв тeкcтa пpи пoвтopнoм пpocмoтpe иллюcтpaции. Кpoмe тoгo, oбнapyжилacь cвязь мeждy пoкaзaтeлями цeльнocти вocпpиятия тeкcтa и иллюcтpaтивнoгo мaтepиaлa пpи paбoтe oнлaйн, c oднoй cтopoны, и oфлaйн-зaмepaми фaктичecкиx знaний yчeникoв и cпocoбaми иx пepeдaчи, c дpyгoй. B цeлoм, в cooтвeтcтвии c тeopeтичecкими пoлoжeниями o пpинципax мyльтимeдийнocти, иccлeдoвaниe пoдчepкивaeт вaжнocть цeльнoгo вocпpиятия cлoв и гpaфики для пoлyчeния знaний из иллюcтpиpoвaннoгo тeкcтa. Кpoмe тoгo, иccлeдoвaниe yкaзывaeт, чтo coчeтaниe тeкcтa c иллюcтpaциями мoжeт эффeктивнo пoддepживaтьcя cooтвeтcтвyющими визyaльными cигнaлaми.

Abstract

Cette étude porte sur la lecture d'un texte scientifique illustré par une image avec ou sans étiquette. Nous avons examiné à la fois le processus de lecture en ligne et, hors ligne, l'apprentissage conceptuel issu du texte. Nous avons utilisé une stratégie d'observation du regard et de traitement de l'image au moyen d'indices de lecture et d'inspection lors d'un premier et d'un second passage. Nous avons réparti au hasard cinquante-six élèves de 6e dans chacune des trois conditions de lecture (textes avec illustration étiquetée, texte avec illustration non étiquetée, ou texte uniquement) dans un plan comportant un prétest, un post-test immédiat et un post-test différé. Les résultats n'ont pas présenté de différences de connaissances factuelles en fonction de la condition de lecture. Cependant, en ce qui concerne le transfert de connaissances aux deux post-tests, les lecteurs du texte avec étiquette ont dépassé les lecteurs des deux autres conditions, qui ne se distinguent pas l'un de l'autre. Les données relatives aux fixations de l’œil montrent que l'illustration avec étiquette favorise un processus plus intégratif du matériel d'apprentissage, comme le montre le temps passé à fixer à nouveau des segments de texte en réinspectant les illustrations. De plus, des relations ont émergé entre les indices d'intégration du texte et de l'image lors du traitement en ligne et les mesures hors ligne de connaissance factuelle et de transfert de connaissance. De manière globale, en accord avec les positions théoriques du principe multimédia, l’étude souligne le rôle crucial du traitement intégratif de mots et des illustrations en faveur d'un apprentissage à partir d'un texte illustré. En outre, l’étude indique que ce processus intégratif peut être soutenu efficacement par un signalement visuel adéquat.

Ancillary