Semiotic mode and sensory modality in multimodal semiotics: Recognizing difference and building complementarity between the terms.
This article addresses an issue in multimodal cultural studies - the inconsistent use of the notions 'mode' and 'modality'. As these notions are frequently employed interchangeably, making a clear distinction between them and positioning them in a coherent system will be helpful. To outline such a s...
| Published in: | Sign Systems Studies Vol. 51; no. 3/4; pp. 604 - 638 |
|---|---|
| Main Author: | |
| Format: | Article |
| Published: |
University of Tartu
2023
|
| Subjects: | |
| Online Access: | View this record in EBSCOhost |
| fields | @attributes: recordID: 1 pdfLink: plink: https://search.ebscohost.com/login.aspx?direct=true&db=hlh&AN=175223989&site=ehost-live header: @attributes: shortDbName: hlh uiTerm: 175223989 longDbName: Humanities International Complete uiTag: AN controlInfo: bkinfo: jinfo: jid: 14064243 DSW jtl: Sign Systems Studies issn: 14064243 maglogo: N pubinfo: dt: 2023 vid: 51 iid: 3/4 pid: 25096 pub: University of Tartu artinfo: ui: 175223989 10.12697/SSS.2023.51.3-4.05 ppf: 604 ppct: 34 formats: fmt: @attributes: type: P size: 2.6MB tig: atl: Semiotic mode and sensory modality in multimodal semiotics: Recognizing difference and building complementarity between the terms. aug: au: Oja, Martin affil: Department of Semiotics, University of Tartu, Jakobi 2, 51005, Tartu, Estonia su: Modality (Linguistics) Semiotics Cultural studies Discourse Kress, Gunther Semantics Linguistic typology sug: subj: Modality (Linguistics) Semiotics Cultural studies Discourse Kress, Gunther Semantics Linguistic typology keyword: film multimodality semiotic mode sensory modality ab: This article addresses an issue in multimodal cultural studies - the inconsistent use of the notions 'mode' and 'modality'. As these notions are frequently employed interchangeably, making a clear distinction between them and positioning them in a coherent system will be helpful. To outline such a system, I envisage a two-layer framework where modes and modalities support each other. The central branch of multimodal semiotics (developing from Gunther Kress' sociosemiotics towards John Bateman's comprehensive approach) recognizes 'mode' as a pivotal research concept. While 'mode' as a semiotic resource is dependent on its materiality, culturally shaped practices and discourse semantics, the neurocognitive characteristics of sensory modalities are often seen as secondary to meaning-making. This article suggests that discussion of the semiotic potential of sensory modalities is complementary to the semiotic theory of multimodality. In order to illustrate this, I will construct an experimental typology of modality relations, which also takes modes into account. This typology distinguishes between supporting, modifying, conflicting, substituting and cross-activating relations. Cette article aborde une problème dans les études multimodales: l'utilisation incohérente des notions de 'mode' et de 'modalité'. Ces notions étant souvent abordées de manière interchangeable, il sera utile de les distinguer clairement et de les positionner dans un système cohérent. En esquissant une tel système, j'envisage un cadre à deux niveaux où les modes et les modalités se soutiennent mutuellement. La branche centrale de la sémiotique multimodale (issue de la socio-sémiotique de Gunther Kress en direction de l'approche globale de John Bateman) reconnaît le 'mode' comme le concept de recherche central. Alors que le 'mode' en tant que ressource sémiotique dépend de sa matérialité, des pratiques culturellement façonnées et de la sémantique du discours, les caractéristiques neurocognitives des modalités sensorielles sont souvent considérées comme secondaires. Cette article suggère que la discussion du potentiel sémiotique des modalités sensorielles est complémentaire à la théorie sémiotique de la multimodalité. Pour illustrer cela, je vais construire une typologie expérimentale des relations de modalités, qui prend également en compte les modes. Dans cette typologie, on distinguera les relations de soutien, de modification, de conflit, de substitution et d'activation croisée. Käesolevas artiklis vaadeldakse multimodaalsusuuringute ja kultuurisemiootika ristumiskohas esile kerkivat probleemi - mõistete 'mode' (mida võib tõlkida nii 'laad', 'viis' kui ka 'moodus'; käesolevas resümees jään 'mooduse' kui samatüvelise sõna juurde) ning 'modality' ('modaalsus') ebajärjekindlat kasutust. Neid tarvitatakse sageli sünonüümselt, kuid see toob kaasa probleeme kategooriate eristamisel. Selle vastu aitab nimetatud mõistete paigutamine sidusasse süsteemi, mida võib modelleerida kahekihilisena. Mooduste ja modaalsuste kihid pole vastuolus, vaid teineteist täiendavad. Multimodaalse semiootika keskne haru, mis võrsub Gunther Kressi sotsiosemiootikast ja ulatub John Batemani põhjaliku käsitluseni, kasutab mõistet 'mode' baasmõistena. Kui keskendutakse mooduse kui semiootilise ressursi materiaalsusele, kultuurilistele praktikatele, mis mõjutavad materiaalsuse vormimist tähenduse loomisel ning ka diskursiivset semantikat, mis reguleerib mooduste abil loodud tähenduste mõistmist nende kontekstis, peetakse tajumodaalsuste neurokognitiivseid omadusi tähendusloomes teisejärguliseks. Käesolevas artiklis väljendatakse seisukohta, et tajumodaalsuste roll tähendusloomes on oluline ning selle uurimisel on koht multimodaalsuse semiootikas. Sellal kui 'moodus' on terminina mitmeti tõlgendatav ja pluralistlik, tasakaalustab seda '(taju)modaalsus', mis on psühholoogias konkreetselt määratletud. 'Modaalsust' võib käsitleda ka osana raamistikust, mis integreerib humanitaariat ja täppisteadusi, sealhulgas kultuuri-ja biosemiootikat. Lisaks võimaldab 'modaalsus' käsitleda tähendusloome alustasandi probleeme, näiteks olukordi, kus erinevate tajukanalite informatsioon on vastuoluline, ristuv või vastastikuselt modifitseeriv (neid nähtusi võib termini 'ristmeedia' eeskujul liigitada 'ristmodaalsuse' alla). Et näitlikustada mooduste ja modaalsuste käsitlusvõimalust ühtses raamistikus, loon artikli lõpuosas katsetusliku tüpoloogia, mis kirjeldab modaalsuste võimalikke suhtetüüpe ning võtab arvesse ka mooduseid. Eristatakse toetavat, modifitseerivat, konfliktset, asendavat ja vastastikuselt aktiveerivat suhtetüüpi. pubtype: Academic Journal doctype: Article src: R language: English refInfo: copyright: @attributes: flag: Y custom: Copyright of Sign Systems Studies is the property of University of Tartu and its content may not be copied or emailed to multiple sites without the copyright holder's express written permission. Additionally, content may not be used with any artificial intelligence tools or machine learning technologies. However, users may print, download, or email articles for individual use. item: Sign Systems Studies holder: University of Tartu dt: @attributes: year: 2023 holdings: @attributes: islocal: N |
|---|