Special Issue on Ubiquitous Music

Journal of Digital Media & Interaction, Vol.3, No.5 Title Special Issue on Ubiquitous Music, Vol.3, No.5 Guest Editors Damián Keller, Marcello Messina and Francisco Z. N. de Oliveira Editorial Board Adérito Marcos, Álvaro Sousa, Ana Carla Amaro, Ana Isabel Veloso, Ana Jorge, André Neves, António Coelho, Bruno Giesteira, Carlos Santos, Cristina Ponte, Drew Davidson, Emília Duarte, Esteban Clua, Eva Petersson, Fernando Zamith, Francisco Providência, Guido Lemos, Guilherme Santa Rosa, Heitor Alvelos, Helena Pires, Janet C. Read, Joana Quental, João Canavilhas, Jorge Ferraz, Jorge Hidalgo, Jorge Martins Rosa, José Azevedo, Leonel Morgado, Luís Pedro, Lynn Alves, Maite Soto-Sanfiel, Manuela Penafria, Margarida Almeida, Mário Vairinhos, Miguel Carvalhais, Miguel Sicart, Miriam Tavares, Nuno Dias, Oscar Mealha, Patricia Dias, Paulo Nuno Vicente, Pedro Almeida, Pedro Branco, Penousal Machado, Rui Prada, Ruth Contreras, Valentina Nisi, Vania Baldi, Vasco Branco, Jussara Borges, Angeliki Monnier, Federico Tajariol, Jean-François Diana, Pierre Humbert, Xabier Rólan, André Lemos, Walter Lima, Roberto Duarte, Pablo Parra Valero, Rita Maia, Vania Ribas Ulbricht, Soledad Ruano López, Cassia Cordeiro Frutado, Raquel Recuero, Claudio Xavier, Rosario Fernándes Falero, Raimunda Ribeiro, Aurora Cuevas-Cerveró, Annamaria Jatobá Palácios Logo and Cover* Joana Beja Publisher University of Aveiro Support DigiMedia – Digital Media and Interaction SBIDM – Serviços de Biblioteca, Informação Documental e Museologia Copyright Information All work licensed under Creative Commons Attribution License that allows others to share the work with an acknowledgement of the work's authorship and initial publication in this journal. Copyrights to illustrations published in the journal remain with their current copyright holders. It is the author's responsibility to obtain permission to quote from copyright sources. Mailing Address Universidade de Aveiro Departamento de Comunicação e Arte 3810-193 Aveiro - Portugal E-mail: [email protected] Publication Date May 2020 ISSN 2184-3120 * Background photo created by sid4rtproduction - br.freepik.com 3 Table of Contents Special Issue on Ubiquitous Music | Volume 3 | Number 5 | 2020 Second Wave Ubiquitous Music: Collaboration, Automation and Knowledge Transfer for Creativity (Editorial)……………………………............................................................................. 5-20 Damián Keller, Marcello Messina and Francisco Z. N. de Oliveira Segundo Ciclo da Música Ubíqua: Criatividade na Colaboração, Automação e Transferência de Conhecimentos (Editorial)............................................................................. 21-37 Damián Keller, Marcello Messina and Francisco Z. N. de Oliveira ARTICLES Interação Timbrística em Música Ubíqua: A Ecologia de Metáforas da Esfera Sonora......... 38-59 Brendah Freitas, Damián Keller, Willian Ramon Barbosa Bessa, David Ferreira da Costa and Flávio Miranda de Farias A Metáfora da Esfera Sonora desde a Perspectiva WYDIWYHE.............................................. 60-88 William Ramon Barbosa Bessa, Damián Keller, Brendah Freitas, David Ferreira da Costa Internet das Coisas Musicais Aplicada a Instrumentos Musicais Robóticos ....................... 89-101 Higor Camporez, Anilton Garcia, Jair Silva, Leandro Costalonga e Helder Rocha Live Patching e Interação Remota: Uma Abordagem Prática Intercontinental com Kiwi...... 102-116 Marcello Messina, João Svidzinski, Deivid de Menezes Bezerra and David Ferreira da Costa Embasamento da Ancoragem Semântica Criativa: Estudo Exploratório com Emulações Instrumentais................................................................................................................................ 117-132 Damián Keller, Marcello Messina, Carlos Eduardo da Silva and Leonardo V. Feichas On Ecocomposition: An interview with Damián Keller.............................................................. 133-142 Tate Carson 4 International Journal of Digital Media and Interaction Special Issue on Ubiquitous Music, Vol.3, No.5, (2020) Second Wave Ubiquitous Music: Collaboration, Automation and Knowledge Transfer for Creativity (Editorial) 1 Damián Keller1, Marcello Messina2, Francisco Z. N. de Oliveira3 Amazon Center for Music Research (UFAC / IFAC), 2 (UFPB), 3 Federal University of Rondônia 1 [email protected], [email protected], [email protected] Summary This volume features a diversity of proposals gathered around the current efforts in ubiquitous music (or ubimus) research. Three papers provide contributions to timbre interaction involving lay participants. Two proposals target the development of network-based music making, one case features synchronous exchanges of visual code and another case proposes the implementation of musical robots within the context of the Internet of Musical Things. The volume wraps up with an interview on ecocomposition, one of the lines of research that has been nourished by ubimus initiatives. Bessa et al. outline the strategies within the WYDIWYHE perspective (what you do is what you hear), a new strand of interaction design based on ecologically grounded creative practices. This approach involves the use of visual aids to represent actions targeting sonic results, while encompassing touching, seeing and listening. The authors propose six strategies within this framework: space-time proportionalities, flexible temporalities, isomorphisms, direct manipulations, semantic abstractions and the use of relational properties. Messina et al. report on an intercontinental live-patching session based on the software Kiwi. This experience involved two groups from three different universities located in Brazil and France. According to the authors, this proposal has implications on the presence or absence of the human components in ubimus practices, on the patterns of territorialisation, on the operative actions and the related mnemonic-support processes within the group practice of live algorithms for music making. Freitas et al. describe an exploratory study of the Sound Sphere Metaphor. A group of undergraduate music students with no prior training on audio tools was invited to engage in creative activities in everyday settings. Despite yielding successful sonic outcomes, the results of the study highlighted the need for improvements in the experimental procedures. Targeting the infrastructure for ubimus activities, Camporez et al. suggest the use of sensors, actuators and connectivity for musical purposes within the context of the Internet of Musical Things (IoMusT). The paper discusses key concepts in ubimus for IoMusT-based activities, providing examples of the implementation and usage of musical robots (RoboMus). The authors focus on the development of robotic resources for synchronization. Their proposal features a mechanical delay-compensation system by means of a neural network. The authors also discuss the implementation of a precision time-protocol (PTP) and apply it in a clock for a musical robot. Creative semantic anchoring or ASC is a metaphor for creative action that uses verbal strategies to ground aesthetic decision making. Creative semantic anchoring involves the verbal contextualization of sonic materials to facilitate aesthetic decisions involving the transfer of musical knowledge. Complementing previous proposals on ASC, Keller et al. present a study that applies semantic strategies for the selection of sound sources. The study focuses on the evaluation of emulations of everyday sounds using semantic descriptors. The stimuli consisted of excerpts of violin solo works, based on imitations of everyday events. Seeking to obtain a quantitative picture of the relevance of the descriptors, the experimenters gathered responses from 58 university students with basic or intermediate musical knowledge. The results highlight ISSN: 2184-3120 CC 2020 DIGIMEDIA International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) the originality of the products and the subjects’ familiarity with the sonic material. The descriptor pleasant – linked to strongly subjective aspects – and the descriptor well-done – targeting the technical aspects of the materials – also got consistent scores. Carson furnishes a thorough interview with Damián Keller on the origins of the ecologically grounded perspectives on music making, including some of the recent developments within the ubimus field. The discussion unveils several aspects of the artistic and research projects that have not been previously addressed in the literature, encompassing topics such as ecocomposition, the function of everyday sounds in ubimus and the relationships between ecologically grounded music making and environmental activism. Art, technology and reflection Keller and Barreiro (2018) provide an overview of various trends within ubimus, highlighting two avenues of research that gathered increased attention during the last few years. They suggest that part of the ubimus research efforts have gone into the inclusion of a broader variety of participants in creative endeavors with a strong emphasis on untrained subjects and the participation of casual stakeholders. Casual participation presents very stringent demands, not only because of the lack of preparation for the musical activity forfeiting domain-specific training or extended periods of familiarization with the materials - but also because of the peculiar and unpredictable characteristics of the settings where many ubimus activities take place, such as transitory or leisure environments not projected as artistic venues. Another line of research has addressed the advancement of the extant musical knowledge based on the convergence of technological support, innovative artistic practices, complemented by the socially aware deployment of ubimus resources. This triad of technology, art and reflection is not exclusive of ubimus initiatives but points to potential crossovers with the related fields of ethnomusicology (Quiñones et al. 2013), sonic studies (Truax 1984), participatory design (Ehn 1988), computational creativity (McCormack and D’Inverno 2012) and the emergent ecological approaches to education and creativity (Malinin 2013; Pata 2009). Ubimus researcher Helena Lima has pioneered the development of a socially aware approach to music making, dialogics, involving intense collaborations and group-oriented activities. Mostly deployed in educational contexts, dialogics targets the creative engagement of participants in longitudinal and collective creative activities. The objectives of this approach entail the community-based construction of knowledge through reflective practices. The activities do not aim to yield genre-specific musical products but target selfreflection as a key component of the artistic engagements (Donald 2006). Everyday music making This volume provides a contribution to a decade-long effort toward the development of strategies for music making in everyday settings, targeting the inclusion of non-musicians as creative partners. These motivations are not new. They stem from a tradition of artistic practices that can be traced back to concepts such as that of furniture music – music that does not demand a special talent or specialized training to be experienced – proposed by composer Eric Satie at the beginning of the previous century. But a major difference of the proposals contained in this volume with the artistic trends that date back to the 20th century can be observed in the availability of a technological infrastructure that can be repurposed for creative endeavors. Furthermore, an expanded conception of music – from a static entity or a formal structure, to a dynamic self-organized process; and from an autonomous phenomenon to a socially constructed set of 6 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) relational properties firmly anchored in a specific material context – has led to the emergence of the multilayered research field called ubiquitous music (Keller et al. 2014a). According to Keller and Lazzarini (2017a), the increased reliance of current musical practices on social interaction, everyday settings and open-ended, exploratory activities have underscored the limitations of the existing toolset for creativity support. Social interaction has been brought to the forefront through the anthropology-oriented initiatives pioneered by Blacking (1973). For Blacking, the study of music – rather than the study of a fixed representation of instrumental actions on a score, or the study of the sonic byproducts of music making collected in recordings – entails the documentation and analysis of the musical activity during the act. This view is later condensed by Small (1998) in his verbalization of the musical processes as the act of musicking. The verb ‘musicking’ emphasizes the dynamic properties of creating, deploying and listening to musical products. Small’s proposal underscores the implicit hierarchies and contradictions of the stereotyped rituals of instrumental music, exemplified by the model of the orchestra, which enforce a separation between doers and receivers during the aesthetic decision-making processes. Ubiquitous music (or ubimus) has been defined as the study of systems of (1) human agents and (2) material resources that (3) afford musical activities through (4) creative support tools. This four-component definition encompasses the human factors, the material resources and the properties that unfold during the creative activities, combined with the design strategies that foster creative outcomes – targeting both the processes and the byproducts of the activities. It is interesting to note that the emphasis on the creative aspects of music making was not a consensual feature of the initial ubimus initiatives. During a first exploratory phase (2007-2014), the ubimus definitions placed a strong emphasis on the technological infrastructure – highlighted by the adoption of the term ubiquitous – hinting at a subset of issues related to ubiquitous computing (Weiser 1991). This perspective shows some limitations when faced with the diversity of social and cognitive factors triggered by the deployment of musical activities in everyday settings. In particular, the support for casual participation presents challenges that go beyond the focus on the musical performance targeted by a currently hegemonic approach to musical interaction (for an example of the latter, see the concept of virtuosic performance1 in Wessel and Wright 2002). Distributed musical resources Moving beyond the approaches centered on isolated tools, Lazzarini et al. (2015) propose the ubiquitous music ecosystem as a replacement for the fourth component of the ubimus definition (i.e., the creative support tools). The motivations are manifold. The implementation of isolated instruments or tools - as exemplified in NIME proposals - does not meet the demands for the relational and emergent characteristics of the casual participation and the opportunistic strategies observed in creative practices in everyday settings (cf. ubimus examples in Keller et al. 2013; Keller et al. 2015; Lima et al. 2017). While the adoption of traditional venues – such as the concert hall or the electroacoustic studio – ensures a material context and a set of social expectations geared toward professionally oriented music-making, casual participation in everyday musical activities exposes the stakeholders to acoustic and social factors that are seldom accounted for in the design of digital musical instruments. According to Keller and Lazzarini (2017a), ubimus support needs to be grounded on strategies that address not only the issues related to interaction and audio. 1 This view is found in the works targeting New Instruments for Musical Expression (NIME). Without dropping the emphasis on the implementation of isolated devices, this area has recently changed the word instruments for interfaces. As it will become clear in the discussion below, the undue focus of NIME on the device, the instrument or the interface does not necessarily help in the advancement of the support of creative practices. 7 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) It also needs to account for factors based on the relationships among the materials and among the agents, that emerge during the activity. Hence, a diversified perspective on ubimus ecologies is better equipped to tackle the dynamic processes that underlie everyday music making. The present volume features proposals that contribute to the advancement of musical knowledge through the deployment of support technologies (Camporez et al.), through group-oriented artistic practices targeting an intermediate level of technical expertise (Messina et al.) and through new approaches to knowledge transfer adopting design strategies grounded on ecological cognition (Bessa et al., Freitas et al,, Keller et al.). These contributions provide a healthy complement to some of the recent advances of the ubimus field, especially regarding the application of semantic strategies for knowledge transfer (Keller and Feichas 2018; Stolfi et al. 2019), ecologically grounded improvisation (Aliel et al. 2015; Messina and Aliel 2019) and the proposals that target development of the internet of musical things (Keller et al. 2019; Keller and Lazzarini 2017; Turchet et al. 2018). Let us take as an example the deployment of the Internet of Musical Things (IoMusT). Despite remaining mostly a theoretical construct, this proposal has gathered partial embodiments and contributions from various projects. According to Keller et al. (2019), there is a strong resemblance between the initial definitions of ubiquitous music and the recent conceptualizations of the IoMusT2. These two fields of study are complementary. While the development of the IoMusT targets the infrastructure needed for musical activities, current ubimus research focuses on the creative processes of music making linked to sustainability and more flexible forms of participation. Consequently, over the last decade ubimus has expanded its horizons to include aspects of music making that reach beyond the issues directly related to tool development and usage. Sometimes ubimus endeavours take advantage of local resources and available technologies through opportunistic design strategies involving repurposing. Hence, they do not necessarily demand new infrastructure (Flores et al. 2010; Keller et al. 2013). Other times ubimus projects call for custom, network-based professional audio technology aligned with the objectives of the IoMusT initiatives (Lazzarini and Timoney 2019; Zawacki and Johann 2012). Thus, Keller and coauthors envision a dynamic of mutual enrichment between ubimus and IoMusT. Ubimus experiences trigger the development of new IoMusT technology and as the IoMusT resources become available, they open fresh opportunities for applications in ubimus contexts. Given the potentially massive presence of the internet of things in everyday settings, the requirements and the affordances of the IoMusT components demand a careful consideration to clear the ground for an effective and, most importantly, ethical ubimus practice. Part of these issues are addressed by Camporez et al. in this volume. Keller et al. (2019) describe the development of a metaphor for creative action involving the use of hand gestures, Handy. The Handy Metaphor relies on body movements, targeting the use of both hands to enhance the creative potential of IoMusT-based sonic resources. The authors gathered feedback on the control capabilities and on the limitations of two prototypes through informal sessions with artists and musicians. The two implementations were based on very different technological platforms but shared a common interaction method. Both prototypes use hands and torso movements to drive synchronous audio synthesis and processing algorithms. While one prototype replicates the parametric approach featured in the design of the electronic instrument Theremin, the other implementation targets an exploratory usage of the relationships between body movements and sonic outcomes. The results point to a good potential for deployment in public areas. 2 See Pimenta et al. (2009) for an early definition of ubimus that focuses mostly on the technological infrastructure for music making. 8 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Another interesting strand of hardware development is proposed by Lazzarini and Timoney (2019). These leading ubimus researchers demonstrate the usefulness of an analogue-computing approach to electronic and computer music practices. They provide a general introduction to analogue technologies for music making, while tracing a historical parallel to the implementation of modular voltage-controlled synthesisers. The examples provided are relevant for the implementation of analogue audio signal-processing, pointing to practical applications in research and music production. Furthermore, their survey of state-of-the-art analogue computing highlights feasible candidate technologies that can be readily put to use in ubimus practices. Regarding the deployment challenges, the current quality of the analogue sonic renditions presents some constraints, including low signal-to-noise ratios and unreliable pitch/voltage stability. Synchronization may also be an issue to be addressed, which may seriously limit the scalability of these technologies. Assessing these issues and providing the necessary tools to correct eventual system malfunctions comprise key targets for future research. Despite the current technical caveats, the ubimus perspectives on analogue computing may yield new possibilities for musicological endeavors. For instance, this technology may be used to reproduce some of the early electronic musical practices. This avenue of research addresses an important aspect of ubimus, centered around the sustainability of cultural endeavors (Bernardini and Vidolin 2005), while reducing the ecological footprint of the current creative practices (Pereira et al. 2018). Regarding programmability - also a cornerstone of ubimus practices (Keller et al. 2014b) - Lazzarini and Timoney’s proposals give musicians and researchers flexible tools to manipulate sound through analogue means. This technology is not prescriptive in terms of musical genres or aesthetic approaches. Its open-endedness can be translated into components of digital-analogue devices for IoMusT usage both for professional practitioners (Turchet et al. 2018) and for everyday usage (Keller et al. 2019). Human components of ubimus ecologies Through the incorporation of the current perspectives on evolutionary theory, ubimus highlights the impact of the factors involved in hominid evolution on musical creative practice. Ubimus proposals have considered two approaches in this area: the social-brain hypothesis (Dunbar and Schultz 2007) and the nicheconstruction theory (Odling-Smee et al. 2003). The social-interaction mechanisms for survival comprise a central core of the first perspective. According to Dunbar and Schultz, the prediction of intentions has led to the development of the higher cognitive abilities of our species. Hominids that managed to predict the behaviors of other hominids had better chances to survive. Somewhat complementary, the approach proposed by Odling-Smee and coauthors explores the mutual relationship between the features of the local environment and the development of human cognition. As a response to uncertain environmental conditions, increasingly refined cognition mechanisms are adjusted to the characteristics of the local habitat. Simultaneously, the actions of the hominid groups shape the material resources to fit the group’s needs. These processes of mutual determination trigger the formation of ecological niches. Thus, the ecological niches do not only shape the access to material resources, they also shape the behaviors of the hominid groups. The two evolutionary theories just described provide the overarching theoretical context for multiple design choices in ubimus research. But what does a research program with music-making as its prime objective have to do with biology or evolution? The answers could fill an encyclopedia, but let us pick only a few major points featured by recent research. Evidence of music-making has been found in most Homo Sapiens populations (Honing et al. 2014); Furthermore, some researchers - based on archeological findings - believe that music-like behaviors 9 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) were also present in Homo Neanderthalensis (Mithen 2007). The pervasiveness of music making across cultures hints that the ability to make music may have been an evolutionary feature of the hominids. Music-like behaviors have also been observed in other species (Patel 2014) - for instance, the drumming patterns produced by some chimpanzees (Arcadi et al. 2004; Babiszewska et al. 2015; Dufour et al. 2015). Other authors question essentialized visions of music as a phenomenon that is necessarily associated with human agency (Mori 2017). Whether the ability to make music is an adaptive evolutionary trait or just a byproduct of previously existing neural circuitry repurposed through exaptation is an interesting question, though this issue is removed from the focus of this volume (cf. Pinker 1997). Recently gathered neurological evidence points to a reconfiguration of the neural paths through music training (Herholz and Zatorre 2012). This observation reinforces the idea that performative activities – such as musicking – may have played a big role in shaping human cognition, maybe acting in tandem with the adoption of cooperative group strategies (Dunbar and Schultz 2007; Mithen 2007). Various lines of investigation converge in musicking as a key element of socially grounded human cognition. Given the mounting evidence, it seems reasonable to push the definition of music a bit further. Current creative practices indicate that Varèse’s notion of musical material as organized sound is aligned with genrefree approaches to creative music-making (see Keller and Budasz 2010 for examples of contrasting approaches to musical creation). The instrument, the note, the rhythm, the melody or the harmony are all concepts that stem from the acoustic-instrumental music tradition, strongly biased toward metric and pitchcentered forms of sonic organization. Hence, these concepts imply choices that restrict the creative strategies to a narrow set of options. Despite being applicable to music made with acoustic instruments, they present serious limitations when applied to music based on volatile, distributed, ametric or pitch-free resources. If musicking is to be taken seriously as a phenomenon to be grounded in evolutionary theories, and/or contextualized within a complex web of human and non-human agencies, then its mechanisms for knowledge transfer cannot be restricted to a single occurrence of a cultural manifestation within a narrow historical time-frame that entails multiple racial, geographical and economic biases. Messina and coauthors address several of these issues in their contribution to this volume. Ecologically grounded creative practice Three of the papers in this volume are based on ecologically grounded perspectives to interaction design and creative sound making. These include the development of two metaphors for creative action: Sound Sphere and Creative Semantic Anchoring (abbreviated ASC from the Portuguese initials). Bessa et al. outline a new ecologically based interaction approach to design (Keller and Lazzarini 2017), the WYDIWYHE perspective. This method targets the relationships between doing (touching), seeing and listening. It features at least six design strategies: space-time proportionalities, flexible temporalities, isomorphisms, direct manipulations, semantic abstractions and the exploration of relational properties. 1. Space-time proportionality is exemplified in SoundSphere by representations that explore direct proportionality between timing and the visual space. This strategy can be extended to other modalities, including the use of material resources (within the field of tangible interaction) or the support for gesture interaction. 2. The adoption of flexible temporalities allows for the coexistence of various forms of temporal organizations – leaving in the hands of the participants the choice of sonic resources and their temporal distribution. In the 10 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) case of SoundSphere, this freedom is guaranteed by the possibility of incorporating any kind of sonic material. However, there is no specific support for periodic events, as usually imposed by systems oriented toward the metric standard. So, SoundSphere's temporality tends to prioritize creative organizations based on the use of timbre, relegating rhythm or pitch to secondary functions. 3. Isomorphism is a complementary aspect to flexible temporalities and is exemplified by the structure of the metaphors that foster the distribution of sonic resources without imposing hierarchies. For instance, SoundSphere supports the application of various procedures to organize materials, including sound sketches (used for the initial attempts to establish sonic relationships) and modular structures (which can be freely combined or can adopt specific constraints). SoundSphere also supports processing techniques and the use of multimedia elements – a concrete example is described by Aliel et al. (2019). However, the latter aspects are best represented when longitudinal observations are undertaken. Therefore they were not explored in the two studies reported in this volume. 4. Direct manipulation provides support for interactions that resemble everyday behaviors while giving priority to action-perception relationships. This is a strong component of ecologically grounded creative practices. In SoundSphere, direct manipulation is used in the selection panel and in the event-insertion mechanism of the interaction panel. 5. Semantic abstraction entails accessing complex processes through the use of written or spoken language. This strategy enables timbre manipulation through the application of audio-operators associated with labels chosen by the users. 6. Relational properties emerge from the interaction between the stakeholders and the environment (Keller et al. 2015). These properties are strongly tied to the local resources. In transitional spaces, they may impact the level of cognitive effort and the creative profile of the sonic products fostering an increase in their originality (Keller et al. 2013). The two articles targeting metaphors for creative action involve a loose meshwork of techniques that explore the semantic relationships between natural language and sonic organizational processes. Several design solutions based on the semantic descriptions of audio events and audio processes are covered by the paper Timbristic Interaction in Ubimus (Interação Timbrística em Ubimus). Freitas et al. point to timbre as a ubimus topic that presents complex challenges, especially when it encompasses lay-oriented interaction. Timbre parameterization cannot be handled by simplistic or arbitrary mapping strategies. Furthermore, semantic abstractions may not be amenable to untrained stakeholders. To deal with casual usage of elaborate parametric configurations, the authors put forth a two-tier approach to an ecology of metaphors for creative action. Freitas et al. discuss a variety of approaches to timbre interaction, honing in on the demands for casual interaction (Borning and Travers 1991). Previous experiments with nonmusicians indicate that factors such as the time investment and the resource demands share a similar level of importance as the quality of the creative outcomes. Therefore, simplistic solutions enabled through arbitrary mappings or the uncritical adoption of acoustic-instrumental methods may not be applicable to timbre interaction involving lay participants. Timbre manipulations often happen in conjunction with other creative activities - including selection, mixing, editing or sharing of musical data. The experimenters asked a group of undergraduates to use - during creative open sessions - a tool ecology centered on the Sound Sphere Metaphor. Most participants successfully completed their tasks. However, a number of issues were raised regarding both the materials and the tool usage. The results indicated the need to improve the visual feedback on the soundprocessing type applied on each sonic event. 11 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) The study reported by Bessa et al. indicates that the Sound Sphere ecology presents a good potential for timbre interaction in everyday and educational contexts. The application of a semantic strategy fosters the rapid transfer of highly technical and specialized knowledge without requiring long periods of domain-specific preparation or training. In line with the results obtained in previous ubimus experiments (Keller et al. 2013), the transitional spaces have a positive impact on the originality factor but this effect is not present in the assessments of relevance of the creative products. In line with the results obtained with other metaphors for creative action (such as time tagging, spatial tagging, graphic-procedural tagging, or the use of creative surrogates), most subjects labeled the activities with the Sound Sphere Metaphor as being fun and enjoyable. They also reported a high potential for collaboration. Collaboration and temporality in ubimus Aligned with the second component of the ubimus definition, two contributions in this volume target the development of practices based on distributed resources. Since the beginning of the field, this area has been approached by multiple initiatives (Brown et al. 2014; Miletto et al. 2011). An early question is whether the networked environments for music making should be modeled after the extant acoustic-instrumental practices or whether they require new forms of social engagement. Related to this issue, we should also ask if there are built-in limits in the remote participation of multiple stakeholders or if the extant limitations are only related to the temporary lack of technological support. A case in point is the recent confluence of multimodal resources contributing to the formation of a tactile internet (Maier et al. 2016). In theory, this technology allows for multimodal forms of interaction that can be engaged in real time within a maximum radius of 300 kilometers. The tactile internet should enable ubimus participants to share haptic and visual data, thus enhancing the quality of their engagement in synchronous musical activities. Furthermore, virtual reality and robotic resources may become accessible through the network, minimizing the boundaries between colocated and remote resources. The increase in the speed, bandwidth and reliability of internet connectivity may impact positively the music practices that rely on synchronized timing, that depend on the immediate feedback from partners and on data-intensive cues. In particular the activities enabled by video-based scoring, haptic devices (Chafe 1993), smell-rendering devices (Kontukoski et al. 2015) and movement tracking (Rokeby 1986) may be further enhanced. But it is not yet clear if the tactile internet will provide support for key aspects of the creative cycle, such as the selection of massive audio resources or the ability to predict effective musical outcomes when the actual sonic resources are only partially known. These two issues may depend on creatively oriented strategies for design that do not rely exclusively on synchronous interaction. For instance, the current speed or the bandwidth of the internet is not a bottleneck for the musical activities that do not depend on acoustic musical instruments. Synchronization is a serious limitation in remote performances by acoustic ensembles (Barbosa 2010). But this caveat only applies to the acoustic-instrumental formats when 19th-century musical practices are adopted. If these issues are approached as musical opportunities rather than as technological caveats, then the requirements for tight synchronization are relaxed (Bhagwati 2013). Flexible approaches to the organization of musical time may be more effective than the solutions based on the adoption of new technologies for old musical genres. Given these challenges, Camporez et alii’s implementation and usage of robots may complement the existing initiatives to deploy ubimus resources through internet connectivity. The authors focus on the development of synchronization for robotic musical devices. Their proposal of a mechanical delay compensation though trained neural networks may push toward alternative solutions for device12 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) synchronization problems. The authors also discuss the implementation and usage of a precision time protocol (PTP) and apply it in a musical-robot clock system. According to the authors, the modified message format helps to compensate for the mechanical delays, bringing greater robustness to the platform. The physical wear of the mechanical components can interfere with delay timings. To handle this issue, the neural network can be retrained to learn the new configuration yielding an adjusted response. In addition, performance delays may occur due to the heating of the mechanical components. These variations may be predicted and corrected by the adaptive clock system. Building upon a growing trend on systems based on browser platforms, Messina et al. report on the usage of intercontinental live-patching sessions based on the visual language Kiwi. This creative activity is closely related to live coding (Sorensen and Brown 2007) and belongs to a family of initiatives that we could describe as network-based ubimus that target the use of remote resources for collectively shared creative outcomes (Miletto et al. 2011). Kiwi (Paris et al. 2017) is a port of the well-established visual language Pure Data (Puckette 1997). The advantage of Kiwi over its predecessor is its design tailored for browser platforms. Thus, collaboration and online usage are built-in characteristics. Furthermore, the integration of web-based components is also facilitated. Kiwi patches were developed by the Live/Acc/Patch group and the University of Paris 8 music-technology undergraduate class, each group adopting specific patching strategies. This intercontinental patching experience features a combination of small elements that interact dynamically as autonomous structures. The issue of temporality gains a dimension that encourages open, collaborative and non-hierarchical approaches. In Kiwi, all the participants retain the same, unrestricted rights. From a software engineering perspective, this may be considered a downside. In addition, the operations on each patch do not leave genealogical traces, thus it is not possible to establish the authorship of a specific object or comment on a patch. Consequently, potential hierarchical barriers - such as instructor vs. student or group a against group b - are erased. According to Messina et al., the group practices of live algorithms for music making has implications on the presence and/or absence of the human components in ubimus practices, on the patterns of territorialization, on the operative actions and on the required mnemonic-support. The live patching experience confirms the operativity of a common behavioral pattern in computer music practices: the development of new tools is intertwined with compositional and social issues that arise from musical creation. This approach could be expanded through two strategies. Firstly, to make up for Kiwi’s technical limitations on signal processing and audio tools, it may be possible to integrate the Faust language when involving intermediate or advanced users (see Lazzarini et al. 2014 for a discussion of ubimus usage of Faust). Secondly, live patching may be combined with concert practices based on improvisation or based on open works. This second proposal is aligned with the recent developments in ubimus comprovisation (Aliel et al. 2015). Surfing the second wave of ubimus proposals: Hints at future research avenues The papers featured in this volume encompass a range of topics linked to several major lines of research that emerged during the second wave of ubimus initiatives. These include: (1) support strategies for knowledge transfer that may enable laypeople to access complex creative musical processes; (2) live patching as a ubimus-oriented activity that incorporates live coding without inheriting the aura of a practice “just for the specialist” (typical of its source of inspiration); (3) the use of robotics as a component of ubiquitous music ecosystems, potentially contributing to the deployment of an Internet of Musical Things; and (4) two examples of metaphors for creative action: Sound Sphere, highlighting its deployments in everyday settings and Creative Semantic Anchoring (ASC), targeting the incorporation of semantic strategies 13 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) for music creation and performance. These last two examples are inserted within a research field that has received an increased amount of attention in ubimus during the last few years - ecologically grounded creative practices. This perspective has been applied in formal educational contexts (Lima et al. 2012; Lima et al. 2017), everyday settings (Ferreira et al. 2016; Keller and Lima 2016), music theory (Keller and Lazzarini 2017), comprovisation (Aliel et al. 2015; Aliel et al. 2018) and multimedia art (Connors 2015; Gomes et al. 2014; Keller et al. 2014b). The volume closes with an interview by Tate Carson that documents the first initiatives in ecologically grounded creative practice and discusses some of the recent contributions to this field. The five papers featured in this volume provide a sample of the diversity of applications that characterize ubimus initiatives. When placed within the context of the current definitions of ubimus, it becomes clear that the field has moved beyond an exclusively technological focus of a subcategory of ubiquitous computing towards a multidisciplinary endeavor. The political and ideological preoccupations addressed by Messina and partners are good counterparts to the educational and philosophical implications explored by Lima and coathors (2012) and (2017). The artistic and aesthetic consequences of the methods adopted in this paper are shared by the comprovisational proposals laid out by Aliel et al. (2015) and (2018). Furthermore, this proposal expands the ubimus practices based on browser platforms, pointing to issues that were not addressed by the initial ubimus projects (Miletto et al. 2011). Knowledge transfer. The three proposals that build on ecological creative practice provide fresh perspectives for this expanding field. Until recently, semantic strategies were not considered tools of the trade in ecocomposition (see Carson for a historical context). The multimodal aspects of the eco-based practices have pushed for an integration of verbal elements in knowledge transfer. An initial hint was given by the implementation of creative surrogates, digital resources that represent the source materials to enable fast transfers among participants (Keller et al. 2015). C-surrogates incorporated labels, hence the usage of verbal commands is just a further refinement of this proposal. While the results obtained by Keller and coauthors place the emphasis on the relationship between the semantic content of the musical excerpts and the listeners previous experiences through the quality of familiarity, they also point to the possibility of using semantic strategies to assess the originality of the sonic products. The metaphors for creative action proposed by Bessa et al. and deployed by Freitas et al. indicate the applicability of this proposal. Nevertheless, further studies are necessary to establish the limitations of these methods. For instance, the study by Freitas et al. indicates a complex relationship between the sonic characteristics of the sound sources and the timbre parameters. While it may be possible to attach a consistent label to a timbral procedure, the sonic outcome is both dependent on the sound being processed and on the type of audioprocessing in use. This means that simple recipes like “if you have this sound and you want this type of result, then you use this timbral operator” are not applicable. How can we enable reliable knowledge-transfer strategies for open-ended aesthetic decision-making? This issue will demand further iterations of design, implementation and assessment. Live patching. Regarding the approaches to group creativity, if we place the ubimus patching experience within the context of the ongoing ubimus collaborative practices on browser platforms, some interesting aspects come to light. Temporality seems to be a common design quality that cuts across all ubimus online practices. The volatility of the resources provided by Kiwi seems to reduce the window for negotiations among the participants. Furthermore, the immediate sonic outcome of live patching implies a reliance on an existing code base. As new code is added, all errors are immediately reflected by the sonic outcome. The unrestricted access to the shared patches implies that all participants may modify the code simultaneously. 14 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Destructive behaviors may sabotage the group’s sonic outcomes. Hence, other means of negotiations may be necessary. For instance, opportunistic strategies involving chatting or voice exchanges through browserready tools could be employed to overcome eventual misunderstandings. This approach presupposes a shared natural language among all participants. This was not the case in the reported experience, which featured French components that did not speak Portuguese and Brazilians that did not know French. Alternatively, destructive actions could be avoided through the implementation of selective sharing mechanisms. For instance, parts of the patches would be available for collective action while other parts would be reserved to individual actions or to a restricted group of individuals. In a sense, this approach is already adopted by ubimus comprovisational practices. Some resources are open to contingencies, while others are predetermined (Aliel et al. 2018). Complementarily, the dynamics of sharing could also be subjected to temporal constraints. For example, some resources could be persistent and accessible throughout the session while others remain accessible only within user-defined temporal windows. This temporal restriction would enable a more refined strategy of aesthetic decision-making. Persistent resources could ensure the structural stability of the sonic outcome, while volatile resources would still be available to enrich the experience through contingencies. This technique can be defined as time-sensitive or volatile ubimus patching. Robotic musical things. The example we just discussed highlights the centrality of the resources’ temporal qualities in ubimus activities. While a simplistic approach to musical interaction could adopt the computing labels of synchronous or asynchronous processes, second-wave ubimus designs demand a more subtle analysis. Ubiquitous music ecosystems involve material resources that encompass both the processes directly related to the sonic outcomes and the support mechanisms that enable decision-making but that do not impact the musical products directly. Consider, for instance, the design quality of volatility. Volatility may be tied to the social interactions fostered by the musical activity. Casual participation involves the engagement of stakeholders that may not be necessarily acquainted with the resources available for the activity. This limitation imposes very high demands on the usability of the support infrastructure, forcing the designs to target fast installation or configuration or preprocessing of resources. These requirements can be bypassed by interaction strategies that distribute the functionality among various groups of participants with specific profiles. By entering the creative cycle at different stages, these participants furnish pieces of knowledge that add value to the resources and enable a more intuitive interaction. For example, advanced users may provide complex parametric configurations that casual users can retrieve by means of meaningful semantic tokens (see Freitas et al.). Thus, the different levels of expertise are employed as assets for collaborative ubimus endeavors. Advanced users provide persistent resources. Subsequently. these resources are accessed by other participants through opportunistic usage. One of the many forms of temporality that are relevant to ubimus design is synchronicity. Synchronization mechanisms are available for most studio-based audio processes, but support becomes much more rare when the musical resources are not colocated. As suggested by Turchet et al., among other authors, one of the requirements for effective IoMusT deployments is the existence of standard protocols that enable message exchanges among musical things. The contribution by Camporez et alii may be applied to a range of resources that demand synchronization, including haptic, visual and sonic rendering devices. The adaptation of the Precision Time Protocol described by Camporez and partners may fill part of this gap. The proposed mechanisms of compensation of temporal delays could ensure synchronization and recovery from flaws in transmission. The authors also comment on the issues related to human-robot interaction which have not been addressed by the projects targeting the deployment of the IoMusT. The caveats are non- 15 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) trivial. Let us take as an example a simple four-node network with two nodes involving human participants and with robot partners in the remaining nodes. For a synchronous session that includes free contributions from the human nodes, the minimum information that has to be shared is the synchronized sonic output from all the nodes. This implies that the transmission timing accuracy and the fluctuations should remain within sample-accurate delays. This is feasible for local setups, similar to those exemplified by the authors. But as soon as we access nodes through wide-area networks, the tendency is to degrade the performance to a range of a few milliseconds. This degradation could be avoided by the use of the tactile internet. Though there are still several challenges to be overcome to make this proposal deployable. Another issue of concern is related to the concept of distributed creativity (Literat and Glaveanu 2018). Ubimus research has boosted the importance of distributed creativity through the incorporation of remote resources for musical activities and through the increased empowerment of lay participants in group-creative endeavors. While other approaches to music making rely on the creativity of the individual - including the virtuoso performer, the almighty director of the orchestra, the enlightened composer or the geeky studio technician - ubimus practices have given the casual participants (Pinheiro da Silva et al. 2013), the novices (Miletto et al. 2011) and the robots (Camporez et al. 2018) the center of the stage3. This raises the stakes. As discussed by Coelho de Souza and Faria (2011), autonomous machines may eventually provide highquality aesthetic experiences which may be enjoyed only by other autonomous machines equipped with the right perceptual capabilities. Despite sounding strange, if we turn this claim around it becomes clear that we are quickly approaching a point of no return. The amount of sonic garbage produced by everyday appliances (with a special note on the mobile telephones) is becoming ever-present in homes, offices, terminals, streets and even hospitals! What does it take to reduce the amount of unwanted audio? It takes noise-cancelling headphones. But these headphones, as well as the usage of portable sonic devices with regular headphones, come at the price of almost complete auditory isolation from the environment. The risk of distributing the decisions on how our soundscape behaves to the mobile-telephone, the microwave or the refrigerator industries4 is that we give up our right to choose our own soundscape. A similar problem is produced by the massive deployment of autonomous musical robots. If they are able to decide when and how to play music, how do we deal with the devices deployed in public spaces? Who decides how they behave? The robot factory? The government? A casual user? Furthermore, with the increased reliance on the robots’ higher functionalities by the human participants in IoMusT-based activities there is the danger of a general decline of the human creative abilities5. As Carr (2013) suggested, “relying on computers to fly our planes, find our cancers, design our buildings, audit our businesses is all well and good, but what happens when machines fail and humans have become increasingly deskilled due to automation?” We may want to rethink what kind of sonic world we want to inhabit. References Aliel, L., Keller, D., Alvim, V. R. (2019). A Soundtrack for Atravessamentos: Expanding Ecologically Grounded Methods for Ubiquitous Music Collaborations. In: M. Aramaki; O. Derrien; R. KronlandMartinet; S. Ystad. (Org.). 14th International Symposium on Computer Music Multidisciplinary Research. 1 ed. Marseille, France: PRISM, v. 1, 652-662. 3 To be accurate, ubimus has erased the symbolic hierarchy of stage vs. audience. 4 These are just the most pervasive items, with the popularization of the internet of things it is highly likely that all appliances will include sonic actuators and controllers. 5 This phenomenon has already been observed in several studies of mobile-telephone usage. The pure presence of the device has a negative impact on the subjects’ cognitive capabilities. 16 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Aliel, L., Keller, D., & Costa, R. (2015). Comprovisação: Abordagens Desde a Heurística Estética em Ecocomposição. XV Simpósio Brasileiro de Computação Musical (SBCM 2015) (pp. 169-180). Campinas, SP: SBC. (ISBN 2175-6759). Arcadi, A. C., Robert, D., & Mugurusi, F. (2004). A comparison of buttress drumming by male chimpanzees from two populations. Primates, 45(2), 135-139. Babiszewska, M., Schel, A. M., Wilke, C., & Slocombe, K. E. (2015). Social, contextual, and individual factors affecting the occurrence and acoustic structure of drumming bouts in wild chimpanzees (Pan troglodytes). American journal of physical anthropology, 156(1), 125-134. Barbosa, A. (2010). Performance Musical em Rede. In D. Keller, R. Budasz (eds.), Criação musical e tecnologias: Teoria e prática interdisciplinar, Goiânia: Anppom (Série Pesquisa em Música no Brasil, v. 2), pp. 180-200. (ISBN: 978-85-63046-01-7). Bernadini, N. & Vidolin, A. (2005). Sustainable live electroacoustic music, eContact 8(3). Blacking, J. (1973). How Musical is Man?. Seattle, WA: University of Washington Press. Borning, A., & Travers, M. (1991). Two approaches to casual interaction over computer and video networks. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 13-19). Brown, A. R., Stewart, D., Hansen, A., & Stewart, A. (2014). Making meaningful musical experiences accessible using the iPad. In Ubiquitous Music (pp. 65-81). Berlin and Heildelberg: Springer. Camporez, H. A. F., Neto, A. F., Costalonga, L. L., & Oliveira Rocha, H. R. (2018). Interface Computacional para Controle Musical Utilizando os Movimentos dos Olhos. Revista Vórtex, 6(2), Dossiê Música Ubíqua. Carr, N. (2013). All can be lost: The risk of putting our knowledge in the hands of machines. The Atlantic, 11, 1-12. Chafe, C. (1993). Tactile audio feedback. In Proceedings of the International Computer Music Conference (ICMC 1993) (pp. 76-79). Tokio: ICMA. Coelho de Souza, R. C., & Faria, R. R. A. (2011). Oito Reflexões sobre a Criatividade na Composição Auxiliada por Computadores. Proceedings of the 13th Brazilian Symposium on Computer Music (SBCM 2011), Vitória, ES: SBC. Costalonga, L. L., Pimenta, M. S., Queiroz, M., Manzolli, J., Gimenes, M., Keller, D. & Faria, R. R. A. (2011). Proceedings of the 13th Brazilian Symposium on Computer Music (Simpósio Brasileiro de Computação Musical - SBCM ).Vitória, ES: Brazilian Society of Computer Science (SBC). Donald, M. (2006). Art and cognitive evolution. In Mark Turner (ed.), The Artful Mind: Cognitive Science and the Riddle of Human Creativity. Oxford, UK: Oxford University Press, 3-20. Dufour, V., Poulin, N., Curé, C., & Sterck, E. H. (2015). Chimpanzee drumming: a spontaneous performance with characteristics of human musical drumming. Scientific Reports, 5, 11320. Dunbar, R. I., & Shultz, S. (2007). Evolution in the social brain. Science, 317(5843), 1344-1347. Ehn, P. (1988). Work-oriented design of computer artifacts. Stockholm, Sweden: Arbetslivscentrum. Flores, L., Miletto, E., Pimenta, M., Miranda, E., & Keller, D. (2010, September). Musical interaction patterns: Communicating computer music knowledge in a multidisciplinary project. In Proceedings of the 28th ACM International Conference on Design of Communication (pp. 199-206). Herholz, S. & Zatorre, R. (2012). Musical Training as a Framework for Brain Plasticity: Behavior, Function, and Structure. Neuron 76(3), 486 – 502. Honing, H., Cate, C., Peretz, I., & Trehub, S. E. (2015). Without it no music: cognition, biology and evolution of musicality. Philosophical Transactions of the Royal Society of London. Series B, Biological Sciences, 370, 20140088. https://doi.org/10.1098/rstb.2014.0088 Keller, D., Gomes, C., & Aliel, L. (2019). The Handy Metaphor: Bimanual, touchless interaction for the internet of musical things. Journal of New Music Research, 48(4), 385-396. Keller, D., & Barreiro, D. (2018). Editorial Seção Temática Música Ubíqua: Forças de atração e desafios na pesquisa ubimus. Revista Vórtex, 6(2). 17 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Keller, D., Capasso, A. & Tinajero, P. (2015). Creativity-centered design from an ecologically grounded perspective: Activities and resources in Palafito 1.0. Journal of Cases on Information Technology 17 (4), 1-19. (Doi: 10.4018/JCIT.2015100101.) Keller, D., Flores, L. V., Pimenta, M. S., Capasso, A. & Tinajero, P. (2011). Convergent Trends Toward Ubiquitous Music. Journal of New Music Research 40(3), 265-276. (Doi: 10.1080/09298215.2011.594514.) Keller, D. & Lazzarini, V. (2017). Ecologically grounded creative practices in ubiquitous music. Organised Sound 22 (1), 61-72. Keller, D., & Feichas, L. (2018). Ecocompositional and Performative Strategies for Creative Usage of Everyday Sounds: Creative Semantic Anchoring. Leonardo, 51(2), 195-196. Keller, D. & Budasz, R. (eds.) (2010). Musical Creation and Technologies: Interdisciplinary Theory and Practice (Criação Musical e Tecnologias: Teoria e Prática Interdisciplinar), Vol. 2. Goiânia, GO, Brazil: ANPPOM Press. (ISBN: 978-85-63046-01-7). Keller, D., Lazzarini, V., & Pimenta, M. S. (Eds.). (2014a). Ubiquitous music. Cham: Springer. Keller, D., Timoney, J., Costalonga, L., Capasso, A., Tinajero, P., Lazzarini, V., Pimenta, M. S., Lima, M. H. & Johann, M. (2014). Ecologically grounded multimodal design: The Palafito 1.0 study. In Proceedings of the International Computer Music Conference (ICMC 2014). Ann Arbor, MI: MPublishing, pp. 1677-1684. Keller, D., Otero, N., Lazzarini, V., Pimenta, M. S., de Lima, M. H., Johann, M., & Costalonga, L. (2014). Relational properties in interaction aesthetics: The ubiquitous music turn. Electronic Visualisation and the Arts (EVA 2014), 207-214. Keller, D. & Lazzarini, V. (2015). Special Issue on Creativity-Centered Design and the Digital Arts. Journal of Cases in Information Technology 17 (4). Keller, D. & Lima, M. H. (2018). Applications in Ubiquitous Music (Aplicações em Música Ubíqua). Vol. 7. São Paulo, SP: Editora ANPPOM. (ISBN: 978-85-63046-08-6.) Keller, D., Queiroz, M., Pimenta, M. S. & Faria, R. R. A. (eds.) (2011). Special Issue: New Paradigms for Computer Music, Journal of New Music Research 40 (3). London: Taylor & Francis Group. Pinheiro da Silva, F., Keller, D., Ferreira da Silva, E., Pimenta, M. S., & Lazzarini, V. (2013). Everyday musical creativity: Exploratory study of ubiquitous musical activities (Criatividade musical cotidiana: Estudo exploratório de atividades musicais ubíquas). Música Hodie, 13, 64-79. Keller, D., Quaranta, D. & Sigal, R. (eds.) (2013). Special Volume Sonic Ideas: Musical Creativity, Vol. 10. Morelia, Michoacán: Centro Mexicano para la Música y las Artes Sonoras – CMMAS. http://www.sonicideas.org. (ISSN: 2317-9694). Kontukoski, M., Luomala, H., Mesz, B., Sigman, M., Trevisan, M., Rotola-Pukkila, M. & Hopia, A. (2015). Sweet and sour: Music and taste associations. Nutrition & Food Science 45(3), 357-376. Lazzarini, V., & Timoney, J. The Analogue Computer as a Voltage-Controlled Synthesiser. In 14th International Symposium on Computer Music Multidisciplinary Research (p. 663). Lazzarini, V., Keller, D., Kuhn, C., Pimenta, M. & Timoney, J. (2015). Prototyping of ubiquitous music ecosystems. Journal of Cases on Information Technology 17 (4), 73-85. (Doi: 10.4018/JCIT.2015100105.) Lima, M. H., Keller, D., Flores, L. V., & Ferreira, E. (2017). Ubiquitous music research: Everyday musical phenomena and their multidisciplinary implications for creativity and education. Journal of Music, Technology & Education, 10(1), 73-92. Lima, M. H., Keller, D., Pimenta, M. S., Lazzarini, V. & Miletto, E. M. (2012). Creativity-centred design for ubiquitous musical activities: Two case studies. Journal of Music, Technology and Education 5 (2), 195222. (Doi: 10.1386/jmte.5.2.195_1.) Literat, I., & Glaveanu, V. P. (2018). Distributed creativity on the internet: A theoretical foundation for online creative participation. International Journal of Communication, 12, 16 18 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Maier, M., Mahfuzulhoq, C., Rimal, B. and Pham Van, D. (2016). The Tactile Internet: Vision, Recent Progress, and Open Challenges, IEEE Communications Magazine 54. (DOI: 10.1109/MCOM.2016.7470948) Messina, M., & Aliel, L. (2019, October). Ubiquitous Music, Gelassenheit and the Metaphysics of Presence: Hijacking the Live Score Piece Ntrallazzu 4. In 14th International Symposium on Computer Music Multidisciplinary Research (pp. 685-695). Marseille, France: PRISM. Miletto, E. M., Pimenta, M. S., Bouchet, F., Sansonnet, J.-P. & Keller, D. (2011). Principles for Music Creation by Novices in Networked Music Environments. Journal of New Music Research 40 (3), 205-216. (Doi: 10.1080/09298215.2011.603832.) Malinin, L. H. (2013). Empowering the Creative Practitioner: Towards an ecological framework of creativity as embedded practice to inform environmental design. University of Colorado at Denver. McCormack, J., & d’Inverno, M. (Eds.). (2012). Computers and creativity. Berlin and Heidelberg: Springer. Mithen, S. J. (2007). The singing neanderthals: The origins of music, language, mind and body. Cambridge, MA: Harvard University Press. Mori, B. B. (2017). Music and non-human agency. In Ethnomusicology: A Contemporary Reader, Volume II (pp. 181-194). London: Routledge. Odling-Smee, F. John, Kevin N. Laland, and Marcus W. Feldman (2003). Niche Construction: The Neglected Process in Evolution. Princeton: Princeton University Press. Pata, K. (2010). Revising the framework of knowledge ecologies: How activity patterns define learning spaces. In Educational Social Software for Context-Aware Learning: Collaborative Methods and Human Interaction (pp. 241-267). Vancouver, BC: IGI Global. Patel, A. D. (2014). The evolutionary biology of musical rhythm: was Darwin wrong?. PLoS biology, 12(3). Paris, E., Millot, J., Guillot, P., Bonardi, A. & Sèdes, A. (2017), Kiwi : Vers un environnement de creation musicale temps reel collaboratif premiers livrables du projet MUSICOLL. In Actes de Journées d'Informatique Musicale 2017 (JIM 2017). Pereira, V. S., Silva, S. L., Bessa, W. R. B., Alcântara-Silva, T. R. & Keller, D. (2018). SoundSphere: Participatory design as a strategy to develop sustainable technologies in ubiquitous music (SoundSphere: O design participativo como estratégia para o desenvolvimento de tecnologias sustentáveis em música ubíqua), Sonic Ideas 10 (19), 7-44. Pimenta, M. S., Flores, L. V., Capasso, A., Tinajero, P. & Keller, D. (2009). Ubiquitous music: concept and metaphors. In Farias, R. R. A., Queiroz, M. and Keller, D. (eds.), Proceedings of the Brazilian Symposium on Computer Music (SBCM 2009), pp. 139-150. Recife, PE: SBC. Pinheiro da Silva, F., Keller, D., Ferreira da Silva, E., Pimenta, M. S., & Lazzarini, V. (2013). Everyday musical creativity: Exploratory study of ubiquitous musical activities (Criatividade musical cotidiana: Estudo exploratório de atividades musicais ubíquas). Música Hodie 13, 64-79. Pinker, S. (1997). How the mind works. New York, NY: Norton. Quiñones, M. G., Kassabian, A., & Boschi, E. (Eds.). (2016). Ubiquitous musics: The everyday sounds that we don't always notice. London: Routledge. Rokeby, D. (1986). Very Nervous System [Installation]. Arte, Tecnologia e Informatica, Venice Biennale, Venice, Italy. http://www.davidrokeby.com/vns.html Small, C. (1998). Musicking: The meanings of performing and listening. Wesleyan University Press. Sorensen, A. C., & Brown, A. R. (2007). aa-cell in practice: An approach to musical live coding. In Proceedings of the International Computer Music Conference (pp. 292-299). International Computer Music Association. Stolfi, A. S., Milo, A., & Barthet, M. (2019). Playsound. space: Improvising in the browser with semantic sound objects. Journal of New Music Research, 48(4), 366-384. Truax, B. (1984). Acoustic Communication. Norwood NJ: Ablex Publishing. 19 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Turchet, L., Fischione, C., Essl, G., Keller, D., & Barthet, M. (2018). Internet of musical things: Vision and challenges. IEEE Access, 6, 61994-62017. Weiser, M. (1991). The Computer for the 21 st Century. Scientific American, 265(3), 94-105. Wessel, D., & Wright, M. (2002). Problems and prospects for intimate musical control of computers. Computer Music Journal, 26(3), 11-22. Zawacki, L. F., & Johann, M. O. (2012). A system for recording analog synthesizers with the Web. In Proceedings of the International Computer Music Conference (pp. 128-131). 20 International Journal of Digital Media and Interaction Special Issue on Ubiquitous Music, Vol.3, No.5, (2020) Segundo Ciclo da Música Ubíqua: Criatividade na Colaboração, Automação e Transferência de Conhecimentos (Editorial) 1 Damián Keller1, Marcello Messina2, Francisco Z. N. de Oliveira3 Núcleo Amazônico de Pesquisa Musical (UFAC / IFAC), 2 UFPB, 3Universidade Federal de Rondônia 1 [email protected], [email protected], [email protected] Resumo O presente volume apresenta uma diversidade de propostas alinhadas em torno aos esforços atuais na pesquisa em música ubíqua (ubimus). Três artigos oferecem contribuições à interação timbrística envolvendo participantes leigos. Duas propostas direcionam-se ao desenvolvimento de atividades musicais em rede – uma envolve trocas sincrônicas de recursos visuais; a outra propõe a implementação de robôs musicais no contexto da Internet das Coisas Musicais (IoMusT). O volume conclui com uma entrevista sobre a ecocomposição, uma das linhas de trabalho impulsionadas pela pesquisa ubimus. Bessa et al. traçam estratégias dentro da perspectiva WYDIWYHE (acrônimo inglês de "o que você faz é o que você ouve"), uma nova vertente de design de interação baseada nas práticas criativas cognitivoecológicas. Essa abordagem envolve o uso do suporte visual para representar ações e resultados sonoros, abrangendo o toque, a visão e a escuta. Os autores propõem seis estratégias aplicáveis nesse âmbito: proporcionalidades no espaço-tempo, temporalidades flexíveis, isomorfismos, manipulação direta, abstrações semânticas e o uso de propriedades relacionais. Messina et al. relatam uma sessão intercontinental de live-patching com o software Kiwi. Essa experiência envolveu dois grupos vinculados a três universidades localizadas no Brasil e na França. De acordo com os autores, nas práticas musicais ubíquas essa proposta tem impacto na presença ou na ausência de componentes humanos a partir de padrões de territorialização, nas ações operativas e nos processos mnemônicos vinculados à prática coletiva da criação musical síncrona assistida por computador. Freitas et al. descrevem um estudo exploratório focado na Metáfora da Esfera do Som (Sound Sphere Metaphor). Um grupo de estudantes universitários de música sem treinamento prévio em ferramentas de áudio foi convidado a se engajar em atividades criativas em ambientes cotidianos. Apesar dos resultados sonoros satisfatórios, os autores do estudo apontam para a necessidade de aprimoramentos nos procedimentos experimentais. Com foco na infraestrutura para as atividades ubimus, Camporez et al. sugerem o uso de sensores, atuadores e conectividade para fins musicais no contexto da Internet das Coisas Musicais (IoMusT1). O artigo discute conceitos utilizados em ubimus para realizar atividades no contexto IoMusT, fornecendo exemplos de implementação e emprego de robôs musicais (RoboMus). Os autores focam a sincronização.dos recursos robóticos através de um sistema mecânico de compensação de atraso utilizando uma rede neural. Eles discutem também a implementação de um protocolo de sincronização precisa (PTP) aplicado na implementação de um relógio aplicado ao RoboMus. 1 Do inglês, Internet of Musical Things: IoMusT. Mantemos a sigla original na versão em português. ISSN: 2184-3120 CC 2020 DIGIMEDIA International Journal of Digital Media and Interaction Vol.3, No.5, (2020) Ancoragem Semântica Criativa (ASC) é uma metáfora para a ação criativa que usa estratégias verbais para amparar decisões estéticas. A Ancoragem Semântica Criativa envolve a contextualização verbal de materiais sonoros para facilitar decisões estéticas que demandam a transmissão de conhecimentos musicais. Complementando propostas anteriores, Keller et al. apresentam um estudo que aplica estratégias semânticas na seleção de fontes sonoras. Os estímulos consistem em excertos de peças para violino solo, baseadas em imitações de eventos cotidianos. Buscando obter uma imagem quantitativa da relevância dos descritores, os autores juntaram respostas de 58 estudantes universitários com conhecimento musical básico ou intermediário. Os resultados apontam resultados originais e indicam que os sujeitos estavam familiarizados com o material sonoro. O descritor agradável – ligado a aspectos altamente subjetivos – e o descritor bem-feito – relativo aos aspectos técnicos dos materiais – tiveram escores consistentes. Carson realiza uma entrevista profunda e detalhada com Damián Keller sobre as origens das perspectivas ecológicas para a criação musical, abordando parte dos desenvolvimentos mais recentes no campo da música ubíqua. A discussão revela diversos aspectos de projetos artísticos e de propostas teóricas que ainda não foram discutidos na literatura, com destaque para os inícios da ecocomposição, a função dos sons cotidianos em ubimus e as relações entre as práticas criativas cognitivo-ecológicas e o ativismo ambiental. Introdução: Arte, tecnologia e reflexão Keller e Barreiro (2018) proporcionam um panorama das diversas tendências em ubimus, enfatizando duas linhas principais de pesquisa que vêm tendo destaque nos últimos anos. Eles indicam que parte dos esforços dessa pesquisa direciona-se à inclusão de uma maior variedade de participantes em atividades criativas, com forte ênfase nas pessoas sem treinamento específico ou com engajamento casual nessas atividades. A participação casual envolve demandas mais rigorosas, não apenas por causa da falta de tempo de preparação para a atividade musical – com limitações no treinamento e na familiarização com os recursos tecnológicos e sonoros –, mas também por conta das características peculiares e imprevisíveis dos espaços de realização das atividades ubimus, tais como os ambientes transitórios ou os espaços de lazer, que não foram projetados para o fazer artístico. Outra linha de pesquisa vem impulsionado o avanço do conhecimento musical a partir da convergência entre a disponibilidade de suportes tecnológicos e as práticas artísticas inovadoras, complementada ainda por um emprego socialmente consciente dos recursos. Esse trio de tecnologia, arte e reflexão não é exclusivo das iniciativas ubimus, mas aponta para potenciais cruzamentos com campos próximos, como a etnomusicologia (Quiñones et al. 2013), os estudos da paisagem sonora (Truax 1984), o design participativo (Ehn 1988), a criatividade computacional (McCormack and D’Inverno 2012) e as abordagens ecológicas emergentes aplicadas à educação e à criatividade (Malinin 2015; Pata 2009). A pesquisadora Helena Lima é pioneira no desenvolvimento de uma abordagem socialmente engajada dentro de ubimus – a dialógica –, envolvendo colaborações intensas em atividades coletivas. Aplicada sobretudo em contextos educacionais, a dialógica foca o engajamento dos participantes em atividades criativas longitudinais e coletivas. Por meio de práticas reflexivas, visa-se atingir uma construção comunitária do conhecimento. Mais do que um produto atrelado a um gênero musical específico, o alvo da atividade é a autorreflexão como elemento central do processo artístico (Donald 2006). 22 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) Criatividade musical cotidiana O presente volume alinha-se à década de desenvolvimento de estratégias de criação musical em ambientes cotidianos, objetivando a inclusão de não-músicos como colaboradores criativos. Tais motivações não são novas. Elas decorrem de uma tradição de práticas artísticas vinculada a conceitos tais como o da música de mobiliário (musique d’ameublement) – música que não demanda qualquer talento especial ou treinamento especializado para ser realizada – idealizada pelo compositor Erik Satie no início do século passado. Uma diferença, contudo, entre as perspectivas apresentadas neste volume e as tendências artísticas originadas no século XX é a disponibilidade de uma infraestrutura tecnológica voltada para as atividades criativas. As concepções expandidas da experiência musical – de uma entidade estática ou de uma estrutura formal a um processo dinâmico e auto-organizado; e de um fenômeno autônomo a um conjunto de propriedades relacionais socialmente construídas e firmemente ancoradas em um contexto material específico – convergiram no campo de pesquisa multifacetado que hoje denominamos música ubíqua (Keller et al. 2014a). De acordo com Keller e Lazzarini (2017a), as práticas musicais cotidianas amparam-se em interações sociais intensas, ambientes cotidianos por vezes intrusivos e atividades livres e exploratórias que envolvem a utilização de recursos extramusicais. Isso traz à tona as limitações do conjunto existente de ferramentas de suporte à criatividade. Desde Blacking (1973), as iniciativas de cunho antropológico-musical colocam a interação social em primeiro plano. Para Blacking, o estudo da música – ao invés do estudo da representação das ações instrumentais em uma partitura, ou do estudo dos subprodutos sonoros registrados em gravações – envolve a documentação e a análise da atividade musical durante o ato de fazer música. Tal visão é posteriormente sintetizada por Small (1986) verbalizando os processos musicais enquanto “o ato de musicar”. O verbo musicar enfatiza as propriedades dinâmicas de criar, produzir e ouvir produtos musicais. A proposta de Small põe em evidência as hierarquias e contradições implícitas dos rituais estereotipados da música instrumental, exemplificados pelo modelo da orquestra, que reforçam a separação entre agentes produtores e receptores durante o processo de tomada de decisões estéticas. Música ubíqua (ou ubimus) tem sido definida como o estudo de sistemas de (1) agentes humanos e (2) recursos materiais que (3) promovem atividades musicais por meio de (4) ferramentas de suporte à criatividade. Essa definição subdividida em quatro componentes abrange os fatores humanos, os recursos materiais e as propriedades que emergem durante as atividades criativas, junto com as estratégias de design que expandem as possibilidades criativas – reportando-se assim tanto aos processos quanto aos subprodutos das atividades. É interessante notar que as primeiras propostas de ubimus não colocavam ênfase nos aspectos criativos do fazer musical. Durante a fase inicial exploratória de ubimus (2007-2014), as definições centravam-se na infraestrutura tecnológica – posta em destaque pela adoção do termo ubíquo –, aludindo a um subconjunto de questões relacionadas à computação ubíqua (Weiser 1991). Porém ao se deparar com a diversidade de fatores sociais e cognitivos que vêm a tona nos ambientes cotidianos, essa perspectiva apresenta limitações. Particularmente, os suportes para a participação casual colocam desafios que vão além do foco na performance musical, principal alvo da abordagem à interação musical mais citada dentro do campo da computação musical (como exemplo, ver o conceito de performance virtuosística2 em Wessel e Wright 2002). 2 Tal visão é encontrada nas propostas dos novos instrumentos para a expressão musical (New Instruments for Musical Expression: NIME). Sem abandonar a ênfase na implementação de dispositivos isolados, NIME substituiu recentemente a palavra “instrumentos” por “interfaces”. Como ficará claro na discussão adiante, a fixação de NIME no dispositivo, no instrumento ou na interface pode acabar atrapalhando o desenvolvimento de suportes flexíveis e sem vieses de gêneros musicais para as práticas criativas. 23 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) Recursos musicais descentralizados Evitando as abordagens focadas em ferramentas ou instrumentos isolados, Lazzarini et al. (2015) propõem o ecossistema musical ubíquo em substituição ao quarto componente da definição de ubimus (i. e., as ferramentas de suporte à criatividade). Os motivos são diversos. A implementação de instrumentos isolados – exemplificado nas propostas NIME – não satisfaz as demandas relativas às características relacionais e emergentes da participação casual e às estratégias oportunistas 3 observadas nas práticas criativas em ambientes cotidianos (cf. exemplos ubimus em Keller et al. 2013; Keller et al. 2015; Lima et al. 2017). Se por um lado a adoção de espaços tradicionais – tais como a sala de concerto ou o estúdio eletroacústico – garante um contexto material e um conjunto de expectativas sociais direcionadas a um fazer musical profissionalizado, a participação casual em atividades musicais cotidianas, por outro lado, expõe os interessados a fatores acústicos e sociais raramente considerados durante o design de instrumentos musicais digitais. De acordo com Keller e Lazzarini (2017a), os suportes para a música ubíqua precisam adotar estratégias que atendam não apenas as questões relacionadas à interação e ao áudio, eles também devem levar em conta os fatores vinculados à atividade e às relações entre materiais e agentes. Portanto, as perspectivas das ecologias musicais ubíquas diversificadas têm melhores chances de lidar com os processos dinâmicos subjacentes à criatividade musical cotidiana. O presente volume contribui para o avanço do conhecimento musical ampliando o leque de suportes tecnológicos (Camporez et al.) para práticas artísticas coletivas voltadas a níveis diversos de expertise técnica (Messina et al.), propondo novas abordagens à transferência de conhecimento e adotando estratégias de design fundamentadas nas propostas cognitivo-ecológicas (Bessa et al.; Freitas et al.; Keller et al.2014b). Tais contribuições servem de complemento aos avanços recentes em música ubíqua, com destaque para: a aplicação de estratégias semânticas para a transmissão de conhecimentos musicais (Keller and Feichas 2017; Stolfi et al. 2019), a incorporação da improvisação nas práticas cognitivoecológicas (Aliel et al. 2015; Messina and Aliel 2019) e as propostas de desenvolvimento da Internet das Coisas Musicais (Keller et al. 2019; Lazzarini and Keller 2017; Turchet et al. 2018). Tomemos como exemplo o desenvolvimento da Internet das Coisas Musicais (IoMusT). Embora essa área ainda seja só um construto teórico, ela reaproveita realizações parciais e contribuições espalhadas em projetos ubimus anteriores. De acordo com Keller et al. (2019), há grande semelhança entre as definições iniciais da música ubíqua e as conceituações recentes da IoMusT4. Possivelmente, essas duas áreas de estudo sejam complementares. Se de um lado o desenvolvimento da IoMusT direciona-se à infraestrutura necessária para realizar atividades musicais, do outro lado, a pesquisa ubimus foca os processos criativos do fazer musical, ligados à sustentabilidade e às formas mais flexíveis de participação social. Consequentemente, durante a última década expandiram-se os horizontes das práticas ubimus, incluindo aspectos do fazer musical que vão além do desenvolvimento ou do uso de ferramentas. Por vezes, os esforços em ubimus aproveitam recursos e tecnologias já disponíveis, envolvendo adaptações baseadas em estratégias oportunistas adaptativas de design. Tais esforços evitam a implementação de infraestrutura nova (Flores et al. 2010; Keller, Pinheiro, da Silva, Ferreira et al. 2013). Em outros casos, os projetos ubimus exigem tecnologias customizadas de áudio profissional, baseadas na utilização da internet e alinhadas aos objetivos das iniciativas IoMusT (Lazzarini e Timoney 2019; Zawacki e Johann 2012). Com 3 Opportunistic strategies, opportunistic design: perspectiva iniciada por Visser (1994) e adotada em múltiplos projetos de design. Em português, a conotação negativa do termo oportunismo pode ser contornada acrescentando o adjetivo adaptativo. Dessa forma, para as características positivas aplica-se oportunismo adaptativo e para as negativas oportunismo mal-adaptativo. 4 Ver Pimenta et al. (2009) para uma dentre as diversas definições iniciais de ubimus, focada sobretudo na infraestrutura tecnológica para o fazer musical. 24 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) base nessas observações, Keller e co-autores vislumbram uma dinâmica de enriquecimento mútuo entre ubimus e IoMusT. Experiências em ubimus podem estimular o desenvolvimento de novas tecnologias IoMusT e o aumento na disponibilidade de recursos IoMusT pode fomentar novas oportunidades de aplicação em contextos ubimus. Dada a presença potencialmente massiva da Internet das Coisas nos ambientes cotidianos, os requisitos e as possibilidades de uso dos componentes IoMusT demandam estudos minuciosos para criar condições efetivas de prática e exigem, acima de tudo, o estudo dos aspectos éticos das atividades musicais ubíquas. Parte dessas questões é abordada por Camporez et al. no presente volume. Keller et al. (2019) descrevem o desenvolvimento de uma metáfora para a ação criativa envolvendo o uso de gestos manuais: Handy. A metáfora Handy baseia-se em movimentos corporais e no uso de ambas as mãos, e visa intensificar o potencial criativo dos recursos IoMusT. Após sessões informais com artistas e músicos, os autores reuniram opiniões a respeito da capacidade de controle e das limitações de dois protótipos. As duas implementações utilizavam plataformas tecnológicas diferentes, mas aplicavam métodos similares de design de interação. Ambos os protótipos baseiam-se nos movimentos das mãos e do torso para sintetizar e processar áudio através de algoritmos síncronos. Ao passo que um protótipo replica a abordagem paramétrica própria do design do instrumento eletrônico Theremin, a outra visa um uso exploratório das relações entre movimentos corporais e produtos sonoros. Os resultados desses estudos apontam para um bom potencial de uso em espaços públicos. Outra vertente de desenvolvimento de hardware é delineada por Lazzarini e Timoney (2019). Esses dois referentes da pesquisa ubimus demonstram a proficuidade da abordagem das práticas musicais eletrônicas e computacionais em rede através da computação analógica. Eles apresentam uma introdução geral às tecnologias analógicas voltadas para o fazer musical, traçando ainda um paralelo histórico com a implementação de sintetizadores modulares baseados no controle de voltagem. Os exemplos apresentados são relevantes para a implementação do processamento analógico de áudio e apontam aplicações práticas em pesquisa e em produção musical. A discussão do estado da arte da computação analógica põe em evidência a existência de tecnologias com potencial de uso imediato nas práticas ubimus. Quanto aos desafios concernentes à implementação, a qualidade dos resultados sonoros analógicos é limitada, incluindo uma proporção baixa entre sinal e ruído, e pouca estabilidade na relação altura/voltagem. A sincronização também é uma limitação a ser tratada, podendo comprometer seriamente a escalabilidade dessas tecnologias. Ao considerar essas questões e providenciar as ferramentas necessárias para corrigir erros, Lazzarini e Timoney estabelecem metas cruciais para o futuro da computação analógica em ubimus. Apesar das limitações técnicas atuais, a abordagem analógica ubimus tem potencial para render resultados interessantes em musicologia. Essa tecnologia pode ser empregada para reproduzir as primeiras práticas da música eletrônica5. A proposta foca um aspecto chave da música ubíqua, concernente à sustentabilidade das iniciativas culturais (Bernadini e Vidolin 2005), ao mesmo tempo em que minimiza o impacto ambiental6 das práticas criativas baseadas em tecnologia (Pereira et al. 2018). Quanto à programabilidade – um dos pilares das práticas musicais ubíquas (Keller et al. 2014a) –, Lazzarini e Timoney oferecem ferramentas flexíveis para a manipulação analógica do som voltadas para músicos e pesquisadores. A tecnologia 5 A música eletrônica é uma das vertentes históricas das práticas musicais embasadas em tecnologia. Surge na década de 1950, inicialmente na Alemanha. A característica principal é o uso de fontes sonoras sintetizadas, produzidas através de dispositivos eletrônicos analógicos. 6 Cabe aqui a inclusão do conceito de pegada ecológica, que ainda não foi incorporado amplamente à discussão dos desenvolvimentos culturais. De forma similar ao que acontece com os ecossistemas biológicos, acreditamos que a homogeneização das práticas musicais também pode ser prejudicial para a sustentabilidade das culturas humanas e para sua relação com os recursos ambientais. 25 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) analógica não estabelece gêneros musicais ou abordagens estéticas a priori. Portanto as ferramentas digitais analógicas podem ser aplicadas tanto nas práticas profissionais quanto no uso cotidiano. Componentes humanos nas ecologias ubimus Por meio da incorporação das perspectivas atuais sobre a teoria da evolução, a música ubíqua enfatiza o impacto dos fatores biológico-evolucionários sobre as práticas da criação musical. As propostas de ubimus abrangem duas abordagens: a hipótese do cérebro social (Dunbar and Schultz 2007) e a teoria da construção de nichos ecológicos (Odling-Smee et al. 2003). Os mecanismos de interação social voltados à sobrevivência compõem o cerne da primeira perspectiva. De acordo com Dunbar e Schultz, a predição das intenções de terceiros fomentou o surgimento das habilidades cognitivas mais refinadas da nossa espécie. Hominídeos capazes de prever os comportamentos de outros hominídeos tiveram maiores chances de sobrevivência. De modo complementar, a abordagem proposta por Odling-Smee e coautores explora a relação entre o ambiente local e o desenvolvimento da cognição humana. Em resposta a condições ambientais incertas, os mecanismos cognitivos ajustam-se às características do hábitat local. Simultaneamente, as ações dos grupos de hominídeos moldam os recursos materiais para atender as necessidades do grupo. A formação de nichos ecológicos decorre desses processos de determinação mútua. Desta feita, os nichos ecológicos não moldam apenas o acesso aos recursos materiais, mas também têm impacto nos comportamentos dos grupos de hominídeos. As duas teorias evolucionárias acima descritas estabelecem um contexto teórico amplo que embasa as múltiplas escolhas de design ubimus. O que um programa de pesquisa cujo principal objetivo diz respeito à criatividade musical tem a ver com a biologia ou a evolução? As respostas poderiam encher uma enciclopédia, mas selecionemos apenas alguns pontos de intersecção exemplificados em pesquisas recentes. A onipresença do fazer musical nas várias culturas sugere que a musicalidade pode ter sido um aspecto evolucionário dos hominídeos7. Há evidências da existência de musicalidade na maior parte das populações Homo Sapiens (Honing et al. 2014). Por outra parte, alguns pesquisadores – baseados em investigações arqueológicas – acreditam que o Homo Neanderthalensis também realizava atividades de cunho musical (Mithen 2007). Comportamentos musicais também foram observados em outras espécies (Patel 2014). Um exemplo são os padrões percussivos produzidos pelos chimpanzés (Arcadi et al. 2004; Babiszewska et al. 2015; Dufour et al. 2015). Alguns autores questionam a visão da música como fenômeno vinculado exclusivamente aos humanos (Mori 2017). Se as habilidades envolvidas na prática musical resultam de processos adaptativos e evolucionários ou se são apenas um subproduto de circuitos neurais previamente existentes (por meio da exaptação) é uma questão interessante (Pinker 1997), embora deslocada do foco deste volume. Evidências neurológicas obtidas recentemente apontam para uma reconfiguração dos padrões neurais através do treinamento musical (Herholz e Zatorre 2012). Essa observação reforça a ideia de que as atividades performativas – tais como o ato de musicar – podem ter tido um papel importante na formação da cognição humana, funcionando como mecanismos de sustentação das estratégias de cooperação (Dunbar e Schultz 2007; Mithen 2007). Diversas linhas de investigação convergem em direção a uma compreensão do ato de musicar enquanto um elemento central da dimensão social da cognição humana. Em face da evidência crescente, parece razoável ampliar um pouco a definição do que é música. As práticas criativas atuais indicam que a noção 7 Esse é um tópico de pesquisa que teve desenvolvimentos importantes a partir do início do século XXI. 26 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) Varesiana de material musical enquanto som organizado 8 está alinhada com as abordagens ao fazer musical criativo que não se restringem a um gênero musical (ver Keller e Budasz 2010). O instrumento, a nota, o ritmo, a melodia ou a harmonia são todos conceitos derivados da tradição acústico-instrumental, fortemente enviesada para as formas de organização sonora metrificadas e centradas na altura. Esses conceitos implicam, portanto, em escolhas estéticas que vinculam as estratégias criativas a um conjunto fechado de gêneros musicais. Embora aplicáveis à música projetada para os instrumentos acústicos, quando aplicados à música baseada em recursos voláteis, descentralizados, amétricos ou livres de alturas eles apresentam sérias limitações. Se levarmos a sério o ato de musicar enquanto um fenômeno a ser embasado em teorias evolucionárias, e/ou o contextualizamos dentro de uma rede complexa de agentes humanos e não-humanos, então seus mecanismos de transferência de conhecimento não podem ser restringidos à ocorrência singular de uma manifestação cultural circunscrita em um período histórico e que implica em múltiplos vieses raciais, geográficos e econômicos. Messina e coautores abordam várias dessas questões em sua contribuição a este volume. Práticas criativas cognitivo-ecológicas Três dos artigos do presente volume baseiam-se em perspectivas cognitivo-ecológicas de design de interação aplicadas ao fazer musical. Inclui-se aí o desenvolvimento de duas metáforas para a ação criativa: a Esfera do Som (SoundSphere) e a Ancoragem Semântica Criativa (ASC). Bessa et al. definem parte das estratégias envolvidas como uma nova vertente de design de interação, fundamentada nos estudos da cognição ecológica (Keller e Lazzarini 2017; Pereira et al. 2018), a perspectiva WYDIWYHE. Essa abordagem implica no uso de auxílios visuais para representar ações que tenham impacto sobre os resultados sonoros, focalizando as relações entre fazer, ver e ouvir e envolve ao menos seis estratégias de design: proporcionalidades no espaço-tempo, temporalidades flexíveis, isomorfismos, manipulação direta, abstrações semânticas e o uso de propriedades relacionais. 1. A proporcionalidade no espaço-tempo é exemplificada no SoundSphere por representações que exploram a proporcionalidade direta entre a temporalidade9 e o espaço visual. Essa estratégia pode ser estendida a outras modalidades, incluindo o uso de recursos materiais dentro do campo da interação tangível ou no design da interação gestual. 2. A adoção de temporalidades flexíveis permite a coexistência de várias formas de organização temporal – dando aos participantes maior autonomia na escolha e disponibilização dos recursos sonoros. No caso do SoundSphere, essa liberdade é sustentada na possibilidade de incorporar qualquer tipo de material sonoro. Contudo, o protótipo atual não dá suporte específico para o uso de eventos periódicos, como acontece nos sistemas orientados ao padrão métrico. Desse modo, a temporalidade no SoundSphere tende a priorizar organizações criativas baseadas no uso do timbre, relegando ritmo e alturas a funções secundárias. 3. O isomorfismo complementa as temporalidades flexíveis e é exemplificado pelas metáforas que estimulam a distribuição dos recursos sonoros sem impor hierarquias. Como exemplo, o SoundSphere comporta a aplicação de diversos procedimentos de organização dos materiais, incluindo os rascunhos sonoros (usados nas explorações iniciais das relações sonoras entre eventos) e as estruturas modulares (combinadas livremente combinadas ou segundo restrições 8 Edgard Varèse, compositor francês radicado nos EUA, é o primeiro a articular a noção de música como som organizado. É surpreendente observar que um século depois, esse conceito ainda não é levado a sério pelas pesquisas atuais. 9 O conceito de temporalidade abrange estratégias diversas de representação e organização do tempo musical. A entidade tempo, na perspectiva ubimus, inclui tanto os aspectos vinculados aos produtos sonoros quanto as propriedades decorrentes da experiência musical. Portanto, essa entidade abrange mas não se esgota na organização métrica, no andamento ou nas indicações agógicas. 27 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) específicas). O SoundSphere também dá suporte parcial para técnicas de processamento e para o uso de elementos multimídia – um exemplo concreto é descrito por Aliel et al. (2019). Esse tipo de utilização está melhor representada em estudos longitudinais, de modo que não foi explorada nos dois estudos relatados neste volume. 4. A manipulação direta possibilita interações vinculadas a comportamentos cotidianos, priorizando a relação ação-percepção (componente importante das práticas criativas cognitivo-ecológicas). No SoundSphere, a manipulação direta é usada no painel de seleção e no mecanismo de inserção dos eventos sonoros do painel de interação. 5. A abstração semântica envolve o acesso a processos musicais complexos por meio do uso da linguagem escrita ou falada. Essa estratégia possibilita a manipulação timbrística aplicando operadores de áudio associados a rótulos escolhidos pelos usuários (os operadores semânticotimbrísticos). 6. As propriedades relacionais emergem da interação entre os indivíduos interessados e o ambiente (Keller et al. 2015). Essas propriedades estão fortemente ligadas aos recursos locais. Nos espaços de transição, elas podem ter impacto no nível do esforço cognitivo e no perfil criativo dos produtos sonoros, fomentando o aumento da sua originalidade (Keller et al. 2013). Os dois artigos que apresentam metáforas de suporte para a ação criativa envolvem uma trama versátil de técnicas que exploram as relações semânticas entre a linguagem oral10 e os processos de organização sonora. Diversas soluções de design baseadas em descrições semânticas de eventos e de processos de manipulação de áudio são tratadas no texto Interação Timbrística em Ubimus. Freitas et al. apontam para o timbre como um tópico que coloca múltiplos desafios no âmbito da interação envolvendo leigos. Em alguns casos ––– especialmente se são empregados termos do domínio específico – as abstrações semânticas podem não ser úteis para os participantes sem treinamento musical. Os autores também argumentam que não é aconselhável lidar com a parametrização do timbre utilizando estratégias de mapeamento simplistas ou arbitrárias. Para lidar com as configurações paramétricas complexas no uso casual, os autores propõem ecologias de metáforas para a ação criativa através do design em camadas múltiplas. Freitas et al. discutem a interação timbrística com foco nas demandas da interação casual11. Experimentos anteriores com não-músicos indicam que fatores tais como o tempo investido em se familiarizar com os procedimentos e as demandas cognitivas da atividade têm impacto na qualidade dos resultados criativos. Desse modo, soluções simplistas amparadas em mapeamentos arbitrários ou na adoção acrítica de métodos oriundos das práticas acústico-instrumentais podem não ser aplicáveis à interação timbrística envolvendo participantes leigos. As manipulações timbrísticas ocorrem frequentemente em conjunto com outras atividades criativas – incluindo a seleção, a mixagem, a edição e o compartilhamento de dados musicais. Os experimentadores pediram a um grupo de estudantes de graduação que usem – durante sessões curtas de criação musical – uma ecologia de ferramentas centrada na metáfora SoundSphere. A maior parte dos participantes completou com sucesso suas tarefas. Diversos problemas, contudo, foram suscitados tanto no que diz respeito aos materiais quanto ao uso dos protótipos. Os resultados indicaram a necessidade de aprimorar a informação visual do tipo de processamento sonoro aplicado. Como complemento, o estudo relatado por Bessa et al. indica que a ecologia SoundSphere apresenta um bom potencial de suporte para a interação timbrística em contextos cotidianos e educacionais. Segundo os 10 O termo adotado no campo da computação é linguagem natural, em oposição às linguagens codificadas utilizadas no desenvolvimento de algoritmos. 11 Casual interaction ou interação casual (Borning e Travers 1991). 28 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) autores, a aplicação de uma estratégia semântica favorece a transferência rápida de conhecimentos altamente técnicos e especializados, sem que para isso sejam necessários períodos longos de treinamento ou de preparação específica. Em consonância com os resultados obtidos em experimentos anteriores em ubimus (Keller et al. 2013), os espaços de transição têm um impacto positivo no fator originalidade, mas esse efeito não se faz presente na relevância dos produtos criativos. Em consonância também com os resultados obtidos com outras metáforas de suporte à ação criativa (tais como a marcação temporal, a marcação espacial, a marcação gráfica-procedimental, ou o uso de substitutos criativos), a maior parte dos participantes qualificou as atividades com a metáfora SoundSphere como sendo divertida e agradável, e apontaram um alto potencial de suporte para a colaboração. Colaboração e temporalidade em ubimus Alinhadas com o segundo componente da definição de ubimus, duas contribuições a este volume visam o desenvolvimento de práticas baseadas em recursos descentralizados. A música ubíqua tem sido abordada através múltiplas perspectivas (Brown et al. 2014; Miletto et al. 2011). Uma das primeiras questões levantadas foram os ambientes em rede para a criação musical. Esses sistemas devem ser modelados a partir das práticas acústico-instrumentais existentes, ou eles requerem novas formas de engajamento social?. Sobre essa questão, deve-se indagar se há limites inerentes à participação remota de múltiplos participantes, ou se as limitações existentes decorrem da falta de suporte tecnológico. Um caso a se examinar é a recente confluência dos recursos multimodais impulsionando a formação da internet tátil12 (Maier et al. 2016). Em tese, essa tecnologia permitiria que se estabeleçam formas multimodais de interação, com suporte para a interação tempo real em um raio máximo de 300 quilômetros. A internet tátil deve possibilitar que os participantes compartilhem dados hápticos e visuais durante as atividades ubimus, melhorando a qualidade do engajamento síncrono. Complementarmente, o acesso à realidade virtual e aos recursos robóticos pode tornar-se viável, minimizando-se os limites entre a interação presencial e a interação remota. O aumento da velocidade, da largura de banda e da confiabilidade da conectividade de internet pode impactar positivamente as práticas musicais dependentes da sincronização temporal, fomentando o feedback imediato de parceiros e a manipulação de um volume grande de dados. Em especial, podem ser viabilizadas as atividades baseadas na notação em vídeo, nos dispositivos táteis (Rovan 2000), nos dispositivos de síntese de odores (Mesz et al. 2012) e na captura de movimentos (Rockeby 1986). Não é ainda claro, contudo, se a internet tátil fornecerá suporte a aspectos centrais do ciclo criativo, tais como a seleção de recursos massivos de áudio, ou a habilidade de antever resultados musicais efetivos enquanto os recursos sonoros não estão disponíveis. Essas duas questões talvez dependam de estratégias de design criativo que não dependem da interação síncrona. Como exemplo, nem a velocidade de transmissão nem a largura de banda da internet são entraves sérios para as atividades musicais que não utilizam instrumentos musicais acústicos. A falta de sincronização é uma limitação para as performances de conjuntos musicais acústicos a distância (Barbosa 2010), mas essa ressalva aplica-se apenas aos casos em que se adotam práticas musicais típicas do século XIX. Ao abordar essas questões como possibilidades musicais (ao invés de tratá-las como limitações tecnológicas), as exigências da sincronização rigorosa desaparecem ou ficam em um segundo plano (Bhagwati 2013). Acreditamos, portanto, que as estratégias flexíveis de manipulação da temporalidade musical podem ser mais eficazes do que as soluções baseadas na adaptação das novas tecnologias para os velhos gêneros musicais. 12 Tactile internet: uma nova geração de desenvolvimento da Internet das Coisas, voltada para a incorporação de recursos multimodais. 29 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) Dados os supracitados desafios, a implementação e o uso de robôs, por parte de Camporez e coautores, pode complementar as iniciativas existentes na disponibilização de recursos ubimus via internet. Os autores descrevem o desenvolvimento de um sistema de sincronização para dispositivos musicais robóticos. Sua proposta de um sistema mecânico de compensação do atraso por meio de redes neurais treinadas pode levar a soluções alternativas para problemas de sincronização de dispositivos. Os autores discutem também a implementação e o uso de um protocolo de sincronização precisa (PTP) que é aplicado no protótipo de relógio usado no RoboMus. De acordo com os autores, esse formato de mensagens ajuda na compensação de atrasos mecânicos, dando maior robustez à plataforma. O desgaste físico dos componentes mecânicos pode interferir nos tempos de atraso. Para lidar com esse problema, a rede neural é reorientada a aprender uma nova configuração. Além disso, outros problemas podem ocorrer em decorrência do aquecimento dos componentes mecânicos. Essas variações podem ser previstas e corrigidas vinculando, por exemplo, o sistema adaptativo de relógio a sensores de temperatura. Amparando-se no crescimento dos sistemas musicais baseados nas plataformas de navegação, Messina et al. relatam sessões intercontinentais de live patching realizadas com a linguagem visual Kiwi. Essa atividade criativa está ligada à prática de live coding 13 (Sorensen and Brown 2007) e pertence a uma família de iniciativas que poderíamos descrever como música ubíqua em rede14, baseada no uso de recursos remotos para a realização de atividades criativas compartilhadas (Miletto et al. 2011). Kiwi (Paris et al. 2017) é uma versão da amplamente utilizada linguagem visual Pure Data (Puckette 1997). A vantagem do Kiwi com relação a seu precursor é seu design adaptado para as plataformas de navegação, de modo que a colaboração e o uso online são funcionalidades inerentes. A integração dos componentes em rede é facilitada. Os patches de Kiwi foram desenvolvidos pelo grupo Live/Acc/Patch e por alunos de graduação da classe de tecnologia musical da Universidade de Paris 8, tendo cada grupo adotado estratégias específicas de elaboração dos algoritmos. Essa experiência intercontinental de live patching envolve uma combinação de pequenos elementos que interagem dinamicamente enquanto estruturas autônomas. A questão da temporalidade assume uma dimensão que estimula as abordagens abertas, colaborativas e nãohierárquicas. No Kiwi, todos os participantes têm os mesmos direitos de acesso. Do ponto de vista da engenharia do software, isso pode ser considerado negativo. Por outra parte, as operações em cada patch não deixam traços genealógicos, de modo que não é possível apurar a autoria dos objetos ou comentários disponibilizados no patch. Consequentemente, não há espaço para barreiras hierárquicas – como instrutor vs. aluno, ou grupo A vs. grupo B. De acordo com Messina et al., as práticas coletivas de criação síncrona de algoritmos musicais têm implicações na presença ou ausência de componentes humanos, nos padrões de territorialização, nas ações operativas e no suporte mnemônico necessário para a tomada de decisões no contexto ubimus. A experiência da realização de patches ao vivo confirma a operatividade de um padrão comportamental utilizado nas práticas da computação musical: o desenvolvimento de novas ferramentas é entrelaçado a questões composicionais e sociais fortemente atreladas à criação musical. Essa abordagem pode ser expandida aplicando duas estratégias. Primeiramente, a fim de compensar as limitações técnicas do Kiwi no processamento de áudio, é possível integrar a linguagem FAUST (porém, só para usuários intermediários ou avançados – Lazzarini et al. 2014). Em segundo lugar, a elaboração de patches ao vivo pode ser inserida nas práticas de concerto baseadas na improvisação. Essa segunda proposta alinha-se aos desenvolvimentos recentes no campo da comprovisação musical ubíqua (Aliel et al. 2015). 13 Criação síncrona de algoritmos musicais. 14 Network-based ubimus. 30 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) Surfando a segunda onda ubimus: Rumos futuros da pesquisa Os artigos apresentados no presente volume abrangem uma gama de assuntos relacionados às principais linhas de pesquisa do segundo ciclo de iniciativas ubimus, incluindo: (1) estratégias de transferência de conhecimento que propiciem aos leigos o acesso a processos complexos de criação musical; (2) elaboração de patches ao vivo (live patching) enquanto uma atividade de ubimus que incorpora o live coding sem a aura de prática “só para especialistas”; (3) o uso de robótica enquanto componente dos ecossistemas musicais ubíquos, podendo vir a contribuir com a implementação de uma Internet das Coisas Musicais (IoMusT); e (4) dois exemplos de metáforas de suporte à ação criativa: a metáfora da Esfera do Som (SoundSphere), disponibilizada em ambientes cotidianos, e a Ancoragem Semântica Criativa (ASC), que incorpora estratégias semânticas para criação e performance musicais. Esses dois últimos exemplos inserem-se em um campo da pesquisa ubimus que tem atraído atenção nos últimos dois ou três anos – as práticas criativas cognitivo-ecológicas. Essa perspectiva foi aplicada em contextos educacionais (Lima et al. 2012; Lima et al. 2017), em ambientes cotidianos (Ferreira et al. 2016; Keller e Lima 2016), em propostas teóricas (Keller and Lazzarini 2017b), em comprovisação (Aliel et al. 2015; Aliel et al. 2018) e em arte multimídia (Connors 2015; Gomes et al. 2014; Keller et al. 2014b). O volume encerra-se com uma entrevista realizada por Tate Carson, que documenta as primeiras iniciativas nas práticas criativas cognitivoecológicas e discute algumas das contribuições recentes a esse campo de pesquisa. Os cinco artigos apresentados neste volume oferecem ao leitor uma amostra da diversidade de aplicações que caracterizam as iniciativas ubimus. Quando observado perante o contexto das definições atuais de ubimus, fica claro como essa perspectiva vai além do foco exclusivamente tecnológico de subcategoria da computação ubíqua, tornando-se uma empreitada multidisciplinar. As preocupações políticas e ideológicas abordadas por Messina et al. dialogam bem com as implicações educacionais e filosóficas exploradas por Lima e coautores (2012 e 2017). As consequências artísticas e estéticas dos métodos adotados por Messina et al. são afins às propostas comprovisacionais apresentadas por Aliel et al. (2015 e 2018). Além disso, essa linha de pesquisa expande as práticas ubimus baseadas nas plataformas de navegação, apontando para questões latentes mas não desenvolvidas nos primeiros projetos de ubimus (Miletto et al. 2011). Transferência de conhecimento. As três propostas baseadas em práticas criativas cognitivo-ecológicas oferecem perspectivas inovadoras. Até recentemente, as estratégias semânticas não eram utilizadas como ferramentas de troca na ecocomposição (ver Carson para uma contextualização histórica). Os aspectos multimodais das práticas cognitivo-ecológicas impulsionaram uma integração de elementos verbais na transferência de conhecimentos. Uma primeira pista dessa direção foi a implementação dos substitutos criativos, recursos digitais que representam os materiais de base possibilitando transferências rápidas entre os participantes (Keller et al. 2015). Os substitutos criativos incorporam rótulos, portanto o uso de comandos verbais é apenas um refinamento ulterior dessa proposta. Se por um lado os resultados obtidos por Keller e coautores se valem da familiaridade para enfatizar a relação entre o conteúdo semântico dos excertos musicais e as experiências prévias do ouvinte, por outro, eles apontam também para a possibilidade de usar estratégias semânticas para avaliar a originalidade dos resultados sonoros. As metáforas de suporte à ação criativa apresentadas por Bessa et al. e utilizadas por Freitas et al. indicam a aplicabilidade dessa proposta. Mesmo assim, fazem-se necessários estudos ulteriores focados nas limitações desses métodos. Nessa esteira, o estudo de Freitas et al. indica uma relação complexa entre as características sonoras das fontes e os parâmetros timbrísticos. Se por um lado é possível atrelar um rótulo a um procedimento timbrístico, por outro lado o resultado sonoro depende tanto do som a ser processado quanto do tipo de processamento de áudio. Isso significa que algumas fórmulas simplistas como “se você tem este som e deseja tal tipo de 31 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) resultado, use então este operador timbrístico” não são aplicáveis. Seria possível estabelecer estratégias de transferência de conhecimento aplicáveis a processos descentralizados de tomada de decisões estéticas? Essa questão demandará ainda novas iterações de design, implementação e análise de resultados. Live patching. No que diz respeito às abordagens da criatividade grupal, se situarmos a experiência ubimus de elaboração síncrona de patches no contexto das práticas colaborativas atuais baseadas nas plataformas de navegação, alguns aspectos interessantes vêm à tona. A temporalidade parece ser uma qualidade de design que atravessa todas as práticas de ubimus. A volatilidade dos recursos proporcionados pelo Kiwi pode comprometer o suporte para as negociações entre os participantes. Ademais, a imediatez do resultado sonoro das atividades de live patching pressupõe a existência e o conhecimento de uma base de código prévia. Conforme novos códigos são acrescentados, qualquer erro impacta imediatamente o resultado sonoro. O acesso ilimitado aos patches compartilhados permite que todos os participantes modifiquem o código simultaneamente. Os comportamentos destrutivos podem sabotar os resultados sonoros do grupo, de modo que outros meios de negociação são necessários. As estratégias oportunistas adaptativas envolvendo chats ou mensagens de voz via ferramentas já existentes nos navegadores podem ser empregadas para superar eventuais mal-entendidos. Essa abordagem pressupõe, contudo, uma linguagem oral compartilhada entre todos os participantes. Esse não era o caso na experiência relatada, já que envolvia participantes franceses que não falavam português e brasileiros que não sabiam francês. Alternativamente, as ações destrutivas poderiam ser evitadas implementando mecanismos seletivos de compartilhamento, permitindo que apenas certas partes dos patches fiquem disponíveis para as ações coletivas, enquanto que outras são reservadas para um grupo restrito de indivíduos ou para o autor do patch. De certa forma essa abordagem já é adotada nas práticas ubimus de comprovisação: alguns recursos estão abertos às contingências, enquanto outros são predeterminados (Aliel et al. 2018). Complementarmente, a dinâmica de compartilhamento também pode estar sujeita a restrições temporais. Nesse caso, os recursos persistentes ficam acessíveis ao longo de toda a sessão, enquanto que outros são disponibilizados apenas durante uma janela temporal definida pelos usuários. Essa restrição temporal impulsiona uma estratégia mais refinada na hora da tomada de decisões. Os recursos persistentes garantem a estabilidade estrutural do resultado sonoro, enquanto que os recursos voláteis que enriquecem a experiência introduzindo contingências. Essa técnica pode ser definida como patching ubimus volátil. Coisas musicais robóticas. O exemplo que acabamos de discutir põe em evidência a relevância das qualidades temporais dos recursos nas atividades ubimus. Se uma abordagem simplista poderia adotar as categorias computacionais de processos síncronos ou assíncronos, a perspectiva de design deste segundo ciclo ubimus exige uma análise mais sutil. Os ecossistemas musicais ubíquos envolvem recursos materiais que abrangem tanto os processos diretamente relacionados aos resultados sonoros, quanto os mecanismos de suporte que sustentam decisões mas não têm impacto imediato nos produtos sonoros. Considere-se, por exemplo, a volatilidade como qualidade de design. A volatilidade pode estar relacionada às interações sociais promovidas pela atividade musical. A participação casual envolve o engajamento de participantes que não estão familiarizados previamente com os recursos utilizados na atividade. Essa limitação coloca exigências altas na usabilidade da infraestrutura de suporte, forçando a instalação ou a configuração rápida, e em alguns casos envolvendo também o pré-processamento dos recursos. Essas exigências podem ser contornadas dividindo as funcionalidades entre grupos de participantes com perfis diversos. Ao se inserir no ciclo criativo em diferentes estágios, cada grupo fornece conhecimentos que agregam valor aos recursos e que podem propiciar uma interação mais intuitiva. Por exemplo, os usuários avançados podem oferecer configurações paramétricas complexas que os usuários casuais recuperam através de indicadores semânticos (ver exemplo em Freitas et al.). Desta feita, em ubimus os diferentes níveis de conhecimento 32 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) convergem nos esforços colaborativos configurando uma estratégia oportunista adaptativa voltada para as iniciativas comunitárias. Uma forma de temporalidade relevante no design de ubimus é a sincronicidade. Enquanto que no trabalho em estúdio os mecanismos de sincronização ficam disponíveis para uso, esses recursos são bastante mais raros nos suportes remotos. Conforme sugerido por Turchet et al. e outros autores, um dos requisitos para uma implementação efetiva da IoMusT é a existência de protocolos padronizados que permitam a troca de mensagens entre os agentes e as coisas musicais. A contribuição de Camporez et al. pode ser aplicada a uma gama de ferramentas que demandam sincronização fina, abrangendo dispositivos táteis, visuais e sonoros. A adaptação do protocolo de sincronização precisa (PTP) descrito por Camporez e coautores pode preencher parcialmente essa lacuna. Os mecanismos de compensação de atraso viabilizam a sincronização ou a recuperação (em casos de falhas temporárias de transmissão de dados). Os autores também abordam aspectos da interação homem-robô, ainda não contempladas nos projetos voltados à implementação da IoMusT. As ressalvas não são triviais. Consideremos o exemplo de uma rede simples que interliga quatro dispositivos, sendo que dois destes envolvem a participação humana e os outros dois são robôs. Para uma sessão sincrônica aberta a contribuições por parte dos dispositivos operados por humanos, o mínimo de informação a ser compartilhada é o resultado sonoro sincronizado entre todos os dispositivos. Isso implica que a acurácia temporal da transmissão deve permanecer dentro do âmbito temporal de uma amostra digital (1/44100 segundos). Isso é viável para algumas configurações locais semelhantes àquelas exemplificadas pelos autores; mas tão logo se tenta acessar dispositivos através de redes de grande extensão, a performance tende a se degradar progressivamente até atingir vários milissegundos. Em alguns casos, esse nível de degradação poderia ser evitado pelo uso da internet tátil, muito embora haja ainda diversos desafios a serem superados para viabilizar o uso musical dessa infraestrutura. Outra questão de interesse diz respeito ao conceito de criatividade distribuída (Glaveanu 2018). A pesquisa em ubimus alavancou a importância da criatividade distribuída por meio da incorporação de dispositivos remotos nas atividades musicais e através do aumento da participação de leigos em atividades de criação em grupo. Enquanto outras abordagens baseiam-se na criatividade individual – abrangendo o instrumentista virtuoso, o todo-poderoso regente de orquestra, o gênio-compositor e o técnico de estúdio –, as práticas de ubimus concedem aos participantes casuais (Pinheiro da Silva et al. 2013), aos novatos (Miletto et al. 2011) e aos robôs (Camporez et al. 2018) o centro do palco 15 . Isso eleva o nível de exigência do suporte. Conforme discutido por Coelho de Souza e Faria (2010), máquinas autônomas poderiam eventualmente proporcionar experiências de alta qualidade estética. Contudo, só seriam apreciáveis por outras máquinas autônomas equipadas com as devidas capacidades perceptivas. Embora soe estranho, se invertermos essa afirmação, torna-se claro que estamos nos aproximando rapidamente de um ponto sem volta. O volume de lixo sonoro produzido por equipamentos cotidianos (com destaque para os telefones celulares) está se tornando onipresente em casas, escritórios, terminais, ruas e mesmo hospitais! O que é necessário para reduzir a quantidade de som indesejado? Fones de cancelamento acústico. Mas o uso desse tipo de fones de ouvido, assim como o uso de aparelhos de som portáteis com fones sem cancelamento, implica em um isolamento auditivo quase completo do ambiente. O risco de conceder às indústrias de telefones celulares, de microondas ou de geladeiras16 as decisões sobre a nossa paisagem sonora cotidiana significa resignar nosso direito de escolher o nosso hábitat. Um problema semelhante está implícito na implantação massiva de robôs musicais autônomos. Se são eles que decidem quando e como farão música, como lidaremos com esses dispositivos nos espaços públicos? Quem decide como se comportam? A fábrica de robôs? O 15 Mais precisamente, ubimus elimina a hierarquia simbólica entre palco e plateia. 16 Esses são apenas os aparelhos eletrônicos mais disseminados; com a popularização da Internet das Coisas, é muito provável que todo tipo de aparelho venha a incluir atuadores e controladores. 33 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) governo? Um usuário casual? Todavia, com o aumento da dependência dos participantes humanos das funcionalidades sofisticadas dos robôs atrelados à Internet das Coisas Musicais, há o risco de ocorrer um declínio geral das habilidades criativas humanas 17 . Conforme apontado por Carr (2013): “confiar nos computadores para pilotar nossos aviões, diagnosticar nossos cânceres, desenhar nossos edifícios, auditar nossos negócios – tudo isso é muito bom; mas o que acontece se as máquinas falham e os humanos se tornam ineptos, graças à automação?” Talvez seja hora de refletir que tipo de mundo sonoro queremos. Referências Aliel, L., Keller, D., Alvim, V. R. (2019). A Soundtrack for Atravessamentos: Expanding Ecologically Grounded Methods for Ubiquitous Music Collaborations. In: M. Aramaki; O. Derrien; R. KronlandMartinet; S. Ystad. (Org.). 14th International Symposium on Computer Music Multidisciplinary Research. Marseille, France: PRISM, v. 1, 652-662. Aliel, L., Keller, D., & Costa, R. (2015). Comprovisação: Abordagens Desde a Heurística Estética em Ecocomposição. XV Simpósio Brasileiro de Computação Musical (SBCM 2015) (pp. 169-180). Campinas, SP: SBC. (ISBN 2175-6759). Arcadi, A. C., Robert, D., & Mugurusi, F. (2004). A comparison of buttress drumming by male chimpanzees from two populations. Primates, 45(2), 135-139. Babiszewska, M., Schel, A. M., Wilke, C., & Slocombe, K. E. (2015). Social, contextual, and individual factors affecting the occurrence and acoustic structure of drumming bouts in wild chimpanzees (Pan troglodytes). American journal of physical anthropology, 156(1), 125-134. Barbosa, A. (2010). Performance Musical em Rede. In D. Keller, R. Budasz (eds.), Criação musical e tecnologias: Teoria e prática interdisciplinar, Goiânia: Anppom (Série Pesquisa em Música no Brasil, v. 2), pp. 180-200. (ISBN: 978-85-63046-01-7). Bernadini, N. & Vidolin, A. (2005). Sustainable live electroacoustic music, eContact 8(3). Blacking, J. (1973). How Musical is Man?. Seattle, WA: University of Washington Press. Borning, A., & Travers, M. (1991). Two approaches to casual interaction over computer and video networks. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 13-19). Brown, A. R., Stewart, D., Hansen, A., & Stewart, A. (2014). Making meaningful musical experiences accessible using the iPad. In Ubiquitous Music (pp. 65-81). Berlin and Heildelberg: Springer. Camporez, H. A. F., Neto, A. F., Costalonga, L. L., & Oliveira Rocha, H. R. (2018). Interface Computacional para Controle Musical Utilizando os Movimentos dos Olhos. Revista Vórtex, 6(2), Dossiê Música Ubíqua. Carr, N. (2013). All can be lost: The risk of putting our knowledge in the hands of machines. The Atlantic, 11, 1-12. Chafe, C. (1993). Tactile audio feedback. In Proceedings of the International Computer Music Conference (ICMC 1993) (pp. 76-79). Tokio: ICMA. Coelho de Souza, R. C., & Faria, R. R. A. (2011). Oito Reflexões sobre a Criatividade na Composição Auxiliada por Computadores. Proceedings of the 13th Brazilian Symposium on Computer Music (SBCM 2011), Vitória, ES: SBC. Costalonga, L. L., Pimenta, M. S., Queiroz, M., Manzolli, J., Gimenes, M., Keller, D. & Faria, R. R. A. (2011). Proceedings of the 13th Brazilian Symposium on Computer Music (Simpósio Brasileiro de Computação Musical - SBCM ).Vitória, ES: Brazilian Society of Computer Science (SBC). Donald, M. (2006). Art and cognitive evolution. In Mark Turner (ed.), The Artful Mind: Cognitive Science and the Riddle of Human Creativity. Oxford, UK: Oxford University Press, 3-20. 17 Esse fenômeno já foi observado em diversos estudos do uso de telefones celulares. A simples presença desses dispositivos tem impacto negativo nas capacidades cognitivas dos sujeitos. 34 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) Dufour, V., Poulin, N., Curé, C., & Sterck, E. H. (2015). Chimpanzee drumming: a spontaneous performance with characteristics of human musical drumming. Scientific Reports, 5, 11320. Dunbar, R. I., & Shultz, S. (2007). Evolution in the social brain. Science, 317(5843), 1344-1347. Ehn, P. (1988). Work-oriented design of computer artifacts. Stockholm, Sweden: Arbetslivscentrum. Flores, L., Miletto, E., Pimenta, M., Miranda, E., & Keller, D. (2010, September). Musical interaction patterns: Communicating computer music knowledge in a multidisciplinary project. In Proceedings of the 28th ACM International Conference on Design of Communication (pp. 199-206). Herholz, S. & Zatorre, R. (2012). Musical Training as a Framework for Brain Plasticity: Behavior, Function, and Structure. Neuron 76(3), 486 – 502. Honing, H., Cate, C., Peretz, I., & Trehub, S. E. (2015). Without it no music: cognition, biology and evolution of musicality. Philosophical Transactions of the Royal Society of London. Series B, Biological Sciences, 370, 20140088. https://doi.org/10.1098/rstb.2014.0088 Keller, D., Gomes, C., & Aliel, L. (2019). The Handy Metaphor: Bimanual, touchless interaction for the internet of musical things. Journal of New Music Research, 48(4), 385-396. Keller, D., & Barreiro, D. (2018). Editorial Seção Temática Música Ubíqua: Forças de atração e desafios na pesquisa ubimus. Revista Vórtex, 6(2). Keller, D., Capasso, A. & Tinajero, P. (2015). Creativity-centered design from an ecologically grounded perspective: Activities and resources in Palafito 1.0. Journal of Cases on Information Technology 17 (4), 1-19. (Doi: 10.4018/JCIT.2015100101.) Keller, D., Flores, L. V., Pimenta, M. S., Capasso, A. & Tinajero, P. (2011). Convergent Trends Toward Ubiquitous Music. Journal of New Music Research 40(3), 265-276. (Doi: 10.1080/09298215.2011.594514.) Keller, D. & Lazzarini, V. (2017). Ecologically grounded creative practices in ubiquitous music. Organised Sound 22 (1), 61-72. Keller, D., & Feichas, L. (2018). Ecocompositional and Performative Strategies for Creative Usage of Everyday Sounds: Creative Semantic Anchoring. Leonardo, 51(2), 195-196. Keller, D. & Budasz, R. (eds.) (2010). Musical Creation and Technologies: Interdisciplinary Theory and Practice (Criação Musical e Tecnologias: Teoria e Prática Interdisciplinar), Vol. 2. Goiânia, GO, Brazil: ANPPOM Press. (ISBN: 978-85-63046-01-7). Keller, D., Lazzarini, V., & Pimenta, M. S. (Eds.). (2014a). Ubiquitous music. Cham: Springer. Keller, D., Timoney, J., Costalonga, L., Capasso, A., Tinajero, P., Lazzarini, V., Pimenta, M. S., Lima, M. H. & Johann, M. (2014). Ecologically grounded multimodal design: The Palafito 1.0 study. In Proceedings of the International Computer Music Conference (ICMC 2014). Ann Arbor, MI: MPublishing, pp. 1677-1684. Keller, D., Otero, N., Lazzarini, V., Pimenta, M. S., de Lima, M. H., Johann, M., & Costalonga, L. (2014). Relational properties in interaction aesthetics: The ubiquitous music turn. Electronic Visualisation and the Arts (EVA 2014), 207-214. Keller, D. & Lazzarini, V. (2015). Special Issue on Creativity-Centered Design and the Digital Arts. Journal of Cases in Information Technology 17 (4). Keller, D. & Lima, M. H. (2018). Applications in Ubiquitous Music (Aplicações em Música Ubíqua). Vol. 7. São Paulo, SP: Editora ANPPOM. (ISBN: 978-85-63046-08-6.) Keller, D., Queiroz, M., Pimenta, M. S. & Faria, R. R. A. (eds.) (2011). Special Issue: New Paradigms for Computer Music, Journal of New Music Research 40 (3). London: Taylor & Francis Group. Pinheiro da Silva, F., Keller, D., Ferreira da Silva, E., Pimenta, M. S., & Lazzarini, V. (2013). Everyday musical creativity: Exploratory study of ubiquitous musical activities (Criatividade musical cotidiana: Estudo exploratório de atividades musicais ubíquas). Música Hodie, 13, 64-79. Keller, D., Quaranta, D. & Sigal, R. (eds.) (2013). Special Volume Sonic Ideas: Musical Creativity, Vol. 10. Morelia, Michoacán: Centro Mexicano para la Música y las Artes Sonoras - CMMAS. http://www.sonicideas.org. (ISSN: 2317-9694). 35 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) Kontukoski, M., Luomala, H., Mesz, B., Sigman, M., Trevisan, M., Rotola-Pukkila, M. & Hopia, A. (2015). Sweet and sour: Music and taste associations. Nutrition & Food Science 45(3), 357-376. Lazzarini, V., & Timoney, J. The Analogue Computer as a Voltage-Controlled Synthesiser. In 14th International Symposium on Computer Music Multidisciplinary Research (p. 663). Lazzarini, V., Keller, D., Kuhn, C., Pimenta, M. & Timoney, J. (2015). Prototyping of ubiquitous music ecosystems. Journal of Cases on Information Technology 17 (4), 73-85. (Doi: 10.4018/JCIT.2015100105.) Lima, M. H., Keller, D., Flores, L. V., & Ferreira, E. (2017). Ubiquitous music research: Everyday musical phenomena and their multidisciplinary implications for creativity and education. Journal of Music, Technology & Education, 10(1), 73-92. Lima, M. H., Keller, D., Pimenta, M. S., Lazzarini, V. & Miletto, E. M. (2012). Creativity-centred design for ubiquitous musical activities: Two case studies. Journal of Music, Technology and Education 5 (2), 195222. (Doi: 10.1386/jmte.5.2.195_1.) Literat, I., & Glaveanu, V. P. (2018). Distributed creativity on the internet: A theoretical foundation for online creative participation. International Journal of Communication, 12, 16. Maier, M., Mahfuzulhoq, C., Rimal, B. and Pham Van, D. (2016). The Tactile Internet: Vision, Recent Progress, and Open Challenges, IEEE Communications Magazine 54. (DOI: 10.1109/MCOM.2016.7470948) Messina, M., & Aliel, L. (2019, October). Ubiquitous Music, Gelassenheit and the Metaphysics of Presence: Hijacking the Live Score Piece Ntrallazzu 4. In 14th International Symposium on Computer Music Multidisciplinary Research (pp. 685-695). Marseille, France: PRISM. Miletto, E. M., Pimenta, M. S., Bouchet, F., Sansonnet, J.-P. & Keller, D. (2011). Principles for Music Creation by Novices in Networked Music Environments. Journal of New Music Research 40 (3), 205-216. (Doi: 10.1080/09298215.2011.603832.) Malinin, L. H. (2013). Empowering the Creative Practitioner: Towards an ecological framework of creativity as embedded practice to inform environmental design. University of Colorado at Denver. McCormack, J., & d’Inverno, M. (Eds.). (2012). Computers and creativity. Berlin and Heidelberg: Springer. Mithen, S. J. (2007). The singing neanderthals: The origins of music, language, mind and body. Cambridge, MA: Harvard University Press. Mori, B. B. (2017). Music and non-human agency. In Ethnomusicology: A Contemporary Reader, Volume II (pp. 181-194). London: Routledge. Odling-Smee, F. John, Kevin N. Laland, and Marcus W. Feldman (2003). Niche Construction: The Neglected Process in Evolution. Princeton: Princeton University Press. Pata, K. (2010). Revising the framework of knowledge ecologies: How activity patterns define learning spaces. In Educational Social Software for Context-Aware Learning: Collaborative Methods and Human Interaction (pp. 241-267). Vancouver, BC: IGI Global. Patel, A. D. (2014). The evolutionary biology of musical rhythm: was Darwin wrong?. PLoS biology, 12(3). Paris, E., Millot, J., Guillot, P., Bonardi, A. & Sèdes, A. (2017), Kiwi : Vers un environnement de creation musicale temps reel collaboratif premiers livrables du projet MUSICOLL. In Actes de Journées d'Informatique Musicale 2017 (JIM 2017). Pereira, V. S., Silva, S. L., Bessa, W. R. B., Alcântara-Silva, T. R. & Keller, D. (2018). SoundSphere: Participatory design as a strategy to develop sustainable technologies in ubiquitous music (SoundSphere: O design participativo como estratégia para o desenvolvimento de tecnologias sustentáveis em música ubíqua), Sonic Ideas 10 (19), 7-44. Pimenta, M. S., Flores, L. V., Capasso, A., Tinajero, P. & Keller, D. (2009). Ubiquitous music: concept and metaphors. In Farias, R. R. A., Queiroz, M. and Keller, D. (eds.), Proceedings of the Brazilian Symposium on Computer Music (SBCM 2009), pp. 139-150. Recife, PE: SBC. 36 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) Pinheiro da Silva, F., Keller, D., Ferreira da Silva, E., Pimenta, M. S., & Lazzarini, V. (2013). Everyday musical creativity: Exploratory study of ubiquitous musical activities (Criatividade musical cotidiana: Estudo exploratório de atividades musicais ubíquas). Música Hodie 13, 64-79. Pinker, S. (1997). How the mind works. New York, NY: Norton. Quiñones, M. G., Kassabian, A., & Boschi, E. (eds.). (2016). Ubiquitous musics: The everyday sounds that we don't always notice. London: Routledge. Rokeby, D. (1986). Very Nervous System [Installation]. Arte, Tecnologia e Informatica, Venice Biennale, Venice, Italy. http://www.davidrokeby.com/vns.html Small, C. (1998). Musicking: The meanings of performing and listening. Wesleyan University Press. Sorensen, A. C., & Brown, A. R. (2007). aa-cell in practice: An approach to musical live coding. In Proceedings of the International Computer Music Conference (pp. 292-299). International Computer Music Association. Stolfi, A. S., Milo, A., & Barthet, M. (2019). Playsound. space: Improvising in the browser with semantic sound objects. Journal of New Music Research, 48(4), 366-384. Truax, B. (1984). Acoustic Communication. Norwood NJ: Ablex Publishing. Turchet, L., Fischione, C., Essl, G., Keller, D., & Barthet, M. (2018). Internet of musical things: Vision and challenges. IEEE Access, 6, 61994-62017. Weiser, M. (1991). The Computer for the 21 st Century. Scientific American, 265(3), 94-105. Wessel, D., & Wright, M. (2002). Problems and prospects for intimate musical control of computers. Computer Music Journal, 26(3), 11-22. Zawacki, L. F., & Johann, M. O. (2012). A system for recording analog synthesizers with the Web. In Proceedings of the International Computer Music Conference (pp. 128-131). 37 International Journal of Digital Media and Interaction Special Issue on Ubiquitous Music, Vol.3, No.5, (2020) Interação Timbrística em Música Ubíqua: A Ecologia de Metáforas da Esfera Sonora (Timbre Interaction in Ubiquitous Music: The Sound Sphere Ecology of Metaphors) Brendah Freitas1, Damián Keller1, Willian Ramon Barbosa Bessa2, David Ferreira da Costa1, Flávio Miranda de Farias2 Núcleo Amazônico de Pesquisa Musical (1 Universidade Federal do Acre /2 Instituto Federal do Acre) [email protected], [email protected], [email protected], [email protected]. [email protected] Abstract Timbre is among the topics of ubiquitous music research featuring some of the most difficult conceptual and methodological challenges, especially when targeting lay-oriented interaction. Timbre parameterization cannot be handled by simplistic or arbitrary mapping strategies. Also, semantic abstractions may not be amenable to untrained stakeholders. To deal with casual usage of complex parametric configurations, we developed a two-tier approach to an ecology of metaphors for creative action. An exploratory study of usage of the Sound Sphere Metaphor - by undergraduate music students with no previous training on audio tools - yielded successful creative outcomes but also left room for improvement in the experimental procedures. Keywords: ubiquitous music; sound sphere metaphor; everyday musical creativity Resumo Discutimos abordagens recentes de suporte assíncrono para atividades musicais online para vários perfis de participantes, incluindo os iniciantes. O timbre é um tópico emergente da pesquisa em música ubíqua que apresenta desafios conceituais e metodológicos para a interação musical orientada a leigos. Por um lado, o timbre envolve processos perceptuais complexos que não estão contemplados nas estratégias de mapeamentos diretos ou arbitrários de parâmetros sonoros. Por outro lado, o uso de termos abstratos também pode impossibilitar o acesso aos interessados que não dominam o arcabouço conceitual musical. Desenvolvemos uma abordagem em dois níveis desde um enfoque ecológico para a ação criativa para viabilizar o suporte para interação timbrística por parte de usuários causais. Realizamos um estudo exploratório dentro do contexto das atividades curriculares de um curso introdutório em tecnologia musical. Discutimos os resultados e as implicações do uso da ecologia de metáforas vinculadas ao conceito da Esfera Sonora para o desenvolvimento do suporte à criatividade musical cotidiana. Palavras chave: música ubíqua; metáfora da esfera sonora; criatividade musical cotidiana. 1. Introdução Uma questão abordada pela pesquisa em música ubíqua (Keller et al. 2014) é como lidar com decisões estéticas, evitando as barreiras para a participação vinculadas à exigência de treinamento musical. Atualmente, a pesquisa atual em interação musical enfatiza uma tendência à especialização embasada no conhecimento técnico-musical e voltada para o instrumentista virtuoso (Wessel e Wright 2002). Esse enfoque - denominado por diversos autores como o enfoque acústico-instrumental (cf. Bown et al. 2009; Keller et al. 2010) - envolve o uso de interfaces baseadas na emulação de instrumentos musicais acústicos e incentiva a adoção de formas hierárquicas de interação social, exemplificadas pelo modelo da “orquestra” (Trueman 2007). Enquanto que algumas dessas estratégias ISSN: 2184-3120 CC 2020 DIGIMEDIA International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) podem ser aplicáveis para as atividades dos músicos profissionais atuando em locais planejados para fins artísticos, os requisitos da criatividade musical cotidiana (Keller et al. 2013; Keller e Lima 2016; Lima et al. 2017) não são compatíveis com o design de interação musical baseado no modelo acústicoinstrumental. As metáforas para a ação criativa encontram-se no ponto de contato entre o conceito de metáfora de interação musical (Pimenta et al. 2012) e as soluções alinhadas com a estética da interação voltada para a criatividade musical (Brown et al. 2018; Keller et al. 2014b; Keller et al. 2015a). Elas envolvem o suporte sustentável da atividade criativa, abrangendo por um lado o objeto da atividade – o produto criativo – e por outro os procedimentos necessários para atingir esse objeto – o processo criativo. É este último aspecto que diferencia as metáforas de suporte à criatividade das metáforas de interação. Enquanto as metáforas de interação musical fornecem o apoio necessário para que leigos e músicos consigam atingir resultados musicais, as metáforas para a ação criativa visam aumentar o potencial criativo dos participantes. Esse potencial criativo pode ter impacto nos produtos intencionais e não intencionais da atividade musical. Porém, o objetivo principal do suporte não é o produto criativo em si, mas o aumento da capacidade de utilização dos recursos existentes no local da atividade, por parte dos agentes. Como exemplos de metáforas para a ação criativa podemos citar a marcação temporal (Keller et al. 2010; Radanovitsck et al. 2011), a metáfora da listra (Farias et al. 2015; Silva et al. 2016), a marcação espacial (Keller et al. 2011; Keller et al. 2013c) e os substitutos criativos (Keller et al. 2014c; Keller et al. 2015a). No presente projeto adotamos uma perspectiva ampla em relação ao timbre. Existem enfoques diversos voltados para a percepção, categorização e análise timbrísticas que abriram novas perspectivas sobre a utilização criativa do timbre. Recentemente, Coelho de Souza1 (2019) propõe a análise por modelagem como uma estratégia aplicável não só nas categorias tradicionais nos estudos do timbre (como os sons instrumentais acústicos), ele sugere que a análise por modelagem pode também abranger os sons sintetizados. Nessa esteira, seria natural ampliar as estratégias de design para incluir o processamento sonoro como forma de aproximação às organizações timbrísticas. Coelho de Souza sugere a adoção de descritores sonoros como forma de trabalhar criativamente com os fenômenos timbrísticos. Esse é a perspectiva aplicada neste trabalho, focando o problema da complexidade paramétrica envolvida na configuração de algoritmos de processamento sonoro. Neste artigo relatamos os procedimentos utilizados no desenvolvimento de uma nova metáfora para a ação criativa, a Esfera do Som ou Sound Sphere Metaphor. A Metáfora da Esfera do Som é um projeto em desenvolvimento no Núcleo Amazônico de Pesquisa Musical 2,3 (NAP), voltado para o suporte de atividades criativas em rede assíncronas (Bessa et al. 2015). O NAP é um grupo ativo desde 2003, com membros permanentes nas universidades federais do Acre, da Paraíba e no Instituto Federal do Acre. É o grupo de pesquisa em práticas criativas com maior produção e projeção da região Norte do Brasil. Na seção seguinte abordamos os trabalhos voltados ao uso de recursos semânticos, com potencial de contribuição para a interação musical. Na terceira parte do texto descrevemos a ecologia vinculada à Metáfora da Esfera Sonora4, dando destaque para uma estratégia de design que 39 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) permite a interação em duas camadas abrindo espaço para a inserção de leigos e de especialistas dentro dos processos criativos. Por último, apresentamos os resultados preliminares de um estudo exploratório envolvendo alunos de graduação em música, iniciantes no uso de ferramentas tecnológicas. 2. Trabalhos Relacionados: Estratégias semânticas para melhorar a usabilidade dos sistemas de processamento de áudio Nesta seção analisamos as estratégias empregadas para facilitar as operações de processamento de áudio nos sistemas voltados para usuários não especialistas. Independentemente de que o processamento de áudio não seja o foco específico dos sistemas projetados para manipular dados musicais, como é o caso dos sequenciadores e dos editores baseados em dados MIDI, existem aspectos comuns no suporte à interação que justificam o tratamento em conjunto de ferramentas de manipulação de dados musicais e de dados sonoros. Nossa abordagem baseia-se numa perspectiva ampla da interação musical, apoiada em avanços recentes na pesquisa em interação humanocomputador (Harrison et al. 2007; Shneiderman 2007) e na pesquisa em música ubíqua (Keller et al. 2014a; Keller e Lazzarini 2015; Pimenta et al. 2014). UJAM Studio é uma ferramenta comercial para mixagem online (UJAM 2017). O tipo de suporte está intimamente relacionado ao karaokê, ele inclui uma ferramenta de análise do som vocal monofônico e usa a informação extraída para sugerir presets de acompanhamento musical. Ao escolher uma opção entre os gêneros musicais comerciais disponibilizados, o sistema fornece gravações instrumentais acústicas pré-editadas para o estilo escolhido. Para compensar essa abordagem baseada em pacotes musicais prontos, o UJAM Studio fornece suporte para modificar os modelos. O editor de acordes exibe cifras em uma matriz, permitindo que os usuários editem as sequências harmônicas. Também tem ferramentas simples para edição de áudio. Um aspecto interessante da interface do UJAM Studio é o acesso direto a informações de nível estrutural intermediário (figura 1 (c) editar a estrutura formal). Os usuários podem definir blocos de dados musicais, atribuir um nome e uma cor, e modificar sua distribuição temporal através de um mecanismo de drag-and-drop. Esse tipo de abordagem gráfica para a manipulação de dados musicais foi proposto e investigado pela equipe de representação musical do IRCAM desde o final da década de 1990 (Assayag 1998). 40 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) a. Capturar a voz b. Aplicar presets instrumentais c. Editar a estrutura formal d. Editar as amostras de áudio Figura 1. UJAM Studio. O UJAM Studio tenta aumentar a usabilidade através da abstração dos dados musicais. Por exemplo, os acordes são substituídos por letras e as seções musicais são representadas por retângulos com cores diversas. Uma abordagem diferente é utilizada na ferramenta de apoio1 do sequenciador Neutron (Neutron 2018) (figura 2). Ao invés de investir no aprimoramento da usabilidade da interface gráfica, o sistema Neutron separa a interação em duas etapas. A primeira etapa fornece descritores simples que representam diversas opções paramétricas. Por exemplo, as opções de dinâmica são: baixa, média e alta (equivalentes a piano, mezzo forte e forte). Cada um dos termos corresponde a uma configuração paramétrica predefinida. A segunda etapa dá acesso à interface gráfica, permitindo que o usuário faça alterações finas nos parâmetros. Esse mecanismo é computacionalmente eficiente e bastante intuitivo para o uso em sistemas assíncronos. A limitação é que o usuário não tem um retorno sonoro imediato para aferir o impacto das suas escolhas. 1 Track assistant no original. 41 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Figura 2. Neutron track assistant. Uma estratégia de suporte mais flexível é documentada em (Cartwright e Pardo 2013; Seetharaman e Pardo 2016; Stables et al. 2014). Esses autores utilizam descritores semânticos para o controle paramétrico do processamento de áudio. A ideia é semelhante ao procedimento implementado no UJAM, porém sem dividir a interação em dois estágios. A proposta é inserir os descritores semânticos diretamente nos controladores. Os usuários podem recuperar os termos utilizados anteriormente ou podem criar seus próprios adjetivos para descrever as qualidades timbrísticas resultantes das manipulações paramétricas. Audealize (Cartwright e Pardo 2013; Seetharaman e Pardo 2016) abrange dois sistemas: um permite o controle de parâmetros de equalização e o outro serve para configurar os parâmetros de reverberação. O objetivo da proposta é utilizar descritores percentualmente relevantes como ferramentas de controle de equalização e de reverberação, evitando a manipulação direta das magnitudes acústicas (e.g., tempo de reverberação ou nível de absorção, entre outros parâmetros). A interface Audealize exibe descritores criados pelo usuário para nomear configurações paramétricas (figura 3). A interface aplica a metáfora da nuvem de palavras (tag cloud). O conceito de nuvem de palavras foi introduzido pelo psicólogo social Stanley Milgram e sua equipe em um estudo da percepção grupal da geografia de Paris (Milgram e Jodelet 1976). Na visualização proposta por Milgram, o tamanho da fonte estava correlacionado à frequência com que cada lugar era mencionado pelos sujeitos. As nuvens de palavras podem ser usadas para diversos fins, mas sua aplicação mais comum é a representação visual das relações entre conceitos. As configurações paramétricas podem ser alteradas clicando no descritor ou, alternativamente, manipulando o slider correspondente à amplitude de cada faixa de frequência ou utilizando os knobs de controle de parâmetros de reverberação (no caso, tempo de reverberação, densidade de ecos, brilho, entre outros). 42 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Figura 3. Audealize. Em vez de implementar um sistema baseado na web, Stables e coautores (2014) optam por aprimorar a funcionalidade das ferramentas de áudio digital (DAWs) através do controle semântico. Eles relatam o uso de tags semânticas para controlar os parâmetros de equalização, distorção, compressão e reverberação, através da implementação de plugins de áudio (agrupados sob o denominador Semantic Audio Feature Extraction - SAFE) (figura 4). Os plugins SAFE possuem ferramentas de controle e visualização (permitindo a exibição gráfica das mudanças de parâmetros) e fornecem um mecanismo de vinculação de um descritor (ou descritores) para cada configuração paramétrica. Desta feita, os usuários podem salvar e recuperar as configurações digitando ou selecionando uma palavra ou uma sequência de palavras. O sistema também aceita metadados do usuário e da amostra sonora - incluindo idade e localização, experiência de produção de música, escolha de gênero musical e instrumentos musicais utilizados. Figura 4. Plug-ins SAFE: Semantic Audio Feature Extraction. Uma análise dos termos coletados indicou que a equalização e a compressão compartilham um vocabulário comum, enquanto que a reverberação e a distorção apresentam termos descritivos diferentes (Stables et al. 2016). Os termos utilizados no compressor tendem a corresponder ao nível 43 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) de processamento do sinal. Alto, grosso ou achatado geralmente referem-se a configurações extremas de compressão, enquanto que sutil, leve ou suave descrevem ajustes pequenos no envelope de amplitude. As características da distorção ficam agrupadas pela magnitude da transformação sônica, com termos como distorcido e áspero (fuzz, harsh) claramente separados de sutil, afilado e rosnado (subtle, rasp, growl). A equalização compreende uma distribuição ampla de categorias, exceto nos termos que se referem a tessituras específicas do espectro, como baixo, médio ou agudo, que ocupam espaços conceituais independentes. Os termos da reverberação são agrupados pelo tamanho e pelas características dos espaços acústicos. Por exemplo, os descritores auditório e sala (hall, room) compartilham um espaço comum, enquanto que mole, úmido e natural (soft, damp, natural) pertencem a outra partição conceitual. Em contraste com os resultados positivos que acabamos de discutir, Seetharaman e Pardo (2014) apontam que os termos usados mais comumente para descrever os perfis dos reverberadores não correspondem com as diferenças paramétricas entre as diversas configurações de reverberação. Por esse motivo, eles concluem que operar um reverberador paramétrico usando as configurações acústicas permite obter resultados mais previsíveis do que utilizar os controles semânticos. Resumindo, as propostas recentes em interação baseada em descritores semânticos para o processamento de áudio apontam caminhos promissores de desenvolvimento, porém precisam de mais estudo. Embora os trabalhos realizados foquem a validação de descritores definidos pelos participantes, não é claro se os termos espontâneos podem ser aplicados a uma gama ampla de casos e de contextos de uso ou se é preferível adotar abordagens que limitem o número de categorias disponíveis. A questão torna-se particularmente problemática quando é levado em consideração o perfil dos participantes. Os estudos listados parecem indicar que a base de usuários inclui somente músicos especializados com experiência considerável na manipulação de equipamentos de estúdio e de ferramentas de produção de áudio. Aparentemente, nessa população-alvo seria possível substituir a interação com GUIs pelo o uso de termos técnicos descritivos. Mas essa estratégia não é consistente com o objetivo de expandir a base de usuários. Se, por um lado, espera-se que os interessados na produção de áudio invistam tempo para se familiarizar com um conjunto de ferramentas específicas, por outro lado, não é óbvio que a adoção de um vocabulário técnico proporcione uma melhoria na interação em comparação com o uso de interfaces gráficas. Para alguns novatos, a experiência pode se tornar exasperante. Dependendo do controle paramétrico escolhido, um conjunto vasto de resultados sonoros corresponderia a outro conjunto amplo de conceitos (abrangendo desde noções cotidianas familiares até o uso de jargão exótico ou altamente especializado). Levando em conta esses fatores, a abordagem de Stasis e co-autores (2017) parece razoável. Eles aplicaram apenas dois descritores de equalização de uso frequente - quente e brilhante - e tentaram desvendar as implicações. Curiosamente, descobriram que o uso do adjetivo quente é 100% confiável (dentro do contexto limitado da experiência), enquanto que o uso de brilhante atinge apenas 90% de precisão. O melhor desempenho - quando comparado a tarefas que lidam com um conjunto ilimitado de descritores - indica que houve uma redução da demanda cognitiva dos processos de decisão. Pode-se fornecer inicialmente uma ampla gama opções - normalmente no âmbito de dezenas de descritores. Nas 44 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) iterações subsequentes pode-se aplicar o processo de refinamento progressivo, com categorias amplas primeiro, e mais restritas depois, até atingir mudanças paramétricas pouco significativas. Ao interpretar esses resultados desde uma perspectiva mais abrangente, centrada na criatividade, devem ser considerados outros aspectos. As ferramentas de processamento sonoro raramente são usadas de forma isolada. Frequentemente, são empregadas no contexto de uma ampla gama de atividades (incluindo a edição e a mixagem de áudio), dando suporte para um conjunto de tarefas que alguns autores chamam de cadeia de produção de áudio (Tatlas et al. 2003). Nesse contexto, fatores como o investimento temporal na atividade e as demandas de recursos materiais tornam-se tão importantes quanto a avaliação do produto criativo. Os métodos aplicados na pesquisa ubimus podem ajudar a avaliar o impacto do suporte à interação focando os fatores criativos (Pimenta et al. 2014). Por exemplo, ferramentas como Audealize e SAFE podem ser usadas em conjunto com plataformas de mixagem (SoundSphere ou Audacity) para avaliar o investimento temporal na geração de recursos sonoros, a relação entre o uso de recursos e os resíduos criativos produzidos, e o perfil criativo dos produtos obtidos em função do perfil dos participantes. Investimentos temporais altos junto com níveis baixos de originalidade nos produtos criativos podem indicar demandas cognitivas inadequadas para o perfil das partes envolvidas. Esse tipo de enfoque permite aferir o impacto das opções de design nos produtos criativos e ao mesmo tempo impulsiona a ampliação da base de usuários. Tabela 1. Resumo das características dos sistemas revisados e propostos. Ferramenta Contexto De Uso Arquitetura UJAM Studio Online fixo Neutron track assistant Neutron sequencer plugin fixo SAFE DAW plugin fixo Objetivo Recursos De Interação karaokê, acompanhamento instrumental escolha de préconfigurações de fábrica para seqüências de dados musicais equalização, reverberação, compressão, distorção acordes representados como letras; dados musicais representados como rotulados; blocos coloridos Audealize Online fixo equalização, reverberação TOE SoundSphere modular equalização abordagem em dois níveis: predefinições escolhidas por meio de sucessivas perguntas de múltipla escolha; controles de GUI paramétricos padrão operadores representados como descritores definidos pelo usuário; controles de GUI paramétricos padrão operadores representados como descritores definidos pelo usuário; exibição de nuvem de palavras dos operadores; design orientado para a comunidade abordagem em dois níveis: os operadores representados como descritores são definidos pelo usuário; os músicos projetam os operadores e os novatos carregam os projetos gerenciados pela comunidade 3. Uma metáfora em duas camadas para a interação timbrística A Metáfora da Esfera do Som envolve a visualização de um usuário sentado no centro de uma esfera ou globo, enquanto os eventos sonoros são projetados na superfície da esfera. O eixo vertical corresponde às faixas de mixagem e o eixo horizontal corresponde ao layout temporal dos eventos. Mover o eixo para cima ou para baixo permite exibir eventos que serão renderizados simultaneamente. 45 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Movimentos ao longo da linha do tempo em direção à esquerda descobrem eventos passados enquanto os movimentos à direita dão acesso ao conteúdo sonoro futuro (tabela 3). Durante a reprodução, o globo se movimenta a uma velocidade angular fixa. Todas as amostras dispostas no eixo vertical são executadas quando atingem o tracker (ou linha de referência temporal). O número de faixas é limitado apenas pela memória disponível no dispositivo. O tipo, quantidade e tamanho do conteúdo sonoro são abertos. A versão 1.3 do protótipo fornece três grupos de ferramentas (tabelas 2 e 3): o painel de mixagem, o menu de ferramentas e a biblioteca de amostras de áudio. Para identificar as amostras no painel de mixagem, o sistema cria um ícone com uma cor específica, com base na ordem alfanumérica dos arquivos carregados. Ao passar o mouse sobre cada item, os usuários podem reproduzir trechos do conteúdo de áudio. A seleção do evento é feita via clique (ou toque). O sistema cria um círculo para indicar a seleção. Depois desse procedimento, o usuário pode inserir o item selecionado no painel de mixagem clicando (ou tocando) no local desejado. O painel é indicado pela seta 2. Os números na borda superior representam o tempo em segundos. A borda esquerda apresenta os números das faixas. O usuário pode navegar pelo painel clicando e movendo o mouse sobre ele. A funcionalidade loop quando ativada, reinicia automaticamente a reprodução; play inicia a reprodução; pause interrompe a reprodução; stop interrompe a reprodução e coloca o tracker no tempo zero; enable options dá acesso à manipulação de parâmetros sonoros. Ao clicar em um evento, ele pode ser excluído ou alterado. As opções são: amplitude e mudo ou solo. O botão restart apaga tudo no painel de mixagem; upload insere um ou mais arquivos de áudio para uso no aplicativo; e download permite mixar e baixar o resultado imediatamente. Um protótipo do SoundSphere recém implementado forneceu a oportunidade de investigar a aplicação da metáfora envolvendo o uso de operadores semântico-timbrísticos. A construção dos operadores semântico-timbrísticos é realizada com uma ferramenta on-line implementada para viabilizar a composição de um banco de filtros de resposta finita com arquiteturas e parâmetros definidos pelo usuário: o Editor de Operadores Semântico-Timbrísticos (ou TOE). A ferramenta TOE permite a construção rápida de bancos de filtros baseados na biblioteca Web Audio e anexa um rótulo fornecido pelo projetista, por exemplo brilhante ou escuro, quente ou frio. A ferramenta fornece retorno sonoro imediato, e permite construir uma cadeia serial de filtros (incluindo lowpass, highpass, bandpass, allpass, lowself, highshelf e notch). A interface apresenta os parâmetros usuais dos filtros - atenuação ou aumento de frequências, Q e ganho. Ao finalizar a edição, a ferramenta TOE gera um arquivo de configuração no formato JSON que pode ser importado pelo SoundSphere 1.3 ou por outros sistemas baseados na biblioteca Web Audio. Os usuários do SoundSphere podem recuperar as definições de processamento timbrístico selecionando os operadores semântico-timbrísticos (como mencionado acima, os descritores são definidos pelos usuários e podem incluir termos como claro ou escuro, quente ou frio, etc.). 46 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Tabela 2. Os dois estágios para a ação criativa em SoundSphere. Nível 1, preparação. nível 1: preparação perfil de usuário descrição de uso avançado metáfora de suporte criativo seleção de recursos sonoros atividades editor de operadores semântico-timbrísticos (TOE) design de operadores semânticotimbrísticos saída operadores semântico-timbrísticos Tabela 3. Os dois estágios para a ação criativa em SoundSphere. Nível 2, execução. nível 2: execução perfil de usuário descrição de uso casual metáfora de suporte criativo metáfora da degustação sonora seleção metáfora da esfera do som atividades mixagem processamento fixo de timbres som comentado (VOS) 47 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) saída áudio processado Implementação e design participativo. A ferramenta SoundSphere foi desenvolvida pelos membros do NAP como parte de um projeto que visa a disponibilização e validação da metáfora para a ação criativa Esfera do Som ou Esfera Sonora, Sound Sphere Metaphor (Bessa et al. 2015). A metáfora da esfera sonora propõe a visualização de eventos sonoros projetados numa esfera, com o usuário sentado no centro da mesma. No eixo vertical - equivalente à latitude terrestre - situam-se as trilhas de mixagem. O eixo horizontal - equivalente à longitude terrestre - corresponde ao tempo. Ao movimentar as trilhas para cima ou para baixo, podem-se visualizar os sons que serão renderizados simultaneamente. Ao mover a linha de referência do tempo, também denominada tracker, para a esquerda retrocede-se no tempo, enquanto que para a direita acessam-se os eventos futuros (figura 5). Ao reproduzir a mixagem, o tracker movimenta-se de acordo com a velocidade angular definida pelo usuário, e as amostras sonoras são renderizadas no momento em que elas atingem a linha de referência temporal. Nesse modelo tanto o tempo do resultado sonoro quanto a quantidade de trilhas deixam de ser pré-definidos e passam a ter valores incrementais, que são determinados de acordo com a quantidade e o tamanho das amostras sonoras inseridas no painel de mixagem (tabela 3). 48 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Figura 5. Metáfora da esfera sonora: o eixo vertical contém as trilhas, o eixo horizontal representa o tempo. Ao executar a mixagem, os eventos sonoros são renderizados no momento em que ficam alinhados ao tracker (ou cursor temporal). A primeira série de protótipos SoundSphere foi iniciada em 2015 (Bessa et al. 2015). Entre 2015 e 2018, foram realizadas múltiplas reuniões do grupo de pesquisa, com troca permanente de mensagens nos fóruns. A gestão geral do projeto foi documentada na plataforma Trello 5 . As discussões abrangeram aspectos técnicos (escolha do ambiente de programação e das plataformas de suporte, estratégias de prototipagem, reaproveitamento de tecnologia existente, formatos de dados), aspectos conceituais (contextos de uso e perfil do público-alvo) e aspectos metodológicos (estratégias de validação, aferição da sustentabilidade da proposta e análise de requisitos). Nesses encontros foram elencados diversos itens de design, estabelecendo prioridades de implementação com o intuito de atingir ciclos curtos de prototipagem-validação. Ferramentas. Durante o desenvolvimento do software foi utilizada a ferramenta Visual Studio Code (Microsoft) para a edição do código Typescript e HTML5. Para rodar o aplicativo e realizar os testes ao longo do seu desenvolvimento foi utilizado o navegador Google Chrome. Levando em conta as especificidades dos navegadores nas múltiplas plataformas existentes - incluindo os dispositivos portáteis - é recomendada a utilização do navegador Google Chrome a partir da versão 70. Durante o desenvolvimento do SoundSphere foram utilizadas diversas API (Interfaces para Programação de Aplicativos) disponibilizadas pela comunidade de desenvolvedores de código aberto. SoundSphere incorpora Web Audio e Web Speech. Web Audio é uma API JavaScript de alto nível para processamento e renderização sonora em aplicativos Web (Smus 2013). Já a Web Speech é uma interface de programação que fornece recursos para análise e síntese da fala, com suporte para múltiplas linguagens incluindo o Português (Adorf 2013). Inicialmente o SoundSphere foi baseado em JavaScript e HTML5. Porém, posteriormente a manutenção do código fez necessária sua refatoração, envolvendo a reescrita integral do aplicativo na linguagem Typescript. Typescript é um super conjunto de JavaScript. Em Typescript, a tipificação de valores tem um papel central na redução de erros associados à geração de código e, portanto, impulsiona um aumento de produtividade se comparado com o uso do JavaScript tradicional (Abreu 49 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) 2017). Estrutura do software. A figura 6 mostra as principais classes que compõem o protótipo SoundSphere 1.4. A classe SoundSphereInfo armazena informações sobre a versão do aplicativo. Ela ainda está em fase de aperfeiçoamento e novas informações serão incorporadas a medida que a ecologia de ferramentas seja ampliada. A classe Panel abrange os métodos referentes à animação do painel de mixagem. A classe ItemMixPanel dá suporte para as ações de inserção de itens de mixagem, incluindo o controle da amplitude do evento, a identificação da amostra de áudio a ser reproduzida, o tempo de início e o tempo de finalização do evento, e a indicação de processamento sonoro através da escolha de operadores semântico-timbrísticos. A classe Sequencer processa os dados da classe ItemMixPanel, dando suporte para a renderização do áudio. Essa classe dialoga com a classe Panel na determinação do tempo de ativação das animações e dá suporte para as funcionalidades como tocar, pausar e parar (Play, Pause, Stop). A classe ItemBuffer é utilizada para fazer a manipulação dos arquivos de áudio (em formato WAVE) dando suporte para os mecanismos de processamento sonoro. Com a inclusão dos operadores semântico-timbristicos foi necessária a implementação das classes SemanticDescriptor e Filter, abrangendo os métodos e os atributos para a leitura dos dados TOE (formato JSON) e para a execução do processamento de áudio através do acesso às classes com suporte para múltiplos filtros digitais, fornecidas pela biblioteca Web Audio. Figura 6. Diagrama de classes do protótipo SoundSphere 1.4. Bessa et al. (2015) relatam resultados da aplicação do protótipo SoundSphere6 na sua versão 1.0 em atividades criativas musicais realizadas por músicos e leigos. Essas atividades incluíram a exploração da metáfora, a criação de mixagens em sessões de um minuto de duração, e a imitação de um modelo sonoro - também de um minuto - feito pelos pesquisadores. Os participantes responderam o questionário CSI-NAP7 v. 0.5, avaliando o produto e o seu desempenho durante as atividades. Os resultados foram positivos nos quesitos relevância e produtividade. No entanto, os escores altos no item atenção indicaram que as atividades demandaram um grande investimento cognitivo por parte dos participantes. A alta demanda cognitiva pode ter influenciado negativamente os 50 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) resultados referentes ao fator diversão, sugerindo a existência de problemas no suporte para a inserção das amostras sonoras. Com o intuito de superar as limitações identificadas nos estudos experimentais, implementamos uma nova série de protótipos, concluindo o primeiro ciclo de desenvolvimento na versão 1.4. Resultados de destaque na versão 1.4. As mudanças no design do software podem ser classificadas em dois grupos: novas funcionalidades e ajustes das funcionalidades já existentes. Na figura 7, as setas 1 e 2 indicam as grades do painel de mixagem - a seta 1 indica o tempo e a seta 2 indica a trilha em que a amostra está sendo inserida. Ao inserir uma amostra de áudio no painel ela torna-se um evento dentro da esfera mixagem (indicado pela seta 3), mantendo assim a cor da amostra e o tamanho de acordo com a sua duração. A espessura do item varia de acordo com o valor da amplitude, e caso ele esteja mudo, recebe uma coloração cinza. A seta 4 destaca o painel de opções, sendo respectivamente, comando de voz, botões de repetir, tocar, pausar, parar, reiniciar, carregar amostras e descarregar a mixagem. A amostra selecionada é indicada com um círculo em volta (seta 5). Ao clicar no painel a amostra é inserida no local do cursor (modo inserção - drop mode). A seta 6 indica um item que não está selecionado. Figura 7. Painel de mixagem do protótipo SoundSphere 1.4.8 Ajustes. 1. Movimento do painel. Conforme observado ao longo dos experimentos e analisado pelos membros do NAP, foi necessária uma mudança no mecanismo de interação do painel para torná-lo mais ágil. Na versão 1.4, após o clique no painel, o painel desloca-se para a direção em que o usuário movimenta o cursor. Quanto maior a distância entre o local do clique inicial e a posição atual do cursor, maior a velocidade de deslocamento. Essa mudança fornece mais agilidade para os usuários que utilizam amostras de longa duração e que trabalham em projetos com múltiplas amostras. 2. Modo 51 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) edição (edit mode): ativação de opções nos itens de mixagem. Na versão 1.3 era necessário apertar um botão do menu para que fosse possível acessar o painel de opções. O botão foi removido na versão 1.4 e o painel de opções pode ser acessado com um clique no evento - enquanto não tem amostras de áudio selecionadas (caso contrário, no modo de inserção a amostra selecionada é inserida no local do clique). Novas funcionalidades. 1. Visualização de amplitude e mudo. A amplitude do evento é representada pela espessura da listra no painel - quanto maior o valor de amplitude, mais grossa fica a listra. O valor 0 e a opção mudo são indicados com a cor cinza. A figura 8 exemplifica as formas de visualização vinculadas aos estados do evento (ativo ou mudo) e às mudanças paramétricas. A seta 1 indica um evento ativo com o parâmetro em 100%, na seta 2 tem um evento ativo com 50%, a seta 3 aponta para um evento ativo com valor 0%, a seta 4 mostra um evento com amplitude em 100% em estado mudo, e a seta 5 indica um evento com 50% e mudo. Desta feita, a configuração de cada item de mixagem é visualizada sem necessidade de acessar o painel de opções. No entanto, fica em aberto para desenvolvimentos futuros a possibilidade de manipulação paramétrica diretamente no painel de mixagem. Figura 8. Visualização das mudanças de amplitude dos eventos no SoundSphere 1.4. 2. Comandos de voz. Nos múltiplos experimentos realizados pelo NAP observamos que parte do público leigo enfrenta dificuldades ao lidar com controles visuais, seja por falta de habilidades motoras ou seja por redução de acuidade visual ou cognitiva durante a realização concomitante de múltiplas tarefas. Como estratégia para superar esses empecilhos, na versão 1.4 do SoundSphere implementamos comandos que podem ser acionados via voz. Na figura 8, a seta 6 indica o botão do menu de ferramentas que ativa os comandos de voz. Para testar o protótipo foram implementados três comandos: toque, pausa e pare. No entanto, sua aplicação ficará centrada na interação com operadores semântico-timbrísticos (ver seção TOE). 52 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) 3. Início da reprodução a partir de um ponto específico. Na versão 1.3, para acessar o final da mixagem era necessário reproduzir o conteúdo completo. Esse procedimento dificulta a realização de mixagens longas. Portanto, alteramos o comportamento para permitir o posicionamento livre do tracker durante a pausa. Ao ativar a pausa, o usuário pode indicar o novo ponto de início da reprodução posicionando o cursor em qualquer ponto da linha temporal. Consideramos também a possibilidade de mudanças de posição durante a reprodução do áudio. Porém, concluímos que esse tipo de procedimento demanda processamento síncrono do áudio, aumentando consideravelmente o custo computacional sem acrescentar um ganho significativo na interação. 4. TOE: Semantics-Timbre Operator Editor 2 . Para viabilizar a configuração dos operadores semântico-timbristicos, foi desenvolvido um novo módulo no sistema. Nele é possível realizar a configurações dos filtros que são vinculados a cada descritor semântico. Visando realizar o processamento de áudio de forma mais intuitiva, optamos pela implementação de operadores semântico-timbistricos a partir de 8 características sonoras: pesado / leve, grande / pequeno, brilhante / abafado, quente / frio. Esses descritores determinam as configurações aplicadas no processamento de áudio de cada evento de forma individual. Como complemento, desenvolvemos um mecanismo que permite a aplicação desses parâmetros nos eventos da mixagem, a partir de comandos verbais. A figura 9 mostra a interface do TOE. A seta 1 indica o operador semântico-timbrístico que está sendo trabalhado. Ao lado tem o botão adicionar filtro, que permite que novos filtros sejam vinculados ao descritor. A seta 2 indica o conjunto de opções e parâmetros de processamento, que variam de acordo com o tipo de filtro. A seta 3 apresenta uma série de opções paramétricas, Incluindo: mudança da posição do filtro dentro do banco de filtros (a ordem altera o resultado sonoro), ativar ou desativar (que é equivalente ao mecanismo de bypass), e por último a opção de remoção. O indicador 4 apresenta os atributos relacionados ao filtro escolhido. Durante a edição dos operadores é possível carregar amostras de áudio e experimentar o resultado sonoro aplicando o processamento à amostra selecionada. A opção de bypass (com processamento e sem processamento) permite reproduzir o áudio original ou o áudio com o banco de filtros, para comparar os resultados. A seta 6 indica as operações nos arquivos: carregamento (upload) das amostras de áudio, carregamento do arquivo JSON para edição dos operadores semântico-timbrísticos, e por fim, salvar (download) o arquivo TOE para posterior utilização no SoundSphere. 2 Editor de operadores semântico-timbrísticos. 53 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Figura 9. Interface TOE para a edição dos operadores semântico-timbrísticos (TOE v. 1.4). 5. Leitor SFS (arquivos JSON gerados pelo SoundSphere). Após a coleta de dados em múltiplas sessões foi identificada a necessidade de analisar os produtos criativos e os processos registrados durante os experimentos com SoundSphere. Na versão 1.4, o usuário pode exportar o arquivo JSON da sessão, contendo múltiplas informações geradas durante a mixagem. O protótipo SoundSphere renderiza o resultado sonoro em formato de áudio PCM, estéreo, 16 bits, 44,1 kHz (WAVE). Logo podem-se avaliar os resultados através dos dois arquivos, com dados de controle e dados de áudio, também foi implementada a leitura e a escrita do formato WAVE multicanal para viabilizar esse tipo de suporte em versões futuras. Figura 10. Leitor SFS (arquivos JSON gerados pelo SoundSphere). Atualmente existem múltiplos leitores JSON, no entanto o suporte para a análise mais específica dos conteúdos ainda é limitado. Visando facilitar a análise e a tabulação dos dados foi desenvolvido 54 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) um novo módulo do software: o Leitor JSON-SoundSphere (ou Leitor SFS). Ao carregar o arquivo JSON no módulo o software extrai e organiza diversas informações: o número de canais das amostras de áudio utilizadas, a quantidade de vezes que cada amostra aparece no painel de mixagem, a quantidade de amostras disponíveis, a quantidade de amostras diferentes empregadas, e o total de eventos produzidos são disponibilizados em formato de tabela (figura 10). 4. Resultados do estudo exploratório No contexto das atividades curriculares de um curso de graduação introdutório sobre tecnologia musical, um grupo de oito alunos usou as ferramentas SoundSphere e TOE para produzir mixagens de um minuto com materiais sonoros diversos. Em consonância com os resultados anteriores (Bessa et al. 2015; Freitas et al. 2018; Pereira et al. 2017), a metáfora da esfera sonora foi eficaz no suporte das tarefas de mixagem de baixa a média complexidade. Parte dos alunos relataram que a codificação por cores foi útil como referência visual ao conteúdo sonoro das amostras. Ninguém relatou dificuldades com o uso dos operadores timbrísticos. Porém, observamos dificuldades em relação ao processo de construção e de recuperação dos operadores. A maioria dos participantes usou as configurações-padrão fornecidas pelo TOE. Eles se mostraram confusos ao tentar expandir o conjunto de descritores e, às vezes, não conseguiram aplicar seus resultados nos produtos sonoros. Parte dos participantes relataram a necessidade de informação visual para determinar quais eventos foram processados. Esses problemas podem ter sido causados por vários fatores. Em primeiro lugar, enquanto todos os alunos eram músicos, nenhum deles estava familiarizado com ferramentas de tecnologia musical - incluindo os editores de áudio ou DAWs. Em segundo lugar, o software TOE foi entregue sem preparação preliminar e sem tutorial, somente com uma explicação muito superficial do seu uso. Em terceiro lugar, dada a falta de experiência anterior com ferramentas de processamento de áudio, a maioria dos participantes teve dificuldade em compreender os conceitos envolvidos na construção dos parâmetros dos bancos de filtros. A sessão preliminar indicou que é necessário um suporte específico para o uso da ferramenta TOE. Isso não é surpreendente já que o alvo desta metáfora para a ação criativa são os usuários avançados. A partir desses resultados, planejamos implementar um tutorial e adicionar novos recursos à próxima versão do SoundSphere. Nosso protocolo experimental será ajustado para separar estritamente as tarefas dos usuários avançados das tarefas dos novatos. Na parte superior da faixa codificada por cores que representa o evento, adicionaremos algum elemento para indicar que um operador timbrístico foi aplicado. Também implementaremos novos mecanismos para lidar com as mudanças dinâmicas do timbre, incorporando eventualmente técnicas de manipulação temporal do áudio. Resumindo, discutimos uma variedade de abordagens para a interação timbrística, destacando as demandas dos usuários casuais. Experimentos anteriores com sujeitos leigos indicaram que fatores como o investimento temporal na atividade e as demandas por recursos sonoros relevantes estão no mesmo patamar de importância que a qualidade dos resultados criativos. Portanto, as soluções simplistas através de mapeamentos arbitrários ou a adoção acrítica de métodos acústicos- 55 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) instrumentais podem não ser aplicáveis à interação timbrística envolvendo não músicos. As manipulações timbrísticas geralmente acontecem conjuntamente com outras atividades criativas incluindo a seleção de recursos sonoros, a mixagem, a edição e o compartilhamento dos dados musicais. Diante desses contextos variados, convocamos um grupo de estudantes de graduação para utilizar - durante sessões criativas de caráter aberto - uma ecologia de ferramentas centrada na Metáfora da Esfera Sonora. Os participantes concluíram suas tarefas com sucesso. Porém, vários problemas foram levantados em relação aos materiais de suporte e ao uso das ferramentas. Os resultados indicam a necessidade de melhorar a informação visual vinculada ao tipo de processamento sonoro aplicado. Referências Assayag, G. (1998). Computer assisted composition today. In Proceedings of the Symposium on Music and Computers. Corfu: Ircam. Abreu, L. (2017). Typescript: O Javascript moderno para criação de aplicações. São Paulo, SP: FCA. Adorf, J. (2013). Web Speech API [Technical report]. Stockholm: KTH Royal Institute of Technology. Bessa, W. R. B., Keller, D., Farias, F. M., Ferreira, E., Pinheiro da Silva, F. & Pereira, V. S. (2015). SoundSphere v.1.0: Documentação e análise dos primeiros testes. In F. Z. Oliveira, D. Keller, J. T. de Souza Mendes da Silva & G. F. Benetti (eds.), Anais do Simpósio Internacional de Música na Amazônia (SIMA 2015). Porto Velho, RO: UNIR. Bessa, W. R. B., Keller, D., Freitas, B. & da Costa, D. F. (2020). A metáfora da esfera sonora desde a perspectiva WYDIWYHE. Journal of Digital Media & Interaction. Aveiro, Portugal: Universidade do Aveiro. Bown, O., Eldridge, A. & McCormack, J. (2009). Understanding interaction in contemporary digital music: From instruments to behavioural objects. Organised Sound 14, 188-196. (Doi: 10.1017/S1355771809000296.) Brown, A., Keller, D. & Lima, M. H. (2018). How ubiquitous technologies support ubiquitous music. In B. Bartleet & L. Higgins (eds.), The Oxford Handbook of Community Music. Oxford: Oxford University Press. (ISBN: 9780190219505.) Cartwright, M. & Pardo, B. (2013). Social-eq: Crowdsourcing an equalization descriptor map. In Proceedings of the International Society for Music Information Retrieval (ISMIR 2013). http://music.cs.northwestern.edu/publications/cartwright-pardo-ismir13.pdf. Coelho de Souza, R. (2019). Categorias de análise musical e modelagem física como análise do timbre. Musica Theorica 4, 62-97. Farias, F. M., Keller, D., Lazzarini, V. & Lima, M. H. (2015). Bringing aesthetic interaction into creativity-centered design: The second generation of mixDroid prototypes. Journal of Cases on Information Technology 17, 53-72. (Doi: 10.4018/JCIT.2015100104.) Freitas, B., Martins, A. J., Bessa, W. R. B., Keller, D. (2018). Causas da fixação criativa: viés cognitivo ou recurso tecnológico? Um estudo utilizando o ambiente musical ubíquo SoundSphere. In Anais do XXVII Seminário de Iniciação Científica da UFAC. Rio Branco, AC: UFAC. Harrison, S., Tatar, D. & Sengers, P. (2007). The three paradigms of HCI. In Proceedings of the ACM CHI Conference on Human Factors in Computing Systems (CHI 2007) (pp. 1-18). Keller, D., Barreiro, D. L., Queiroz, M. & Pimenta, M. S. (2010). Anchoring in ubiquitous musical activities. In Proceedings of the International Computer Music Conference (pp. 319-326). Ann Arbor, MI: MPublishing. Keller, D., Ferreira da Silva, E., Pinheiro da Silva, F., Lima, M. H., Pimenta, M. S. & Lazzarini, V. 56 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) (2013). Criatividade musical cotidiana: Um estudo exploratório com sons vocais percussivos. In Anais do Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música ANPPOM. Natal, RN: ANPPOM. Keller, D. & Lazzarini, V. (2015). Special Issue on Creativity-Centered Design and the Digital Arts. Journal of Cases in Information Technology 17, i-v. Keller, D., Lazzarini, V. & Pimenta, M. S. (eds.) (2014a). Ubiquitous Music. Heidelberg and Berlin: Springer. Keller, D. & Lima, M. H. (2016). Supporting everyday creativity in ubiquitous music making. In P. Kostagiolas, K. Martzoukou & C. Lavranos (eds.), Trends in Music Information Seeking, Behavior, and Retrieval for Creativity. Vancouver, BC: IGI Global Press. Keller, D., Miletto, E. M. & Otero, N. (2015a). Creative surrogates: Supporting decision-making in ubiquitous musical activities. In Proceedings of the 3rd International Conference on Computation, Communication, Aesthetics and X (xCoAx 2015). Glasgow, Scotland: xCoAx. Keller, D., Otero, N., Lazzarini, V., Pimenta, M., Lima, M. H., Johann, M. & Costalonga, L. (2015b). Interaction aesthetics and ubiquitous music. In N. Zagalo & P. Branco (eds.), Creativity in the Digital Age (pp. 91-105). London: Springer. (ISBN: 978-1-4471-6680-1.) Keller, D., Otero, N., Pimenta, M. S., Lima, M. H., Johann, M., Costalonga, L. & Lazzarini, V. (2014b). Relational properties in interaction aesthetics: The ubiquitous music turn. In Proceedings of the Electronic Visualisation and the Arts Conference (EVA-London 2014). London: Computer Arts Society Specialist Group. Keller, D., Pimenta, M. S. & Lazzarini, V. (2013c). Os ingredientes da criatividade em música ubíqua (Los ingredientes de la creatividad en música ubicua). In D. Keller, D. Quaranta & R. Sigal (eds.), Sonic Ideas, Vol. Criatividade Musical / Creatividad Musical. México, DF: CMMAS. Keller, D., Pinheiro da Silva, F., Ferreira E., Barros, A. E. B., Lazzarini, V. & Pimenta, M. S. (2013). Design centrado em criatividade para música ubíqua: Marcação espacial. In D. Keller & M. A. Scarpellini (eds.), Anais do II Simpósio Internacional de Música na Amazônia (SIMA 2013). Rio Branco, AC: Editora da UFAC. Keller, D., Pinheiro da Silva, F., Ferreira, E., Lazzarini, V. & Pimenta, M. S. (2013d). Design oportunista de sistemas musicais ubíquos: O impacto do fator de ancoragem no suporte à criatividade. In E. Ferneda, G. Cabral & D. Keller (eds.), Proceedings of the XIV Brazilian Symposium on Computer Music (SBCM 2013). Brasília, DF: SBC. Keller, D., Pinheiro da Silva, F., Giorni, B., Pimenta, M. S. & Queiroz, M. (2011). Marcação espacial: estudo exploratório. In L. Costalonga, M. S. Pimenta, M. Queiroz, J. Manzolli, M. Gimenes, D. Keller & R. R. Farias (eds.), Proceedings of the 13th Brazilian Symposium on Computer Music (SBCM 2011). Vitória, ES: SBC. Keller, D., Timoney, J., Constalonga, L., Capasso, A., Tinajero, P., Lazzarini, V., Pimenta, M. S., Lima, M. H. & Johann, M. (2014c). Ecologically grounded multimodal design: The Palafito 1.0 study. In Proceedings of the International Computer Music Conference (ICMC 2014). Athens: ICMA. Lima, M. H., Keller, D., Flores, L. V. & Ferreira, E. (2017). Ubiquitous music research: Everyday musical phenomena and their multidisciplinary implications for creativity and education. Journal of Music, Technology and Education 10 (1), 73-92. (Doi: doi:10.1386/jmte.10.1.73_1.) Milgram, S. & Jodelet, D. (1976). Psychological maps of Paris. In W. I. H. Proshansky & L. Rivlin (eds.), Environmental Psychology: People and their Physical Settings (pp. 104-124). New York: Holt, Rinehart, and Winston. Neutron (2018). Neutron track assistant [Editor de áudio]. https://www.izotope.com/en/products/mix/neutron/features-and-comparison/track-assistant.html Pereira, V. S., Silva, S. L., Bessa, W. R. B., Alcântara-Silva, T. R. & Keller, D. (2017). SoundSphere: O design participativo como estratégia para o desenvolvimento de tecnologias sustentáveis em música ubíqua. Sonic Ideas 13. http://sonicideas.org/mag.php?vol=10&num=19&secc=memoriasdeproyectos. 57 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Pimenta, M. S., Keller, D., Flores, L. V., Lima, M. H. & Lazzarini, V. (2014). Methods in creativitycentred design for ubiquitous musical activities. In D. Keller, V. Lazzarini & M. S. Pimenta (eds.), Ubiquitous Music (pp. 25-48). Berlin and Heidelberg: Springer International Publishing. (ISBN: 978-3-319-11152-0.) Pimenta, M. S., Miletto, E. M., Keller, D. & Flores, L. V. (2012). Technological support for online communities focusing on music creation: Adopting collaboration, flexibility and multiculturality from Brazilian creativity styles. In N. A. Azab (ed.), Cases on Web 2.0 in Developing Countries: Studies on Implementation, Application and Use. Vancouver, BC: IGI Global Press. (ISBN: 1466625155.) Pinheiro da Silva, F., Keller, D., Ferreira, E., Pimenta, M. S. & Lazzarini, V. (2013). Criatividade musical cotidiana: Estudo exploratório de atividades musicais ubíquas. Música Hodie 13, 64-79. Radanovitsck, E. A. A., Keller, D., Flores, L. V., Pimenta, M. S. & Queiroz, M. (2011). mixDroid: Marcação Temporal para Atividades Criativas. In L. Costalonga, M. S. Pimenta, M. Queiroz, M. Gimenes, D. Keller & R. A. R. Faria (Eds.), Proceedings of the 13th Brazilian Symposium on Computer Music. Vitória, ES: Brazilian Society of Computer Science (SBC). Seetharaman, P. & Pardo, B. (2016). Audealize: Crowdsourced Audio Production Tools. Journal of the Audio Engineering Society 64 (9), 683-695. https://interactiveaudiolab.github.io/audealize_api/ Shneiderman, B. (2007). Creativity support tools: Accelerating discovery and innovation. Communications of the ACM 50 (12), 20-32. (Doi: 10.1145/1323688.1323689.) Silva, S. L., Keller, D., Pereira, V. S. & Bessa, W. R. B. (2016). Estratégias de aferição da criatividade com público infantil: Utilizando ícones faciais em atividades com a metáfora de marcação temporal. In Proceedings of the Amazon International Symposium on Music (Anais do Simpósio Internacional de Música na Amazônia) (SIMA 2016). Belém, PA: EMUFPA. Smus, B. (2013). Web Audio API: Advanced Sound for Games and Interactive Apps. Sebastopol, CA: O´Reilly Media. Stables, R., Enderby, S., Man, B. D., Fazekas, G. & Reiss, J. D. (2014). SAFE: A system for the extraction and retrieval of semantic audio descriptors. In Proceedings of the15th International Society for Music Information Retrieval Conference (ISMIR 2014). Taipei, Taiwan: ISMIR. Stasis, S., Hockman, J. & Stables, R. (2017). Navigating descriptive sub-representations of musical timbre. In Proceedings of the Conference on New Instruments for Musical Expression (NIME 2017) (pp. 56-61). Copenhagen, Denmark: Aalborg University. Tatlas, N. A., Floros, A., Hatziantoniou, P. & Mourjopoulos, J. N. (2003). Towards the all-digital audio/acoustic chain: Challenges and solutions. In Proceedings of the Audio Engineering Society Conference. 23rd International Conference: Signal Processing in Audio Recording and Reproduction. http://www.aes.org/e-lib/browse.cfm?elib=12318 Trueman, D. (2007). Why a laptop orchestra?. Organised Sound 12 (2), 171-179. (Doi: 10.1017/S135577180700180X.) UJAM (2018). UJAM Studio [Editor de áudio]. https://www.ujam-studio.com/ Wessel, D. & Wright, M. (2002). Problems and prospects for intimate musical control of computers. Computer Music Journal 26 (3), 11-22. (Doi: 10.1162/014892602320582945.) 1 “[...] Postulamos, em consonância com Keller e Ferneyhough (2004) a possibilidade de uma quarta categoria, que emprega a estratégia da modelagem. Problemas, como a estrutura de obras estocásticas e a análise do timbre, que se revelam parcial ou integralmente opacos às outras categorias de análise podem eventualmente ser tratados através dessa estratégia. Postulamos enquadrar nessa categoria a técnica da modelagem física que julgamos oferecer uma estratégia adequada para abordar a análise do timbre, seja instrumental, seja dos sons produzidos por meios sintéticos, analógicos ou digitais” (Coelho de Souza 2019: 96). 2 https://sites.google.com/site/napmusica/ 3 http://dgp.cnpq.br/dgp/espelhogrupo/4273727401001550 4 Ver (Bessa et al. 2020), neste mesmo volume, para uma discussão do embasamento teórico e técnico do desenvolvimento da Metáfora da Esfera Sonora. 5 http://trello.com. 58 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) 6 Código disponível em: https://github.com/wramonbessa/soundsphere A versão atualizada da ferramenta de aferição criativa CSI-NAP encontra-se no endereço: https://docs.google.com/forms/d/e/1FAIpQLSfOMGzhDXdE9pH3NzVguiZU6VeNVYScC_L8KdYP53GpxSj_ZA/viewfor m 8 Erros ortográficos e defeitos funcionais de cada versão dos protótipos são mantidos para dar destaque à dinâmica iterativa e incremental do trabalho participativo de design. O histórico dos protótipos encontra-se disponível para uso e análise por outros grupos de pesquisa no endereço web: https://soundsphere.com.br. 7 59 International Journal of Digital Media and Interaction Special Issue on Ubiquitous Music, Vol.3, No.5, (2020) A Metáfora da Esfera Sonora desde a Perspectiva WYDIWYHE (The Sound Sphere Metaphor from a WYDIWYHE Perspective) William Ramon Barbosa Bessa1, Damián Keller2, Brendah Freitas2, David Ferreira da Costa2 Núcleo Amazônico de Pesquisa Musical (2Universidade Federal do Acre / 1 Instituto Federal do Acre) [email protected], [email protected], [email protected], [email protected] Resumo A perspectiva de design de interação WYDIWYHE - /uidiuirri/ what you do is what you hear (o que você faz é o que você ouve) - surge a partir dos desenvolvimentos impulsionados pelas práticas criativas em música ubíqua. Relatamos os resultados obtidos em dois estudos utilizando a Metáfora da Esfera Sonora em atividades criativas e descrevemos as múltiplas iterações do processo de implementação como forma de exemplificar o enfoque teórico-metodológico WYDIWYHE. A estratégia de design adotada no SoundSphere consiste em manter o alinhamento entre a ação do participante, a visualização da ação e a disponibilização do recurso para as ações subsequentes. Nesse sentido, o enfoque não só visa a relação entre a ação e o resultado sonoro, ele também envolve a escolha de priorizar a visualização da ação realizada. Os resultados indicam estratégias que podem ser aplicadas no processo de design: 1. A proporcionalidade espaço-tempo; 2. As temporalidades flexíveis; 3. O isomorfismo; 4. A manipulação direta; 5. A abstração semântica; e 6. A utilização das propriedades relacionais. Discutimos as implicações desta proposta para o campo da música ubíqua e apontamos alguns interrogantes abertos pelos aspectos destacados na análise de resultados. Palavras-chave: música ubíqua, interação timbrística, metáfora da esfera sonora, práticas criativas cognitivo-ecológicas, WYDIWYHE Abstract WYDIWYHE - / uidiuirri / (what you do is what you hear) - is an interaction design perspective that arises from ecologically grounded ubiquitous music creative practices. We report the results of two studies using the Sound Sphere Metaphor and describe the multiple iterations of the implementation process, as a way to exemplify the WYDIWYHE theoretical-methodological approach. In SoundSphere, our design strategy consists in maintaining the alignment between the participant action, the visualization of her action, and the resource availability for future actions. In this sense, we do not focus just on the relationship between the action and the sonic result, we also target the visualization of the action performed. The results indicate viable strategies for the design process, including: 1. Space-time proportionality; 2. Flexible temporalities; 3. Isomorphism; 4. Direct manipulation; 5. Semantic abstractions; and 6. Usage of relational properties. We discuss the implications of this proposal for the field of ubiquitous music and point to open questions highlighted by the experimental results. Keywords: ubiquitous music, timbre interaction, sound sphere metaphor, ecologically grounded creative practice, WYDIWYHE 1. Introdução As práticas musicais ubíquas fomentam a exploração de espaços alternativos para o fazer artístico e dão destaque para as estratégias de inclusão voltadas para o público sem instrução formal em música. Por um lado, ganha importância o contexto da atividade criativa através do aproveitamento de recursos locais no processo de tomada de decisões estéticas. Por outra parte, muda-se o foco das práticas criativas substituindo a ênfase no virtuosismo e nos aspectos performáticos pela reflexão sobre ISSN: 2184-3120 CC 2020 DIGIMEDIA International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) o processo de produção do conhecimento e seu impacto no potencial criativo dos participantes e nas relações entre os fatores sociais e ambientais e o fazer musical. É justamente a mudança do conceito de processo criativo a que abre novas possibilidades de suporte tecnológico no contexto das práticas artísticas e educacionais e no design de interação. Enquanto que as propostas prévias em interação musical ficavam ancoradas no uso de instrumentos ou na extensão das modalidades do fazer instrumental, ubimus propõe a exploração ativa de recursos materiais, sociais e cognitivos que não demandam o isolamento do sujeito e não dependem do domínio de sistemas simbólicos de representação do conhecimento musical (Keller et al. 2014a). No contexto ubimus, entende-se por criatividade musical toda manifestação sonora decorrente dos processos de interação material e cognitivo-social que acontecem no dia-a-dia, dando ênfase para as manifestações estéticas emergentes das relações entre coletivos de participantes e recursos materiais. O estudo desses processos demanda novos métodos e novas ferramentas. Essa é uma das motivações para o surgimento da pesquisa ubimus. A inclusão de leigos como participantes ativos do fazer criativo traz novos desafios para o design de interação. Enquanto a criatividade musical fica restrita à figura do compositor ou ao instrumentista, é reforçada a relação hierárquica entre músicos e público - materializada na separação espacial estabelecida pelo uso do palco italiano (Sorba 2006): No palco os músicos ativos, na plateia o público passivo. Essa separação funcional também é adotada na estrutura de suporte, centrada na notação fixa como a principal ferramenta de transferência de conhecimento musical. Bhagwati (2013) aponta que na notação fixa o tempo é organizado de forma centralizada e uniforme, portanto demanda a sincronização através da subordinação das partes às diretrizes de um participante (o regente) ou de um sistema mecânico ou eletrônico (o metrônomo). Nesse enfoque, a criação musical entende-se como um processo individual no qual as decisões estéticas são tomadas pelo compositor (ou excepcionalmente compositora) e essas decisões são incorporadas e priorizadas nos processos de escolha e de implementação dos recursos sonoros e tecnológicos. A incorporação de participantes avulsos no fazer criativo tem no mínimo duas consequências para o design de interação musical. Primeiramente, o uso da notação tradicional e seus derivados (como a cifra e similares) somente é efetiva quando os indivíduos têm treinamento musical. Portanto são necessárias estratégias alternativas de transferência de conhecimento1 para superar o hiato entre músicos e leigos. Segundo, na modalidade de participação casual - nos espaços de transição (por exemplo, os terminais de transporte público) ou nos espaços de lazer (praças, centros comerciais e similares) - o tempo de preparação e de familiarização com o ambiente de suporte é geralmente limitado a poucos minutos (Keller et al. 2013; Keller e Lima 2016; Pinheiro da Silva et al. 2013). Nesse contexto, são necessárias estratégias de suporte que não dependam de uma ampla bagagem de conhecimentos prévios e que não exijam procedimentos trabalhosos de configuração ou de compartilhamento para atingir um nível básico de funcionalidade. O fazer musical cotidiano envolve atividades de experimentação sonora direta2 (isso implica que o retorno sonoro tem que ser relativamente rápido e sem demandas de conhecimento específico) ou a inclusão através da imitação das ações realizadas por parceiros mais experimentados (neste caso apontando para requisitos 61 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) específicos de design de interação, vinculados à visualização e à utilização dos elementos da interface como recursos para a transferência de conhecimentos). Esses aspectos do design de interação são centrais na pesquisa relatada neste artigo. Nas seções seguintes descrevemos os procedimentos utilizados no processo de design da metáfora da esfera do som, as ferramentas de suporte implementadas e os resultados obtidos em dois estudos de campo centrados nas manifestações da criatividade cotidiana. Após a apresentação dos resultados, retomamos a discussão do enfoque WYDIWYHE focando a análise das escolhas de design exemplificadas pela disponibilização dos protótipos implementados em atividades criativas em contexto educacional e em contexto cotidiano. 2. O design iterativo da Esfera do Som A ferramenta SoundSphere foi desenvolvida por membros do NAP como parte de um projeto que visa a implementação e a validação de uma nova metáfora para a ação criativa, a Esfera do Som ou Esfera Sonora3 (Bessa et al. 2015). A metáfora da esfera sonora propõe a visualização de eventos sonoros projetados na superfície de uma esfera, com o usuário sentado no centro da mesma. No eixo vertical - equivalente à latitude do globo - situam-se as trilhas de mixagem. O eixo horizontal equivalente à longitude da esfera - corresponde ao tempo. Ao movimentar as trilhas para cima ou para baixo, observam-se os eventos que serão renderizados simultaneamente. Ao mover o cursor temporal (também denominado tracker) para a esquerda retrocede-se no tempo, e para a direita acessam-se os eventos futuros (figura 1). Nesse modelo tanto o tempo do resultado sonoro quanto a quantidade de trilhas deixam de ser predefinidos e passam a ter valores incrementais, que são determinados de acordo com a quantidade de eventos simultâneos e com o tamanho das amostras sonoras inseridas no painel de mixagem. Ao executar a mixagem, o globo gira horizontalmente. As amostras sonoras presentes no painel são renderizadas no momento em que elas atingem a posição do cursor temporal. Figura 1. Metáfora da esfera sonora: o eixo vertical contém as trilhas, o eixo horizontal representa o tempo. Ao executar a mixagem, os eventos sonoros são renderizados no momento em que ficam alinhados ao tracker (ou cursor temporal). 62 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Bessa et al. (2015) relatam os resultados da aplicação do protótipo SoundSphere 1.0 em atividades criativas musicais realizadas por músicos e leigos. Essas atividades incluíram a exploração da metáfora, a criação de mixagens no tempo estipulado de um minuto por sessão, e a imitação de uma composição previamente feita pelos pesquisadores. Após cada atividade, os participantes responderam o questionário CSI-NAP v. 0.5 (Keller et al. 2011), avaliando o produto criativo e seu desempenho durante a atividades. Os resultados foram positivos nos quesitos relevância dos produtos criativos e no fator produtividade vinculado à atividade. No entanto, os escores altos no item atenção indicaram a existência de uma alta demanda de investimento cognitivo por parte dos participantes. Esse nível de esforço pode ter influenciado negativamente os resultados referentes ao fator diversão, indicando problemas no mecanismo de suporte para a inserção das amostras sonoras no painel de mixagem. 2.1. Ferramentas utilizadas Lindstrom (2017) descreve a refatoração como o processo de reescrever código para deixá-lo mais simples e reutilizável, sem alterar o seu comportamento. Inicialmente o protótipo SoundSphere foi desenvolvido utilizando apenas JavaScript e HTML 54 (HyperText Markup Language versão 5). Uma das vantagens das ferramentas desenvolvidas em HTML 5 é que - através do suporte fornecido pelo navegador - a instalação no dispositivo é completamente transparente. O usuário acessa o endereço do portal onde está disponibilizado o protótipo e após carregar as amostras pode começar a trabalhar. A partir da versão 1.3.0, para facilitar as mudanças nos protótipos e a manutenção do código se fez necessária uma refatoração. Nesse processo, todo o código foi reescrito utilizando Typescript. Na refatoração, foi utilizado o editor de código Visual Studio Code5. Para rodar o aplicativo e realizar os testes, priorizamos o uso do navegador Chrome6 a partir da versão 70. No desenvolvimento do SoundSphere 1.4.0 foram empregadas as bibliotecas Web Audio API e Web Speech API. Web Audio API7 é uma biblioteca JavaScript de alto nível para processamento e sincronização de áudio em aplicativos web. Web Speech API é uma interface de programação que fornece recursos para análise e síntese da fala (Adorf 2013). O código foi desenvolvido através de múltiplas iterações envolvendo sessões com usuários e sugestões e trocas de todos os membros do NAP8. O equilíbrio entre a simplicidade da interação e a usabilidade no contexto de projetos com demandas diversas apontou caminhos que convergem nas propostas apresentadas neste artigo. Durante as reuniões do NAP, e através da gestão do projeto via o ambiente Trello9, foram elencadas estratégias de simplificação dos elementos da interface. 63 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Figura 2. Diagrama de Classes do SoundSphere 1.4.0. A figura 2 mostra as principais classes que compõem a versão 1.4.0 do SoundSphere em representação UML (Guedes 2011). A classe Panel contém os métodos referentes à animação dos elementos do painel de mixagem. A classe Item_Buffer foca o processamento do áudio. A classe Sequencer dá suporte para a navegação do painel. A classe Item_Mix_Panel implementa as ações de inserção ou exclusão de eventos no painel de mixagem. Ela abrange as informações paramétricas utilizadas na renderização dos resultados sonoros, incluindo o status do evento (solo ou mudo), a magnitude do parâmetro (vinculada à amplitude), a amostra de áudio selecionada, os tempos de início e de finalização do evento. A classe se comunica com Panel para ativar as animações do painel executando comandos como reproduzir, pausar ou parar a renderização do áudio. Os operadores semântico-timbrístico utilizam um descritor semântico para representar a configuração paramétrica do processamento de áudio (ver Freitas et al., neste volume). Com a inclusão dos descritores semântico-timbristicos foi necessário implementar as classes Semantic_Descriptor e Filter, contendo os métodos e atributos necessários para o processamento sonoro e a manipulação dos descritores. A classe SoundSphere_Info armazena as informações sobre a versão do software para fins de validação durante a leitura dos arquivos de projeto. Ela permite a exportação e importação de arquivos gerados pelos componentes da ecologia da esfera sonora. 2.2. SoundSphere 1.2.2 Com o intuito de superar as limitações identificadas nos primeiros protótipos, foi implementado um novo aplicativo SoundSphere 1.2.2. Essa versão abrange três grupos funcionais: (de cima para baixo na figura 3) o painel de mixagem, o menu de ferramentas, e o painel de amostras de áudio ou painel de seleção. A seta 1 indica as amostras de áudio carregadas no programa. Para cada arquivo 64 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) carregado, o sistema gera um ícone com uma cor específica viabilizando a identificação da amostra no painel de mixagem. Para identificar o conteúdo das amostras de áudio, os usuários podem passar o mouse sobre cada item10. O sistema reproduz o áudio desde o início do arquivo. Ao mover o cursor, o objeto sai de foco e pausa a reprodução. Ao clicar sobre um ícone, a amostra é selecionada e o sistema desenha um círculo ao redor do ícone. Após esse procedimento, o usuário pode inserir o item no painel de mixagem, clicando no local desejado. O painel de mixagem é indicado pela seta 2. Os números na borda superior representam o tempo, e os números na borda esquerda indicam a trilha. O usuário pode navegar pelo painel clicando e arrastando o mouse sobre o mesmo.11 Figura 3. SoundSphere v .1.2.2, a seta 1 indica a ferramenta de seleção de amostras de áudio, a seta 2 mostra o painel de interação e a seta 3 aponta para o menu de ferramentas que inclui múltiplas funcionalidades de edição e reprodução do áudio. 2.3. SoundSphere 1.4.0 A versão 1.4.0 apresenta mudanças significativas tanto nas funcionalidades quanto nas ferramentas de suporte. Como o foco deste artigo não é discussão da Ecologia SoundSphere, indicamos outras publicações para a análise detalhada desses aspectos, com destaque para o Editor de Operadores Semântico-Timbrísticos (TOE - Semantic Timbre-Operator Editor) e o Leitor SFS (SFS Reader) (Freitas et al. neste volume). Nesta seção descrevemos as funcionalidades mais relevantes para o conceito WYDIWYHE, sem entrar em detalhes sobre as outras ferramentas. Na figura 4, as setas 1 e 2 indicam o sistema de organização em grades do painel de mixagem, com a separação das trilhas no eixo vertical e o contínuo temporal no eixo horizontal. A seta 1 aponta 65 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) para a escala do tempo e a seta 2 para o número da trilha. Quando uma amostra de áudio é inserida no painel, ela é representada por um evento (indicado pela seta 3). A cor do evento corresponde à cor da amostra definida na hora do carregamento do arquivo de áudio. O tamanho do evento é proporcional à duração da amostra. Na versão 1.4.0 a espessura do evento varia de acordo com a magnitude do parâmetro amplitude. Os eventos mudos são indicados com a cor cinza. A seta 4 mostra o menu de ferramentas, incluindo um botão para ativar comando de voz e os botões repetir, reproduzir, pausar, parar, reiniciar, carregar amostras e baixar a mixagem12. No painel de seleção, a amostra escolhida é marcada com um círculo (seta 5). Feita a seleção, ela pode ser inserida com um clique no painel. A seta 6 indica uma amostra não selecionada. Figura 4. Interface do painel de mixagem do SoundSphere 1.4.0. Navegação no painel de mixagem. Ao longo dos experimentos e nas reuniões de design do NAP, identificamos a necessidade de implementar diversas funcionalidades para aprimorar o mecanismo de navegação do painel de mixagem. Após o clique e o movimento do cursor, o painel desloca-se para a direção oposta para a qual o cursor é arrastado. Quanto mais rápido o movimento, maior a velocidade de deslocamento. Esse mecanismo visa dar maior agilidade para os usuários que fazem projetos de longa duração ou com grande número de amostras. Edição de eventos. Nas versões iniciais era necessário clicar em um botão do menu para que ao clicar em um item de mixagem, o painel fosse ativado. Isso gerava operações redundantes em uma atividade iterativa. O botão foi removido. Para ativar a edição do evento, basta um clique no evento a ser editado (removendo a seleção da amostra de áudio). Em experimentos recentes, também identificamos a necessidade de reintroduzir a ferramenta deletar entre as opções do menu. Na versão 1.4.0, essa funcionalidade demanda abrir a janela de edição do evento e apertar no botão 66 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) correspondente. Os usuários experientes apontaram para a assimetria entre a inserção e a remoção de eventos, indicando que a primeira é muito fácil porém a segunda demanda mais ações. Colisões de eventos. Visando um comportamento mais intuitivo, foi alterado o mecanismo de gestão de colisões entre eventos. Caso o usuário tente inserir um evento e o mesmo colida com algum item preexistente, o software realoca o novo item para a trilha inferior mais próxima. Se o local não está disponível na trilha imediatamente inferior, o algoritmo procura a seguinte até esgotar as trilhas. No caso (raro) de que a última trilha esteja indisponível, é retornada uma mensagem de erro. Consequentemente, procura-se manter o tempo de início do novo item alinhado com a ação do usuário. Vale ressaltar que caso a mudança de trilha impeça a visualização do evento, o painel movimenta-se automaticamente modificando o quadro da janela de visualização para manter o evento visível. O mesmo comportamento é adotado para todos os casos em que a inserção de eventos não é possível. Inserções inválidas. Nas versões iniciais, ao inserir um evento com duração maior do que o tempo disponível, o sistema ajustava o posicionamento retrocedendo o ponto de inserção. Portanto, era aplicada uma mudança no tempo do início do evento (onset). A partir da versão 1.4.0, se o usuário tenta inserir um evento para o qual não há espaço no painel de mixagem, o sistema apresenta um aviso informando que a ação não é possível. Esse novo comportamento garante o princípio de que a ação corresponda de forma direta ao resultado obtido13. Visualização da magnitude. No protótipo 1.3.0, o parâmetro amplitude é indicado pela espessura do evento. Quanto maior for o valor atribuído ao parâmetro, mais espesso fica o item. Na figura 5, vemos como é alterado um evento de acordo com a amplitude e o status ativo ou mudo. A seta 1 indica um evento com amplitude 100% e ativo, a 2 indica 50% de volume e ativo, a 3 aponta a evento com amplitude 0% porém ativo, já a 4 indica 100% de volume com status mudo, e o evento 5 tem a amplitude em 50% também com status mudo. Figura 5. Painel do SoundSphere 1.3.0 exibindo eventos com diferentes níveis de amplitude indicados pela espessura e coloração do evento. 67 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Caso a amplitude seja zero ou o evento esteja mudo deveria ser usada uma coloração neutra em cinza, indicando que o evento não está disponível para reprodução. Outro problema identificado nos experimentos foi a falta de espaço para a visualização de operadores semântico-timbrísticos. Para o caso 3, houve dificuldades para diferenciar as cores. Comandos de voz. Para ampliar as possibilidades de uso por parte do público leigo, implementamos o suporte para comandos acionados via voz. A seta 6 mostra o botão que ativa comandos de voz no painel de mixagem. A interface da janela de edição de eventos tem um ícone com funcionalidade equivalente. A configuração paramétrica é feita na ferramenta TOE. Identificação da sessão. A partir da versão 1.4.0, o sistema permite que o usuário nomeie seu arquivo de projeto14. Essa funcionalidade permite trabalhar em mais de uma composição simultaneamente ou alternar múltiplas janelas ou abas do navegador ampliando as possibilidades de uso em performance e permitindo comparações rápidas entre múltiplas versões da mesma mixagem15. Também é possível utilizar diversas configurações de processamento de áudio para o mesmo grupo de amostras ou manter codificações de visualização diversas para o mesmo conjunto de materiais. A identificação do projeto também é necessária para enviar o arquivo a outros participantes, viabilizando o trabalho colaborativo de forma iterativa. Nessa modalidade, um grupo de amostras compartilhadas é utilizado em um projeto comum que é modificado por cada parceiro, a nomeação é atualizada a cada compartilhamento. Comportamento da pausa. Nas versões iniciais do SoundSphere era necessário reproduzir a mixagem completa desde o início. Isso inviabilizava os projetos com duração acima de 2 ou 3 minutos, já que se o usuário estivesse trabalhando no final de uma mixagem de vários minutos ele tinha que reproduzir toda a mixagem para conferir as modificações feitas. A alteração do comportamento permite que ao ativar a pausa, o usuário escolha livremente o local do início da reprodução. É interessante observar que essa funcionalidade, apesar de ser intuitiva, não é aproveitada por alguns usuários durante as sessões iniciais de exploração. Cabe investigar em mais detalhe a compreensão da organização temporal subjacente, vinculada ao potencial de interação das metáforas para a ação criativa (ver tópico Temporalidades flexíveis). Reproduzir. O comando inicia a reprodução desde o tempo zero ou dá continuidade à execução a partir da posição do cursor temporal. Como vimos na utilização da pausa, o usuário pode interromper a execução e - por meio de um clique no painel - indicar onde quer reiniciar a reprodução. Ao pressionar o botão play, o painel se reposiciona (caso o evento sendo reproduzido não esteja visível). Portanto, sempre é visualizado o que está sendo reproduzido. Atualmente o sistema muda o posicionamento vertical para o ponto inicial da mixagem. Será necessário modificar esse comportamento em versões futuras, mantendo a posição vertical alinhada com a última ação realizada no painel. 2.4. SoundSphere 1.4.12 A informação sobre as ações realizadas pelos usuários tornou-se um assunto central nas sessões experimentais com o SoundSphere. Durante as atividades envolvendo poucos recursos sonoros, com tempo limitado, e sem a participação de múltiplos parceiros, a demanda por informações detalhadas 68 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) do histórico de operações não era indispensável. Mas quando refinamos o suporte para a navegação, introduzimos o processamento de áudio e incentivamos as sessões interativas com múltiplos participantes observamos um aumento na dificuldade de identificar as operações realizadas. Era necessário lidar com dois aspectos do problema. Por um lado, tínhamos que incorporar um mecanismo que permitisse identificar os eventos nos quais foram realizadas operações de processamento de áudio. Por outro lado, precisávamos implementar uma estratégia de visualização da magnitude dos operadores que fosse compatível com a codificação por cores. Neste último aspecto, alguns participantes relataram dificuldades para identificar a amostra sonora utilizada quando a espessura do evento ficava muito fina. Processamento de áudio via operadores semântico-timbrísticos. Visando ampliar o acesso a funcionalidades refinadas para o público leigo, implementamos o suporte para o processamento de áudio via operadores semântico-timbristricos. A arquitetura e os parâmetros do banco de filtros são editados com a ferramenta TOE. O mecanismo permite a criação de bancos de filtros abrangendo todas as opções fornecidas pela versão atual da biblioteca Web Audio. Ao importar o arquivo TOE, os operadores ficam disponíveis na janela de edição do evento. Essa estratégia permite que centenas de parâmetros sejam aplicados para cada item de mixagem a partir da escolha de um descritor. Visualização dos operadores timbrísticos. Com a implementação dos operadores foi necessário aprimorar o mecanismo de visualização levando em conta a superfície reduzida dos eventos de curta duração. Estabelecemos um padrão de abreviação aplicando um esquema similar ao utilizado na codificação dos aeroportos. Os eventos com processamento são apresentados com um rótulo de até 3 caracteres, exibidos de forma vertical no início do item. Esse mecanismo viabiliza a visualização do descritor em eventos com durações curtas e abre a possibilidade de utilizar múltiplos operadores para cada evento em implementações futuras (figura 6) Figura 6. Painel de mixagem do SoundSphere 1.4.0 demonstrando o uso de operadores semânticotimbrísticos. Customização do sistema de cores. Ao carregar os arquivos de áudio no SoundSphere 1.0, o sistema organizava as amostras seguindo a ordem alfanumérica e estabelecendo de forma automática cores individualizadas para cada amostra. Os resultados da disponibilização dos protótipos em diversos contextos mostraram algumas particularidades no uso desse sistema de codificação por cores (Freitas et al. 2018). A partir das observações experimentais (discutidas na segunda parte deste artigo), optamos por ampliar as possibilidades de visualização dos materiais sonoros via preferências 69 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) customizadas. Pensando em um mecanismo de suporte para a organização de conjuntos de amostras de forma autônoma, implementamos um sistema de customização da visualização. Quando o nome do arquivo é lido - se existe um código em formato hexadecimal correspondente a uma cor - o sistema aplica a cor de forma persistente (ao longo de toda a sessão). Portanto, a partir da versão 1.4.12 SoundSphere dá suporte para duas modalidades de codificação dos materiais sonoros: 1. Organização alfanumérica automática (quando os nomes das amostras não contém códigos de cores) e 2. Organização customizada (quando são inseridos códigos hexadecimais nos nomes dos arquivos). Na modalidade 1 é assegurada a consistência da representação, fornecendo sempre cores diferenciadas e estáveis em múltiplas sessões com múltiplos usuários. Na modalidade 2, a consistência precisa ser administrada pelos participantes já que eles têm liberdade quase total para definir a paleta de cores. Um caso específico - as cores correspondentes à escala de cinza - é tratado como exceção. A escala de cinza está reservada para a representação das magnitudes paramétricas, visualizadas a partir da geração de diversos tipos de degradê - geralmente vinculados ao cinza escuro nos valores elevados e ao cinza claro nos valores reduzidos. Por conta dessa restrição, ao inserir um código hexadecimal correspondente a um tipo de cinza o sistema fornece um aviso alertando o usuário para evitar esse tipo de escolha. Visualização da magnitude em degradê ou gradiente. Entre os mecanismos que permitem a verificação rápida dos atributos utilizados nas mixagens, foi implementada a visualização da magnitude paramétrica através de um degradê individualizado para cada evento. Pretende-se usar esse mecanismo para indicar escalas de valores em parâmetros contínuos, como amplitude, ganho, panorama, quantidade de reverberação, flutuação do espectro, compressão, abrangendo os diversos tipos de processamento sonoro a serem desenvolvidos a partir das funcionalidades da biblioteca Web Audio. A figura 7 apresenta um exemplo de uso do degradê com diversos níveis representados pela intensidade da escala de cinza. Figura 7. Painel do SoundSphere 1.4.12 demonstrando a aplicação do degradê para representar a magnitude paramétrica. 70 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Na segunda parte deste artigo abordamos os aspectos práticos da disponibilização da metáfora da esfera sonora em ambientes educacionais e em espaços de transição. O detalhamento da descrição dos procedimentos justifica-se na análise da relação entre os recursos materiais, as interações sociais e os recursos tecnológicos, com impacto nos aspectos cognitivos e comportamentais da atividade criativa. A estratégia WIDYWYHE fundamenta-se nas propriedades relacionais que se manifestam no fazer criativo (Keller et al. 2014b; Keller et al. 2015). Portanto acreditamos que é difícil determinar o impacto das escolhas de design sem a aplicação em estudos de campo. Nas próximas seções tentaremos preencher parte dessa lacuna focando a discussão da aplicação da metáfora da esfera sonora em atividades realizadas principalmente por leigos. Exemplo 1. Vídeo-demonstração de uso de SoundSphere: carregamento e mixagem de áudio. https://drive.google.com/file/d/1knIL06uwhxH4CjHvZr2C_Ehn8Cnp12YM/view?usp=sharing 3.Estudo EMAC: SoundSphere em ambiente educacional O protótipo SoundSphere 1.2.2 foi utilizado em oficinas teóricas e práticas de sequenciamento e mixagem, fornecendo auxílio a atividades criativas musicais com crianças e adolescentes da Escola de Música do Acre (EMAC). A EMAC é uma instituição vinculada à rede estadual de ensino que fornece aulas de música para crianças, adolescentes, jovens e adultos. Ela serve como porta de acesso a estudos mais aprofundados em música nos níveis técnico (IFAC) e superior (UFAC). A grade curricular da EMAC não inclui disciplinas voltadas para a tecnologia musical. Porém, durante a entrevista realizada a administração reconheceu a importância de incentivar os alunos a interagir com ambientes de suporte para a criatividade. Levando em conta a ausência de atividades tecnológico-musicais, elaboramos uma proposta de oficina utilizando os recursos disponíveis no ambiente. Uma dificuldade encontrada foi a falta de um laboratório de informática. A falta de equipamento da EMAC foi contornada com o apoio do NAP, que disponibilizou sete computadores com fones de ouvido. Para superar o problema do espaço, adotamos a sala de reuniões dos funcionários da escola para uso exclusivo durante as sessões. O espaço tem suporte para projeção de vídeo e uma mesa grande, viabilizando a utilização de múltiplos dispositivos simultaneamente. 3.1. Preparação Materiais sonoros. Disponibilizamos dez amostras de áudio, sendo três delas sons captados em ambientes diversos, incluindo sons de carros, sons biofônicos, e sons domésticos. As outras sete amostras são simulações de instrumentos musicais via síntese sonora (baixo, violão e bateria) que foram cedidas pelo músico Edemilson Ferreira. Ferramentas. Na coleta de dados foram empregadas versões adaptadas dos questionários CSINAP16 (Creative Support Index) e ISE-NAP (Perfil Individual Sócio-Econômico) (Keller et al. 2011). Com o objetivo de obter o levantamento do perfil dos participantes, o questionário ISE-NAP foi aplicado uma única vez após a apresentação do software. 71 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Para aferir o nível de suporte à criatividade, p questionário CSI-NAP foi aplicado logo após cada atividade de exploração, criação e imitação. Dois fatores do CSI-NAP descrevem o produto: a relevância e a originalidade, e quatro fatores estão vinculados à atividade em si: diversão, produtividade, atenção ou esforço cognitivo, e suporte para colaboração. Para todos os itens avaliados usou-se a escala Likert de cinco ítens. No questionário foram disponibilizados equivalentes semânticos em cada nível: concordo totalmente, concordo parcialmente, não sei, discordo parcialmente, discordo totalmente. A Figura 8 apresenta as opções disponíveis na avaliação e o valor numérico correspondente. Figura 8. CSI-NAP: Escala Likert e descritores semânticos associados a cada valor. 3.2. Perfil dos participantes Foram realizadas doze oficinas, atingindo um total de 67 (sessenta e sete) alunos. Em relação ao gênero, participaram quarenta meninos e vinte sete meninas. O público incluiu crianças e adolescentes, com média de idade de 12 anos (figura 9). 43% dos alunos pertence à faixa de 11 a 13 anos e 39% dos participantes tem entre 8 e 10 anos de idade. A média de tempo de treinamento musical é de 2 anos - 72% dos entrevistados estudou música entre 1 e 2 anos e 28% cursou de 3 a 4 anos. Portanto, a maioria dos participantes pode ser considerado leigo em música, sendo que parte dos participantes tem treinamento musical de nível intermediário. 72 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Figura 9. Faixa etária (esquerda), nível de estudo formal de música dos 67 participantes (direita). Figura 10. Tempo de utilização de programas de ferramentas sonoras (esquerda), tempo de uso de computadores (direita). Em relação à familiaridade com o uso de ferramentas sonoras (Audacity, Pro-Tools ou Reason, por exemplo) (figura 10), constatou-se que 84% dos entrevistados não faz uso de sistemas de edição de áudio. Para a grande maioria, SoundSphere foi o primeiro contato com sistemas de manipulação de dados musicais ou sonoros. Quanto ao tempo de uso de computadores, 25% dos entrevistados informaram utilizar o computador por um período entre 5 a 6 anos, 25% entre 7 e 8 anos de experiência, e 15% entre 9 e 10 anos. Os dados mostram que somente 4% dos entrevistados não têm familiaridade com sistemas estacionários. Quase todos utilizam dispositivos portáteis (somente 3% não faz uso de telefones celulares) (figura 6) (cf. Vieira da Silva et al. 2017). 73 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Figura 11. Período de utilização de dispositivos portáteis. 3.3. Procedimentos As oficinas foram realizadas nos dias 21, 22 e 28 de outubro de 2015, totalizando doze oficinas com grupos de quatro a sete alunos, com duração média de 52 minutos por sessão. Foram disponibilizados um fone de ouvido, um mouse e um computador portátil por aluno. Os equipamentos eram de marcas diversas, com sistemas operacionais variados. A utilização de equipamentos heterogêneos não resultou em nenhum prejuízo à realização da oficina, mas permitiu aferir as atividades em condições similares às encontradas nos espaços de ensino musical existentes em Rio Branco, AC. As atividades foram divididas em cinco etapas: explicação do conceito de mixagem, instruções práticas da funcionalidade do software, e atividades de exploração, criação e imitação. A primeira fase visou explicar o objetivo da oficina, abrangendo os procedimentos para fazer mixagens e dando destaque para os aspectos criativos. Na segunda etapa foi apresentado um vídeo exemplificando o funcionamento do SoundSphere. Após a atividade 2 foi aplicado o questionário ISE-NAP v. 0.4 (Keller et al. 2011). Durante a fase 3 os participantes utilizaram o software explorando livremente as suas funcionalidades, sem limite de tempo. Essa fase é importante para identificar as principais dificuldades no manuseio da ferramenta e para avaliar o tempo de familiarização com os materiais e as funcionalidades. Para a atividade 4 foi estabelecido o tempo padronizado de um minuto para obter um produto sonoro. A atividade de criação permite avaliar se o usuário consegue obter um resultado sonoro satisfatório (aplicando critérios próprios), mesmo com tempo reduzido. Por fim, na atividade 5 (imitação) é apresentada uma composição de cinco a oito amostras sonoras, previamente elaborada pelos experimentadores. Solicitamos que os participantes tentem reproduzir o material sonoro fornecido, permitindo a audição e visualização livre dentro do lapso de um minuto. O objetivo da atividade é verificar se o suporte permite reproduzir um modelo sonoro. Após as atividades 3, 4 e 5 foi aplicado o questionário CSI-NAP v. 0.5. 74 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Dedicamos de quatro e cinco minutos para as fases de apresentação e instruções específicas. Os sujeitos realizaram a atividade de exploração em aproximadamente sete minutos. O tempo da atividade de criação e de imitação foi controlado pelos experimentadores (média de um minuto de duração). 3.4. Estudo EMAC: Resultados A atividade 3 (exploração) teve resultados positivos nos itens diversão, produtividade e colaboração (figura 12). Os quesitos diversão (1,85 ± 0,46), produtividade (1,72 ± 0,57) e colaboração (1,82 ± 0,52) atingiram médias acima de 1,7 com o desvio padrão entre 0,46 e 0,57. Já as avaliações dos produtos sonoros foram positivas (indicadas por médias altas nos itens relevância e originalidade do produto, mas o desvio padrão foi mais elevado do que o obtido no desempenho na atividade, portanto houve divergência entre as respostas fornecidas pelos sujeitos). Figura 12. Avaliação de desempenho e resultado da atividade de exploração (média indicada pela barra e desvio padrão representado pela linha). Para a atividade 4 (criação), o tempo e a quantidade de amostras foram previamente estabelecidos com objetivo de estabelecer comparações entre as múltiplas iterações realizadas (figura 13). Os participantes tiveram 1 minuto para realizar uma composição sonora no SoundSphere. Os resultados mostram que na atividade de criação houve um bom desempenho nos fatores diversão (1,79 ± 0,47), produtividade (1,69 ± 0,58) e engajamento (1,77 ± 0,48) atividade também demandou um nível alto de atenção (1,73 ± 0,64). Vários comentaram que gostariam de ter mais tempo para realizar a atividade. 75 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Figura 13. Avaliação do desempenho e do resultado da atividade de criação. Durante a atividade 5 (imitação), os participantes tiveram um minuto para reproduzir um modelo de mixagem previamente realizado no SoundSphere (figura 14). Os dados da avaliação de desempenho e resultado da atividade de imitação apontam para a relevância do resultado (1,67 ± 0,68). Durante a atividade, os fatores atenção (1,75 ± 0,61), diversão (1,76 ± 0,57) e engajamento (1,75 ± 0,84) atingiram níveis altos. Figura 14. Avaliação de desempenho e do resultado da atividade de imitação. 3.5. Estudo EMAC: Discussão dos resultados No estudo realizado com crianças e adolescentes estudantes de música procuramos verificar, através de atividades realizadas com o apoio do protótipo SoundSphere 1.2.2, a aplicabilidade da metáfora da esfera do som. Apesar da idade reduzida dos participantes e da falta de treinamento tecnológico-musical, observamos que a maioria dos entrevistados faz uso frequente de dispositivos tecnológicos.17 Durante o estudo, todos os participantes conseguiram realizar as mixagens e se mostraram interessados nas propostas de criação sonora por meio de aplicativos. Muitos queriam continuar utilizando o protótipo após o término da atividade, e outros pediram o endereço da ferramenta para uso futuro. Com base nos dados obtidos nas atividades de exploração, criação e imitação, concluímos que a metáfora para a ação criativa implementada fomenta a atenção, a diversão, a produtividade e o 76 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) engajamento. Os dados de avaliação dos resultados sonoros e do desempenho durante as atividades ressaltaram o desempenho nos quesitos atenção, diversão, produtividade e engajamento nas atividades de exploração e criação. Na atividade de exploração, a diversão e o engajamento tiveram maior nível de aprovação do que os outros fatores. Na atividade de imitação, destacaram-se os quesitos atenção, diversão, engajamento e relevância do resultado sonoro. Os dados obtidos na avaliação da atividade de imitação enfatizaram a atenção requerida (1,75 ± 0,61). No entanto, os escores da diversão (1,76 ± 0,57) e dos resultados criativos (1,67 ± 0,68) foram elevados. Esses escores apontam que os problemas relatados por Bessa et. al. (2015) na atividade de imitação empregando o protótipo 1.0 - vinculados à utilização de cores aleatórias para representar as amostras - foram corrigidos na versão 1.2.2. 4. Estudo RU: Utilização de SoundSphere em ambiente de transição18 Como complemento aos estudos prévios realizados em ambientes educacionais (Bessa et al. 2015; Pereira et al. 2018), disponibilizamos o protótipo SoundSphere 1.4.0 em um ambiente de transição, no espaço de espera do restaurante central de uma instituição de ensino. O objetivo foi observar o suporte específico da ferramenta para a ação criativa, simultaneamente avaliando o impacto do contexto nas atividades criativas. 4.1. Perfil dos sujeitos Dezenove sujeitos colaboraram na pesquisa (tabela 1). Os participantes foram 12 homens e 7 mulheres. A média de estudo musical é de 1,85 ± 2,77 anos. O período de uso de computador é de 7,55 ± 3,15 anos. O tempo de uso de dispositivos móveis (tablet e celular) é de 8,4 ± 2,50 anos. Tabela 1. Perfil dos participantes (média ± desvio padrão). N = 19. Sexo feminino: 7 masculino: 12 Idade 22,75 ± 4,10 Escolaridade Ensino Superior Incompleto Estudo musical 1,85 ± 2,70 Uso de instrumentos acústicos 2,15 ± 3,51 Uso de instrumentos eletrônicos 1,8 ± 3,33 Uso de programas multimídia 2,15 ± 3,74 Uso de computador 7,55 ± 3,07 Uso de dispositivo portátil 8,4 ± 2,43 Uso de recursos para a manipulação sonora 0,3 ± 1,34 77 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Uso de linguagens de programação musical 0,7 ± 2,36 Uso de navegador de internet 8,42 ± 2,36 Gravação de áudio e vídeo 1,85 ± 3,28 Uso de linguagens de programação 1,00 ± 2,36 Uso de redes sociais 7,5 ± 3,06 Edição de dados 0,5 ± 1,79 Atividade física semanal (em minutos) 55,5 ± 53,55 4.2. Local das sessões As sessões foram realizadas no espaço de lazer do Restaurante Universitário da Universidade Federal do Acre (RU). Nesse espaço, os estudantes ficam nos sofás, em alguns casos utilizando recursos eletrônicos portáteis como telefones ou tablets. O ambiente é climatizado e tem iluminação natural, com amplas janelas de vidro. No centro do espaço tem uma mesa. Os tipos de materiais utilizados na construção (lajota e vidro) são altamente reverberantes e tendem a aumentar o nível de ruído. Porém, fora do horário das refeições o ambiente é tranquilo e a circulação de pessoas é baixa. As sessões aconteceram no período em que o RU não estava em plena atividade. 4.3. Materiais Foi utilizado um computador portátil Samsung 4 Core, com sistema operacional Windows 10, com tela de 13.3 polegadas, processador Quad Core 1.3 e 4 GB de memória RAM com o touchpad do próprio computador (sem mouse ou fones de ouvido). Foi utilizada a versão 75 do navegador Chrome. 4.4. Materiais sonoros As amostras sonoras foram padronizadas em durações de 3 e 19 segundos, e incluíram três classes sonoras: trechos musicais de piano, amostras de sons biofônicos e amostras de sons processados. As amostras de piano foram extraídas de três peças para piano solo: Fur Elise (Ludwig van Beethoven 1810), Sonata para piano Moonlight (Ludwig van Beethoven 1801), Ave Maria (Franz Schubert 1825). As amostras de sons biofônicos abrangem sons de sapos e grilos coletados no Parque Zoobotânico da UFAC (Pinheiro da Silva et al. 2013). As amostras de sons instrumentais foram extraídas da peça instrumental Decadadente.19 O processamento, envolvendo a modificação da duração e da altura das amostras, foi realizado no editor Audacity (Mazzoni e Dannenberg 2000). Após a preparação dos materiais, foram selecionadas 5 amostras de cada grupo (sons biofônicos, piano e sons instrumentais processados), totalizando 15 amostras sonoras. Os arquivos em formato PCM, 44100 Hz, 16 bits (WAVE) foram dispostos numa pasta na área de trabalho. Tabela 2. Foram disponibilizadas 15 amostras, abrangendo sons biofônicos, sons instrumentais e sons instrumentais processados. Durações indicadas em segundos. 78 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Sons biofônicos Sons de piano Sons processados M6I3C2M 00:00:09 C Fur Elise 005 00:00:10 SP-9 00:00:14 J6H3C4A 00:00:06 C Fur Elise 004 00:00:10 SP-8 00:00:11 D4G3R3G 00:00:19 C Fur Elise 003 00:00:05 SP-7 00:00:10 Ç1T3H7M 00:00:03 C Fur Elise 001 00:00:09 SP-5 00:00:09 A5U3V1ª 00:00:03 C Fur Elise 002 00:00:10 SP-3 00:00:09 4.5. Procedimentos Fases do estudo: 1. Instrução sobre a atividade: explicação dos objetivos criativos e dos procedimentos de utilização das ferramentas e preenchimento do formulário de identificação (ISENAP). 2. Seleção das amostras: os colaboradores ouvem as amostras para escolher o material para sua composição. 3. Atividade de exploração: O colaborador tem como objetivo utilizar todas as possibilidades da ferramenta SoundSphere, desde o carregamento das amostras, a inserção no painel de mixagem, até o processamento dos materiais sonoros. O tempo é livre. 4. Atividade de criação. Com tempo limitado em um minuto, os participantes desenvolvem um produto criativo, podendo utilizar amostras sonoras da atividade anterior ou inserir novas amostras. 5. Atividade de imitação. As amostras são carregadas no ambiente SoundSphere. Os sujeitos copiam uma produção criativa fornecida pelo experimentador, no tempo máximo de um minuto. 6. Preenchimento dos formulários de aferição da atividade e dos produtos sonoros (CSI-NAP). 4.6. Aferição criativa (CSI-NAP) Ferramentas e procedimentos descritos no estudo anterior (seção Preparação). 4.7. Estudo RU: Resultados Fizemos um levantamento dos recursos utilizados pelos participantes através da análise dos dados coletados no SoundSphere.20 Nas três atividades foram carregadas entre 4 e 5 amostras e um número similar foi utilizado nas mixagens (tabela 3). Consistentemente, as mixagens abrangeram um número maior de eventos sendo que a maior elaboração correspondeu à atividade de exploração (9 ± 4,32). 79 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Tabela 3. Resultados obtidos através da coleta do histórico de ações implementada na versão 1.4.0 do SoundSphere. Atividade Amostras Disponíveis Amostras Diferentes Utilizadas Eventos Exploração 5 ± 2,28 5 ± 1,45 9 ± 4,32 Criação 5 ± 2,54 4 ± 1,2 7 ± 2,58 Imitação 4 ± 0,5 4 ± 0,89 7 ± 2,09 O desempenho na atividade de criação foi aferido pelos 19 sujeitos (tabela 4). Apresentamos a média e o desvio padrão das respostas a partir da aplicação de uma escala Likert de -2 a 2. As médias mais altas correspondem aos fatores colaboração e diversão (1,8 ± 0,4 e 1,7 ± 0,64 respectivamente). Quanto ao produto criativo, os participantes indicaram que os resultados sonoros foram originais (1,75 ± 0,66), porém a avaliação da relevância dos produtos não atingiu o mesmo consenso que o fator originalidade (1,4 ± 0,66). Outros aspectos da atividade foram avaliados positivamente, porém as médias foram sensivelmente inferiores e a variabilidade das respostas foi maior: nível de atenção (1,5 ± 0,59), produtividade (1,5 ± 0,67). A menor média com maior variabilidade foi no fator que representa o inverso do esforço cognitivo: a facilidade (1,15 ± 0,72). Tabela 4. Resultados da aferição dos fatores criativos na atividade de criação (N = 19). Qualidade do produto 1,4 ± 0,66 Originalidade do produto 1,75 ± 0,66 Facilidade 1,15 ± 0,72 Atenção 1,5 ± 0,59 Diversão 1,7 ± 0,64 Produtividade 1,5 ± 0,67 Colaboração 1,8 ± 0,4 5. Estudos RU e EMAC: Discussão dos resultados desde a perspectiva WYDIWYHE Os resultados abrem um leque de possibilidades e apontam vantagens e limitações da estratégia de design adotada. Primeiramente, as avaliações positivas obtidas no estudo RU indicam que apesar da falta de familiaridade com os processos envolvidos e embora a participação seja casual (com uma explicação sucinta inicial, sem um contato prévio com a ferramenta e envolvendo sujeitos leigos em música), os colaboradores tiveram um engajamento efetivo na proposta criativa. Esse engajamento é indicado pelos escores positivos no item diversão e pela obtenção de produtos criativos satisfatórios segundo as avaliações de todos os participantes. Os resultados ressaltam o potencial da metáfora da esfera do som para resolver diversos problemas observados nos sistemas atuais de sequenciamento. 80 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Porém também dão destaque para algumas limitações do design inicial. Nesta seção abordamos esses itens e indicamos possíveis linhas de investigação vinculadas ao enfoque WYDIWYHE. Proporcionalidade espaço-tempo. Alguns sequenciadores - adotados na edição de partituras - usam representações simbólicas que vinculam eventos a elementos visuais de forma indireta. A notação tradicional exige aprendizagem e interpretação de múltiplas figuras e símbolos que servem para representar o tempo - utilizando, por exemplo, mínimas, semínimas, colcheias. A posição dos símbolos na partitura está correlacionada com o momento de início dos eventos sonoros (ataque ou onset), mas as durações são representadas pelo tipo de figura escolhida e não têm relação com a posição espacial. Essa falta de correlação entre os elementos visuais e a distribuição de eventos no tempo pode configurar um problema para os leigos em música. Um caminho para enfrentar essa limitação é a adoção da proporcionalidade. O painel de mixagem representa uma instância de uma solução mais geral para a manipulação de dados musicais. Os sistemas de representação que estabelecem analogias entre os parâmetros sonoros e as estratégias de visualização têm sido amplamente explorados desde a década de 1960 (Lutoslawski 1960-1961). A utilização de um sistema proporcional entre ataque e duração do evento sonoro e o posicionamento no espaço fornece um avanço em direção à simplicidade conceitual. As linhas curtas são equivalentes a períodos curtos e os eventos longos são representados por linhas longas. O comprimento dos elementos gráficos e a duração tornam-se diretamente relacionados, fornecendo um sistema consistente de visualização e de acionamento do tempo. Temporalidades flexíveis. A aplicação da proporcionalidade no campo da interação musical é rara e em alguns casos é enviesada. Por exemplo, o ambiente Hyperscore visa a inclusão de leigos e utiliza traços num canvas para representar alturas e durações (Farbood 2004). Mas na hora de renderizar os resultados sonoros, os eventos desenhados no canvas viram (magicamente) alturas na escala temperada, sequências de acordes e ritmos periódicos. Enquanto que os usuários interagem com um ambiente visual-analógico contínuo, o produto musical fica restrito a um sistema temperado, baseado em sequências harmônicas e com o tempo segmentado segundo o padrão métrico-periódico. Neste caso, a adoção da visão acústico-instrumental não é o problema (apesar de não utilizar a notação tradicional, a ferramenta poderia ter como objetivo somente resultados sonoros que encaixem dentro dos padrões da música instrumental). O problema é o descompasso entre a estratégia de interação adotada (supostamente livre) e a falta de opção do suporte para a renderização dos resultados sonoros (forçando a segmentação métrico-tonal sem fornecer outras alternativas). Cabe então a pergunta, quais estratégias de design são condizentes com representações temporais flexíveis, que permitem a coexistência de múltiplas formas de organização e segmentação do tempo? Dois aspectos da metáfora da esfera do som parecem estar alinhados com a demanda de uma representação flexível para a organização temporal: 1. O ambiente de mixagem não tem restrições no tipo de material sonoro a ser adoptado. Nos estudos realizados foram utilizados sons de fontes diversas, abrangendo desde materiais musicais métrico-tonais (Freitas et al. 2018) até texturas sonoras sintetizadas ou coletadas no ambiente local (Pereira et al. 2018). No entanto, a liberdade na distribuição temporal dos eventos sonoros tende a privilegiar formas de organização baseadas nas 81 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) relações timbrísticas entre os materiais em detrimento da utilização de padrões rítmicos vinculados ao sistema métrico. 2. A representação é isomórfica, portanto não privilegia o encadeamento sequencial de eventos sonoros. Vejamos este segundo aspecto com mais detalhe. Isomorfismo. A representação da pianola (ou piano roll) e a metáfora da esfera do som são muito próximas. No rolo da pianola, o eixo vertical corresponde à altura (às vezes apresentada no formato do teclado do piano). Os ataques (onsets) e as durações são representados por linhas no eixo horizontal. Portanto, o piano roll é uma representação bidimensional. Em contrapartida, o painel de interação da metáfora da esfera do som é uma visualização parcial de uma estrutura tridimensional subjacente. Enquanto o piano roll tem um começo fixo, o painel de mixagem representa um recorte de um objeto contínuo. Na esfera do som o mesmo tipo de representação pode ser utilizado por múltiplos participantes para interagir com um conjunto compartilhado de dados musicais. Nesse contexto de uso, cada participante teria acesso a uma visualização parcial da esfera. O sentido esquerda-direita direcionado pelo mapeamento fixo da pianola induz a adotar procedimentos sequenciais (exemplificados pela interação evento após evento). Tendo em vista que a representação aplicada na esfera do som é isomórfica (qualquer parte do eixo horizontal ou do eixo vertical é equivalente a qualquer outra área), os usuários não precisam organizar seus procedimentos a partir de sequências lineares. A disponibilização livre dos materiais sonoros pode fomentar interpretações alternativas, evitando a hegemonia da leitura do início ao fim. No entanto, as observações relativas ao uso em projetos de maior dimensão indicam que além da representação isomórfica também é necessário um suporte efetivo para a navegação rápida. Existem precedentes metodológicos que podem ajudar a avançar nessa direção (ver manipulação direta). Manipulação direta. A perspectiva de design WYDIWYHE está fortemente vinculada ao enfoque cognitivo-ecológico (Keller e Lazzarini 2017). A relação íntima entre ação e cognição é enfatizada pelo nexo entre a manipulação de parâmetros sonoros e as estratégias de visualização e interação. Em diversas metáforas para a ação criativa (marcação temporal [time tagging]; marcação espacial [spatial tagging]; marcação procedimental-gráfica [graphic-procedimental tagging]) os elementos da interface priorizam a informação sobre as ações realizadas, deixando em segundo plano a visualização dos parâmetros físicos. Tradicionalmente quando existem alternativas entre dados de controle e dados de áudio, as estações digitais de áudio [Digital Audio Workstations - DAWs] têm priorizado a visualização de parâmetros físicos. Por exemplo, a variação da amplitude sonora ou a representação do espectro são os dois itens mais utilizados para visualizar o som, apesar de que desde uma perspectiva musical raramente são implementados mecanismos para interagir com esse tipo de informação.21 A estratégia de design adotada no SoundSphere consiste em manter o alinhamento entre a ação do participante, a visualização da ação e a disponibilização do recurso para as ações subsequentes. Nesse sentido, o enfoque não só visa a relação entre a ação e o resultado sonoro, ele também envolve a escolha de priorizar a visualização da ação realizada deixando em segunda plano a informação correspondente ao resultado sonoro. O entendimento é que o participante tem acesso ao resultado através da audição, mas o controle acionado para chegar nesse resultado não é sempre óbvio (especialmente para os usuários inexperientes). Na prática, o enfoque implica priorizar os recursos 82 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) visuais que representam ações realizadas com impacto nos resultados sonoros. A estratégia abrange tanto a relação entre o que você faz, você vê quanto o que você faz, você ouve. Um aspecto negligenciado pela maioria das DAWs é o potencial de transferência de conhecimento do histórico das ações realizadas durante a atividade criativa. Em algumas ferramentas, o mecanismo de automação permite recuperar parte das ações. Porém, a limitação dessa funcionalidade como estratégia de transferência de conhecimento é a explosão informacional. Usuários experientes geralmente conseguem lidar com muita informação, filtrando os elementos que não são essenciais para seus objetivos. Mas os iniciantes frequentemente não sabem quais aspectos são importantes e quais podem ser ignorados para atingir seus objetivos musicais. Portanto, ainda está pendente a implementação de estratégias de adequação que evitem a explosão informacional na utilização do histórico das ações criativas em contextos casuais, abrangendo participantes sem treinamento específico. Uma estratégia de design que pode auxiliar a enfrentar esse dilema é a abstração. Abstração semântica. No campo do design de interação, a abstração é utilizada para reduzir a quantidade de informação, fomentando mecanismos para interagir com fenômenos complexos. As representações icônicas e semânticas são as formas mais utilizadas na implementação de estratégias de interação. A notação musical fixa também é uma forma de abstração. Neste caso, as ações musicais são representadas por sistemas simbólicos que permitem determinar os parâmetros sonoros com diversos graus de exatidão, desde os elementos temporais - estabelecidos a partir de um marco temporal indicado em valores metronômicos e figuras baseadas em subdivisões hierárquicas, segundo estruturas periódicas (os compassos) - até indicações gerais que abrangem aspectos da articulação, o tempo e as microvariações paramétricas, por exemplo a indicação do caráter cantabile. O problema da adoção dos sistemas simbólicos - e em particular da notação musical fixa - é que eles demandam um investimento significativo em treinamento, colocando essa opção fora do alcance da participação casual em atividades musicais. No entanto, o uso de estratégias de abstração que não são compatíveis (ao menos em parte) com o conhecimento musical existente reduz as chances de fornecer um suporte efetivo para as atividades conjuntas de músicos e leigos. A combinação de elementos semânticos e de estratégias embarcadas-corporizadas22 parece ser o caminho mais firme para atingir resultados no design criativo voltado para o contexto musical ubíquo. Exemplo desse enfoque na metáfora da esfera do som é a inserção de representações semânticas (os operadores semântico-timbrísticos) dentro de uma representação fortemente proporcional (os eventos no painel de mixagem). Como consequência, SoundSphere dá suporte para a combinação de elementos de duas modalidades complementares de interação: a manipulação direta e a abstração semântica. Propriedades relacionais (impacto dos espaços de transição). Os resultados do estudo RU foram positivos, porém os escores do fator facilidade não atingiram um nível comparável aos outros fatores criativos. O desempenho mais fraco nesse fator pode ser interpretado a partir de premissas diversas. Levando em conta que a maioria dos participantes não tem estudos musicais formais e que só uma minoria tem experiência inicial com ferramentas de manipulação de recursos audiovisuais, não é surpreendente que parte dos sujeitos achem a atividade difícil. Sabemos pelos resultados de outros estudos (Pereira et al. 2018) que a causa da dificuldade não estão na interação com o painel de 83 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) mixagem nem no suporte fornecido para a audição e a escolha dos materiais sonoros. É possível que os sujeitos tenham avaliado a atividade como sendo difícil por causa do desafio de obter um resultado musical relevante com tempo restrito. Outro aspecto que poderia ter impactado essa variável é a modalidade casual da participação. Porém, nesse caso teria sido observada uma queda proporcional nos resultados obtidos com outras metáforas para a ação criativa (na utilização da marcação temporal, por exemplo). Nas comparações entre as atividades em ambientes isolados do contato social (como são o estúdio e o ambiente doméstico) e as atividades em espaços de transição, foi de fato apontado um aumento do esforço cognitivo para esta última condição experimental (Keller et al. 2013; Pinheiro da Silva et al. 2013). Porém esse aumento não estava alinhado com um incremento equivalente no nível de criatividade dos resultados. Quando a atividade ocorre nos espaços de transição, tende a melhorar a originalidade e tende a diminuir a relevância dos produtos criativos. É justamente o que observamos neste caso. Portanto, os resultados estão alinhados com a evidência obtida na aplicação de outras metáforas para a ação criativa, apontando um vínculo entre o esforço cognitivo e o contexto no qual a atividade acontece e destacando o impacto do ambiente tanto nos processos quanto nos resultados criativos. Esses aspectos estão atrelados ao estudo das propriedades relacionais (Keller et al. 2015). 6. Conclusões A utilização da ecologia SoundSphere para fins de interação timbrística apresenta um bom potencial de aplicação nos contextos cotidianos e educacionais. A incorporação da estratégia semântica - via implementação de operadores semântico-timbrísticos - dá suporte para a transferência rápida de conhecimentos altamente técnicos e especializados sem demandar um período longo de preparação ou de treinamento no domínio específico. Em linha com os resultados obtidos em experimentos anteriores (Keller et al. 2013), a atividade criativa em espaços de transição tem impacto positivo no fator originalidade mas esse impacto não é acompanhado pelas avaliações da relevância dos produtos criativos. Possivelmente, na interação casual o nível de esforço cognitivo esteja fortemente relacionado ao contexto. Alinhadas com os resultados da aplicação de outras metáforas de suporte para a ação criativa (como a marcação temporal, a marcação espacial, os substitutos criativos ou a marcação procedimental-gráfica), as atividades com a metáfora da esfera do som foram avaliadas como sendo divertidas, com um alto potencial de colaboração. Neste artigo delineamos parte das estratégias utilizadas numa nova vertente do design de interação embasada nas práticas criativas cognitivo-ecológicas (Keller e Lazzarini 2017), a perspectiva WYDIWYHE. O enfoque implica a utilização de recursos visuais para representar as ações que têm impacto nos resultados sonoros. O método abrange tanto a relação entre o que você faz e o que você vê quanto entre o que você faz e o que você ouve e inclui ao menos seis estratégias:23 1. A proporcionalidade espaço-tempo, exemplificada em SoundSphere pelos mecanismos de representação e acionamento do tempo diretamente proporcionais à disposição no espaço visual. Essa estratégia pode ser ampliada a outras modalidades, incluindo o uso de recursos materiais (dentro do campo da interação tangível) ou o suporte para a interação gestual.24 2. As temporalidades flexíveis, 84 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) que permitiriam a coexistência de diversas formas de organização do tempo deixando nas mãos dos participantes a aplicação dos recursos sonoros e as relações temporais entre eles. No caso do SoundSphere, essa liberdade está assegurada pela possibilidade de incorporar qualquer tipo de recurso sonoro. No entanto, não existe suporte específico para a periodicidade imposta pelo sistema métrico, portanto a temporalidade do SoundSphere tende a priorizar as formas de organização criativa, baseadas no uso do timbre. 3. O isomorfismo é um aspecto complementar às temporalidades flexíveis e está exemplificado pela estrutura da esfera sonora, na qual é possível distribuir os recursos sonoros sem hierarquias preestabelecidas. Esse suporte permite a aplicação simultânea de procedimentos diversos de apoio à organização dos materiais, incluindo os rascunhos sonoros (como tentativas iniciais de estabelecer relações sonoras), as estruturas modulares (que podem ser combinadas livremente ou podem estabelecer restrições específicas) ou a incorporação dos resultados de recursos externos ao SoundSphere (incluindo as técnicas de sonificação ou o uso de elementos multimídia) (um exemplo concreto é descrito em Aliel et al. 2019). Porém, esses aspectos estão melhor representados nos estudos longitudinais e portanto não foram explorados nos dois estudos discutidos neste texto. 4. A manipulação direta, que visa aproximar a utilização dos recursos tecnológicos a formas cotidianas de interação, priorizando a relação ação-percepção. Esse enfoque está no cerne das práticas criativas cognitivo-ecológicas e dá destaque para as estratégias síncronas, sendo relevante também no design do suporte assíncrono. Em SoundSphere, a manipulação direta é utilizada no processo de escolha dos recursos sonoros (painel de seleção) e no mecanismo de inserção dos eventos sonoros (painel de mixagem). 5. A abstração semântica, que envolve o acesso a processos complexos através do uso de palavras. Essa estratégia permite a manipulação timbrística aplicando operadores associados a rótulos escolhidos pelos usuários.25 6. As propriedades relacionais, que emergem a partir da interação entre os indivíduos e o ambiente, e que estão fortemente vinculadas aos recursos locais. Em particular, nos espaços de transição observamos um impacto significativo no nível de esforço cognitivo e no perfil dos produtos criativos, com aumento da originalidade e redução da relevância. O caráter exploratório e aberto da pesquisa ubimus nos encoraja a extrair conceitos a partir das observações empíricas e dos dados coletados. Porém, não afirmamos que a proposta WYDIWYHE tenha se esgotado nas estratégias exemplificadas. Na procura de respostas aos questionamentos surgidos durante o design da metáfora da esfera sonora, talvez seja possível estabelecer claramente as limitações do enfoque WYDIWYHE, impulsionando mais uma estratégia de design para as atividades criativas cotidianas. Referências Adorf, J. (2013). Web Speech API [Technical Report]. Stockholm, Sweden: KTH Royal Institute of Technology. Aliel, L., Keller, D. & Alvim, V. (2019). A Soundtrack for Atravessamentos: Expanding ecologically grounded methods for ubiquitous music collaborations. In Proceedings of the Workshop on Ubiquitous Music (UbiMus 2019) (pp. 652-662). Marseille, France: Ubiquitous Music Group and CMMR. (ISBN: 979-10-97-498-01-6.) 85 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Aliel, L., Keller, D. & Costa, R. (2015). Comprovisation: An approach from aesthetic heuristics in ecocomposition (Comprovisação: Abordagens desde a heurística estética em ecocomposição). In Proceedings of the Brazilian Symposium on Computer Music (SBCM 2015) (pp. 169-180). Campinas, SP: SBC. (ISBN: 2175-6759.) Bessa, W. R. B., Keller, D., Farias, F. M., Ferreira, E., Pinheiro da Silva, F. & Pereira, V. S. (2015). SoundSphere v. 1.0: Documentação e análise dos primeiros testes. In F. Z. Oliveira, D. Keller, J. T. de Souza Mendes da Silva & G. F. Benetti (eds.), Anais do Simpósio Internacional de Música na Amazônia (SIMA2015). Porto Velho, RO: UNIR. Bhagwati, S. (2013). Towards interactive onscreen notations for comprovisation in large ensembles. In Sound & Score: Essays on Sound, Score and Notation (pp. 143-177). Brussels: Leuven University Press. Farbood, M. M., Pasztor, E. & Jennings, K. (2004). Hyperscore: A graphical sketchpad for novice composers. IEEE Computer Graphics and Applications 24 (1), 50-54. (Doi: 10.1109/MCG.2004.1255809.) Farias, F. M., Keller, D., Lazzarini, V. & Lima, M. H. (2015). Bringing aesthetic interaction into creativity-centered design: The second generation of mixDroid prototypes. Journal of Cases on Information Technology (17), 53-72. (Doi: 10.4018/JCIT.2015100104.) Freitas, B., Keller, D., Bessa, W. R. B. & Ferreira da Costa, D. (2020). Interação timbrística em música ubíqua: A ecologia de metáforas da esfera sonora. Journal of Digital Media & Interaction. Freitas, B., Martins, A. J., Bessa, W. R. B. & Keller, D. (2018). Causas da fixação criativa: Viés cognitivo ou recurso tecnológico? Um estudo utilizando o ambiente musical ubíqua SoundSphere. In Anais do Seminário de Iniciação Científica do Acre (IC 2018). Rio Branco, AC: UFAC. Guedes, G. T. A. (2011). UML 2: Uma abordagem prática. São Paulo: Novatec. Keller, D. (2000). Compositional processes from an ecological perspective. Leonardo Music Journal 10, 55-60. (Doi: 10.1162/096112100570459.) Keller, D., Capasso, A. & Tinajero, P. (2019). Knowledge transfer in ecologically grounded approaches to ubimus: InMesh 1.0. Journal of New Music Research 48 (4), 397-411. (Doi: 10.1080/09298215.2019.1642361.) Keller, D. & Lazzarini, V. (2017). Ecologically grounded creative practices in ubiquitous music. Organised Sound 22 (1), 61-72. (Doi: 10.1017/S1355771816000340.) Keller, D. & Lazzarini, V. (2017). Theoretical approaches to musical creativity: The ubimus perspective. Musica Theorica 2 (1), 1-53. Keller, D., Lazzarini, V. & Pimenta, M. S. (2014a). Ubiquitous Music, Vol. XXVIII. Berlin and Heidelberg: Springer International Publishing. (ISBN: 978-3-319-11152-0.) Keller, D. & Lima, M. H. (2016). Supporting everyday creativity in ubiquitous music making. In P. Kostagiolas, K. Martzoukou & C. Lavranos (eds.), Trends in Music Information Seeking, Behavior, and Retrieval for Creativity (pp. 78-99). Vancouver, BC: IGI Global Press. Keller, D., Otero, N., Lazzarini, V., Pimenta, M. S., Lima, M. H., Johann, M. & Costalonga, L. (2014b). Relational properties in interaction aesthetics: The ubiquitous music turn. In K. Ng, J. P. Bowen & S. McDaid (eds.), Proceedings of the Electronic Visualisation and the Arts Conference (EVA 2014). London: BCS, Computer Arts Society Specialist Group. Keller, D., Otero, N., Lazzarini, V., Pimenta, M. S., Lima, M. H., Johann, M. & Costalonga, L. L. (2015). Interaction aesthetics and ubiquitous music. In N. Zagalo & P. Blanco (eds.), Creativity in the Digital Age (pp. 91-105). London: Springer. (ISBN: 978-1-4471-6680-1.) 86 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Keller, D., Pinheiro da Silva, F., Ferreira, E., Lazzarini, V. & Pimenta, M. S. (2013). Opportunistic design of ubiquitous music systems: The impact of anchoring on creativity (Design oportunista de sistemas musicais ubíquos: O impacto do fator de ancoragem no suporte à criatividade). In E. Ferneda, G. Cabral & D. Keller (eds.), Proceedings of the XIV Brazilian Symposium on Computer Music (SBCM 2013). Brasília, DF: SBC. Keller, D., Pinheiro da Silva, F., Giorni, B., Pimenta, M. S. & Queiroz, M. (2011). Spatial tagging: an exploratory study (Marcação espacial: estudo exploratório). In L. Costalonga, M. S. Pimenta, M. Queiroz, J. Manzolli, M. Gimenes, D. Keller & R. R. Faria (eds.), Proceedings of the 13th Brazilian Symposium on Computer Music (SBCM 2011). Vitória, ES: SBC. Lindstrom, S. (2017). Refatoração de CSS. São Paulo: Novatec. Lutoslawski, W. (1960-1961). Jeux Vénitiens [Orchestral score]. Warsaw, Poland: PWM Orchestral score. Mazzoni, D. & Dannenberg, R. (2000). Audacity [Audio Editor]. Carnegie Mellon University http://audacity.sourceforge.net/about/credits. Pereira, V. S., Silva, S. L., Bessa, W. R. B., Alcântara-Silva, T. R. & Keller, D. (2018). SoundSphere: Participatory design as a strategy to develop sustainable technologies in ubiquitous music (SoundSphere: O design participativo como estratégia para o desenvolvimento de tecnologias sustentáveis em música ubíqua). Sonic Ideas 10 (19), 7-44. Pinheiro da Silva, F., Keller, D., Ferreira, E., Pimenta, M. S. & Lazzarini, V. (2013). Everyday musical creativity: Exploratory study of ubiquitous musical activities (Criatividade musical cotidiana: Estudo exploratório de atividades musicais ubíquas). Música Hodie 13, 64-79. Sorba, C. (2006). To Please the Public: Composers and Audiences in Nineteenth-Century Italy. The Journal of Interdisciplinary History 36 (4), 595-614. Stolfi, A. S., Milo, A. & Barthet, M. (2019). Playsound.space: Improvising in the browser with semantic sound objects. Journal of New Music Research 48 (4), 366-384. (Doi: 10.1080/09298215.2019.1649433.) Turchet, L., Fischione, C., Essl, G., Keller, D. & Barthet, M. (2018). Internet of Musical Things: Vision and Challenges. IEEE Access 6, 61994-62017. (Doi: 10.1109/ACCESS.2018.2872625.) Vieira da Silva, L., Barros, A. E. B. & Keller, D. (2017). A utilização das tecnologias da informação e comunicação no ensino de música: Estudo nas escolas do município de Rio Branco, Acre. In Anais do Simpósio Internacional de Música na Amazônia (SIMA 2017). Macapá, AP: Universidade Estadual do Amapá. 1 Fast knowledge transfer (Keller et al. 2019). Direct manipulation, segundo a perspectiva da interação humano-computador. 3 Sound Sphere Metaphor. 4 https://html.spec.whatwg.org/multipage/ 5 https://code.visualstudio.com/ 6 https://www.google.com/chrome/ 7 https://www.w3.org/TR/webaudio/ 8 Flávio Miranda, Edemilsom (Nicke) Ferreira, Marcello Messina e Luzilei Aliel forneceram propostas que ajudaram no processo de design. Além deles houve outros pesquisadores e participantes de sessões experimentais que também contribuíram. 9 https://trello.com/ 10 O termo técnico utilizado em programação web é hovering. 11 O termo técnico é click-and-drag. 12 Loop, play, pause, stop, reset, upload samples, download mix. 13 Porém, existem diversas considerações a serem feitas sobre o processo de inserção de eventos e a relação entre o material sonoro novo e os materiais já existentes nas mixagens. Na discussão final abordamos algumas possibilidades de designs alternativos. 14 A informação também é disponibilizada no Leitor SFS, apresentando os dados de início e fim de sessão cada vez que o usuário modifica o arquivo de projeto. 2 87 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) 15 No entanto, cabe destacar alguns acréscimos nas funcionalidades, necessários quando o foco da atividade é a geração síncrona de áudio. O design de SoundSphere foi sempre voltado para a atividade criativa assíncrona, a ampliação do leque de aplicações apresenta desafios interessantes. 16 Durante a aplicação do formulário, os colaboradores aferem diversos aspectos da sua experiência e dos produtos obtidos. Avalia-se o resultado sonoro e o desempenho através das seguintes perguntas: “O resultado foi bom?”, “O resultado foi original?”, “A atividade foi fácil?”, “Você ficou atento?”, “A atividade foi divertida?”, “A atividade foi produtiva?”, “Foi fácil colaborar?”. Cada pergunta corresponde a um fator de suporte à criatividade. 17 Um estudo realizado pelo NAP em todas as instituições de ensino médio de Rio Branco que ofereciam aulas de música em 2015 indicou que somente 18% dos alunos faz uso de recursos tecnológicos no contexto do ensino formal, mas que 83% deles utiliza recursos tecnológicos para fins musicais nos espaços informais, com destaque para o âmbito doméstico (Vieira da Silva et al. 2017). 18 O presente estudo foi inicialmente publicado no Simpósio Internacional de Música na Amazônia (SIMA 2019) (Freitas et al. 2019). Fornecemos uma versão editada para facilitar a compreensão da análise crítica apresentada na seção final do artigo. 19 Autor: Arthur José Martins (2017). 20 A implementação e descrição da ferramenta utilizada é tópico de outro artigo em processo de elaboração. 21 Obviamente existem exceções, como é o caso da ferramenta Audiosculpt. A crítica está dirigida à adoção frequente da amplitude como a única forma de visualização das informações sonoras, sendo que esse tipo de interface é pobre em informações musicalmente relevantes. 22 Embedded-embodied no original em inglês. Refere-se à utilização de recursos locais, incluindo aspectos corporais e materiais presentes no entorno onde a atividade criativa é realizada. Ver (Keller 2000; Keller e Lazzarini 2017) para aplicações no campo das práticas criativas. 23 Apontamos aqui o questionamento de um revisor. O argumento é que a proporcionalidade espaço-tempo e as temporalidades flexíveis seriam duas características compartilhadas pela maioria dos editores de áudio. Como indicamos no texto, a proporcionalidade espaço-tempo é uma característica comum à maioria das representações de dados musicais baseadas na analogia visual (com destaque para o piano roll e similares). Uma contribuição deste artigo é indicar que essa estratégia forma parte de um paradigma de design mais amplo, descrito aqui pela sigla WYDIWYHE. Já as temporalidades flexíveis demandam a compatibilidade entre diversas formas de organização temporal envolvendo, por exemplo, a utilização de descrições aproximadas (como poderia ser uma partitura verbal) em simultâneo com sistemas hierárquicos ou fixos (como é a organização das durações na notação tradicional). Esse suporte não é fornecido por SoundSphere e constitui um problema de pesquisa em aberto (ver Freitas et al. neste volume, para considerações complementares). 24 Nesse contexto de desenvolvimento podem ter utilidade as propostas vinculadas à internet das coisas musicais (IoMusT Turchet et al. 2018). 25 Como complemento, ver a proposta de Stolfi et al. (2019) para o acesso a bases de dados sonoros de forma remota a partir de descritores semânticos. Cabe uma consideração cuidadosa das estratégias a serem aplicadas quando a degradação do desempenho impede o acesso à rede. Em SoundSphere, após o carregamento inicial do software no navegador a funcionalidade é garantida mesmo não tendo acesso ao serviço de internet. 88 International Journal of Digital Media and Interaction Special Issue on Ubiquitous Music, Vol.3, No.5, (2020) Internet das Coisas Musicais Aplicada a Instrumentos Musicais Robóticos (Internet of Musical Things Applied to Robotic Musical Instruments) Higor Camporez1, Anilton Garcia1, Jair Silva1, Leandro Costalonga2 e Helder Rocha1 1 2 Departamento de Engenharia Elétrica (DEL) – Universidade Federal do Espírito Santo Departamento de Computação e Eletrônica (DCEL) – Universidade Federal do Espírito Santo [email protected], [email protected], [email protected], [email protected], [email protected] Abstract In the 1950s, musicians started to explore computer use for musical activities, often unrelated to realtime processing. However, technological advances have made the computer more present in musical performances, creating research areas such as ubiquitous music (ubimus), which aims to promote tools that support creative musical activities and the Internet of Musical Things (IoMusT), which is described as the use of electronics (sensors, actuators, connectivity, etc) for a musical purpose. An application encompassing these research areas is the development of robotic instruments for group musical performances. In this paper, some of the key concepts of IoMusT and ubimus are presented alongside examples using musical robots prototypes (RoboMus). In addition, a proposal for robot synchronization including a mechanical delay compensation through neural networks and precision time protocol (PTP) to align the robot’s clock. Keywords: Digital Musical Instrument, Internet of Musical Things, Robotics Musicians, Synchronization, UbiMus. Resumo Em meados da década de 1950, os músicos começaram a fazer uso do computador em atividades musicais, frequentemente não relacionados a processamento em tempo real. Porém, os avanços tecnológicos propiciaram um maior uso do computador em performances musicais, criando novas áreas de pesquisa como a de música ubíqua (ubimus), que promove ferramentas tecnológicas para auxiliar atividades musicais criativas e a Internet das Coisas Musicais (Internet of Musical Things IoMusT), descrita como o uso da eletrônica (sensores, atuadores, conectividade e etc.) para propósitos musicais. Uma aplicação englobando essas duas áreas de pesquisa é o desenvolvimento de instrumentos musicais robóticos para performances em conjunto, que demandam sincronização. Este artigo apresenta conceitos de IoMusT e ubimus juntamente com exemplos de protótipos de robôs musicais (RoboMus), além de uma proposta para a sincronização dos robôs utilizando redes neurais para aprendizado e compensação de atrasos mecânicos e o protocolo PTP (Precision Time Protocol) para alinhamento de relógios. Palavras-chave: Internet das Coisas Musicais, Instrumentos Musicais Digitais, Música Ubíqua, Músicos Robóticos, Sincronização. 1. Introdução Em meados de 1950 uma nova tecnologia despertou o interesse dos músicos – o computador. Tão logo foi criado, o computador começou a ser explorado pelos músicos para atividades de composição musical. Com a popularização desse dispositivo, ocorreu um grande progresso no campo da Interação Humano-Computador (IHC) de modo a permitir que os computadores pudessem ser utilizados por pessoas não especializadas. Certamente o fazer musical não figurava entre as ISSN: 2184-3120 CC 2020 DIGIMEDIA International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) principais utilizações do computador e, sendo assim, a interação como instrumentos musicais não evoluiu tão rapidamente como os demais produtos da computação, como por exemplo, editores de texto. Atualmente, computadores estão envolvidos em praticamente todas as atividades conhecidas por seres humanos, incluindo a música. Dentre essas atividades encontra-se a performance musical, que apresenta certa complexidade devido as suas demandas temporais. A ampla interseção entre atividades musicais e tecnologia levaram ao nascimento de uma área de pesquisa conhecida como música ubíqua (ubimus – ubiquitous music) (Keller, Lazzarini, & Pimenta, 2014); esta área lida com sistemas de agentes humanos e recursos materiais que dão suporte para atividades musicais através de ferramentas de apoio à criatividade. Na prática, ubimus é música (ou atividades musicais) apoiada por conceitos de computação e suas tecnologias. Relaciona-se com conceitos como: portabilidade, mobilidade, conectividade e disponibilidade (incluindo não músicos) (Keller, Flores, Pimenta, Capasso, & Tinajero, 2011). Outra área de pesquisa fortemente vinculada a ubimus, englobando conceitos tecnológicos para atividades musicais é a Internet das Coisas Musicais (IoMusT) (Keller & Lazzarini, 2017; Turchet, Fischione, Essl, Keller, & Barthet, 2018). A IoMusT, uma subárea de Internet of Things (IoT) (Atzori, Iera, & Morabito, 2010), é descrita como o uso da eletrônica por meio de sensores, atuadores, processamento e conectividade de rede para coleta e troca dados visando um propósito musical, permitindo assim, a interconectividade entre artistas e/ou a audiência. O uso da eletrônica para atividades musicais também tem resultado no desenvolvimento de instrumentos musicais robóticos (Bretan & Weinberg, 2016; Kapur, 2005) que utilizam sensores, atuadores e outros diversos recursos para construção de robôs, entrelaçando assim as áreas de IoMusT e ubimus para esse contexto. Dentre os trabalhos na área, destaca-se um robô interativo construído para tocar marimba, chamado de Shimon (Hoffman & Weinberg, 2010). Shimon dispõe de componentes que permitem a improvisação com outros músicos em tempo real, de acordo com o contexto, e a interação gestual através de uma cabeça não-humanoide. Outro robô em destaque é o LEMUR GuitarBot (Singer, Feddersen, Redmon, & Bowen, 2004), uma espécie de slide-guitar com quatro cordas, controlada por mensagens MIDI. Em cada corda encontra-se um dispositivo de slide que funciona de forma independente. Os robôs musicais podem funcionar de forma autônoma, como o Shimon, ou podem ser controlados por seres humanos através de interfaces de controle e rede de computadores, como é o caso da plataforma RoboMus (Camporez, Mota, Astorga, Rocha, & Costalonga, 2018), descrita na Seção 4. Nesse artigo, aborda-se ubimus, IoMusT e seus conceitos, seguido por uma descrição de implementação utilizando robôs musicais (RoboMus) controlados por seres humanos, citando vários exemplos práticos construídos, bem como uma interface de controle. Ainda é apresentada uma proposta de sincronização para esses robôs, incluindo a sincronia de relógios e a compensação de atrasos mecânicos através de redes neurais. 2. Contribuições 90 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) O presente trabalho apresenta contribuições para as áreas de pesquisa ubimus e IoMusT. As principais contribuições são: (a) a implementação de protótipos de robôs musicais e (b) uma proposta de técnicas para sincronização de robôs musicais que inclui sincronia de relógios e compensação dos atrasos mecânicos através do uso de redes neurais. 3. Internet das Coisas Musicais Em uma perspectiva da ciência da computação, a coisa musical (musical thing) é definida como um dispositivo computacional capaz de detectar, adquirir, processar, atuar e trocar informações para um propósito musical (Turchet et al, 2018). IoMusT pode ser descrito como a conjunção de interfaces, protocolos e a representação de informações musicais que possibilitam serviços e aplicações para finalidades artísticas baseadas em interações entre coisas musicais ou entre humanos e coisas musicais, seja no mundo físico ou digital. Assim, IoMusT pode ser retratada como a conjunção de IoT e os sistemas musicais. Os ecossistemas digitais (Boley & Chang, 2007) também abrangem a área de IoT (Delicato et al, 2013), e, por conseguinte, o campo de IoMusT. De acordo com Turchet et al (2018), um ecossistema de IoMusT é composto por: usuários envolvidos em atividades musicais; provedores de informações e serviços; e padrões. Os autores também definem os três principais componentes para um ecossistema de IoMusT dentro de uma perspectiva tecnológica: • Coisas musicais: Uma nova classe de dispositivos musicais conectados à Internet que promete uma transformação notória no modo de interação do usuário com atividades musicais, conduzidas com objetos musicais. Essas coisas musicais herdam diversas características de IoT como sensores, atuadores, conectividade e software para manipulação de dados. • Conectividade: Na infraestrutura de conexão usada em IoMusT, deve-se considerar uma comunicação multidirecional sem fio, seja ela remota ou localizada. Essa interconectividade é alcançada por meio das tecnologias de hardware e software, e, também, por padrões e protocolos de gerenciamento. Algumas performances artísticas demandam comunicação em tempo real. Portanto, a rede deve fornecer baixa latência, alta confiabilidade, alta qualidade e sincronização entre os dispositivos conectados. • Aplicações e serviços: Vários tipos de aplicações e serviços podem ser construídos com essa nova perspectiva sobre IoT, onde o público-alvo são músicos, engenheiros de áudio, membros da audiência e outros. Os serviços podem ter caráter interativo ou não, exemplos são: conectividade do smartphone com atividades musicais; serviços de análises para conteúdo criativo; serviço de mapeamento dos dados e controle de coisas musicais. Já as aplicações representam a mais alta camada de interação com o usuário. Para os membros da audiência, pode-se considerar como exemplo o aumento da experiência de um concerto baseado na interação com coisas musicais. Para os músicos, um exemplo é a possibilidade de ensaios remotos. Para engenheiros de áudio encontram- 91 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) se os estúdios de produção inteligentes. Para estudantes e professores, tem-se a possibilidade de criar seções remotas de ensino. De acordo com Turchet et al (2018), IoMusT envolve diversas áreas como: performances musicais em rede; performances interativas; dispositivos vestíveis; realidade aumentada e etc. Como exemplos práticos de IoMusT, pode-se citar: • Dispositivos vestíveis: Aparato alocado junto ao corpo do usuário (ex. smartwatch) com objetivo de captar informações fisiológicas como temperatura corporal, frequência cardíaca e captação de movimentos. Podendo também fornecer uma resposta háptica de acordo com as informações captadas e o contexto da performance; • Robôs musicais: instrumentos musicais robóticos, podendo ser robôs virtuais ou físicos. Os físicos fazem uso sensores e atuadores, ou seja, coisas musicais. Na classe de robôs controlados por seres humanos, em geral, demanda-se de conexão, representando o componente conectividade e interfaces de controle (aplicações e serviços). Assim, as performances musicais robóticas podem ser classificadas como atividades de IoMusT. 4. A Plataforma RoboMus Dentro do contexto de ubimus e IoMusT, um trabalho que vem sendo desenvolvido é a plataforma RoboMus (Camporez et al, 2018). A plataforma (Figura 1) possui uma arquitetura aberta de software e hardware tendo como objetivo a construção de robôs musicais de baixo custo controlados por humanos por intermédio de interfaces de interação. Apesar do foco do trabalho encontrar-se no controle por seres humanos, não se descarta a possibilidade de embutir módulos semiautônomos e autônomos para que possam atuar em determinados momentos da performance, por exemplo em uma desejada pausa rápida do usuário, nesse caso o robô assumiria a performance. A iniciativa pressupõe o uso de um formato predefinido de mensagens musicais, de modo que os robôs possam ser controlados e colaborarem mutuamente durante uma performance musical. Como é desejável uma configuração de múltiplos robôs em uma performance musical em tempo real, estratégias de sincronização são aplicadas através de um servidor de macrossincronizaçãoi de mensagens musicais, assim como, algoritmos de microssincronizaçãoii que são embarcados nos robôs. A RoboMus pode ser dividida em três partes: a) os robôs (instrumentos musicais robóticos), que incluem dispositivos comuns de controle a todos os robôs compatíveis com a plataforma; b) interfaces de controle dos robôs, que incluem a definição de linguagem de programação musical, interfaces colaborativas, pervasivas/ubíquas, tangíveis, gestuais, biossinais, entre outras; c) Servidor de Sincronização de Mensagens Musicais (SSMM), que executa o escalonamento de mensagens, empregando técnicas de compensação de atrasos mecânicos (macrossincronização). Também nessa linha, são propostas estratégias para compensar falhas de comunicação de dados durante a performance musical de tal forma que a audiência não perceba tais falhas. Por exemplo, se um robô 92 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) perder a conexão com o servidor, um outro pode fazer uma ponte de conexão para ele. Na Figura 1, pode-se observar a arquitetura da plataforma RoboMus. Figura 1. Arquitetura da Plataforma RoboMus Na plataforma é empregado o protocolo de comunicação Open Sound Control (OSC) para definir os formatos de mensagens. Para a conexão entre o SSMM e os robôs, a plataforma segue o viés de que cada robô possui suas peculiaridades e limitações mecânicas. Isto posto, trabalha-se com uma espécie de apresentação (handshake), onde o robô envia suas informações e ações específicas de controle através de um padrão de comunicação predefinido. Vale ressaltar que ao se conectar em uma rede contendo uma sala de concerto, o robô pode encontrar um SSMM através de uma mensagem broadcast em uma porta de comunicação específica, para então, obter informações do servidor. No entanto, algumas mensagens básicas são definidas e todo robô RoboMus deve implementá-las, por exemplo, a mensagem playNote que contém os parâmetros: momento de execução, nota, duração e intensidade da nota. É possível que certos robôs não consigam executar tal ação com todos os detalhes especificados, assim, o mesmo deve contornar a situação para melhor executar a ordem. Além disso, padrões de mensagens para conexão das interfaces de controle com o SSMM são definidos para que as interfaces tenham conhecimento dos instrumentos e suas mensagens específicas. Assim sendo, ao se conectar a uma rede, a interface pode enviar uma mensagem broadcast de handshake para encontrar um SSMM. 4.1. Robôs RoboMus 93 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) A plataforma RoboMus também apresenta dois protótipos robóticos visando o baixo custo e a reutilização de componentes, estes são: o lap steel guitar robótico e o bongo robótico (BongoBot). Além desses, neste artigo são descritos outros dois trabalhos envolvendo a robotização de uma flauta de pã e de um violino. 4.1.1. Lap Steel Guitar Robótico Os autores Camporez et al (2018) descrevem um protótipo robótico de uma lap steel guitar com 9 cordas em afinações diferenciadas do padrão (G4, F4, E4, C4, A3, F3, D3, A2 e D2). Para representar as ações de mão direita, no caso de um usuário destro, foram utilizados 18 servomotores, sendo 9 para excitação de cordas e 9 para abafamento das mesmas. Para o dispositivo de mão esquerda, foi utilizado um motor de passo e uma barra de slide presa em uma estrutura deslizante que se movimenta por intermédio do motor. Todos esses dispositivos são controlados por um Arduino e um Raspberry PI, podendo o Raspberry ser substituído por um smartphone Android (visando a reutilização de dispositivos antigos que costumam ficar abandonados em gavetas, ou acabam virando lixo eletrônico, por estarem ultrapassados tecnologicamente). A Figura 2 ilustra a arquitetura do robô. Resultados em vídeo desse robô podem ser encontrados em (NESCoM, 2018a). Figura 2. Lap Steel Guitar Robótico. 4.1.2. BongoBot Este protótipo foi desenvolvido para os primeiros testes de comunicação da plataforma. Chamado de BongoBot, e utilizando um bongô, o dispositivo foi criado com um hardware que utiliza dois servomotores, duas baquetas para xilofone, um smartphone Android e um Arduino Uno (Figura 3). Vídeos demonstrativos podem ser encontrados em (NESCoM, 2018b). 94 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Figura 3. Bongo Robótico (BongoBot). 4.1.3. Flauta de Pã Ainda com viés de projetos de baixo custo, apresenta-se um protótipo de uma flauta de pã robótica. A flauta foi construída com partes de cano pvc, contendo 11 notas no total. Para os aparatos tecnológicos, utilizou-se um motor de passo, um driver para o motor, um compressor de ar e um Arduino. A flauta foi fixada em um pedaço de aro e o motor de passo foi conectado a estrutura para proporcionar rotação. Com a mangueira de ar proveniente do compressor fixada, a rotação proporcionou a mudança de nota na flauta. A Figura 4 ilustra a estrutura do protótipo. Figura 4. Flauta de Pã Robótica. 4.1.4. Violino Robótico Um protótipo de violino robótico também foi implementado para interação com a plataforma RoboMus. O protótipo se dividiu em três frentes de trabalho: (a) movimento do arco; (b) giro do violino e (c) pressionamento de corda. Na frente de trabalho (a) visou-se emular o movimento do arco 95 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) para produção sonora, assim o arco foi preso em um dispositivo para movimentá-lo horizontalmente. Em (b) foi desenvolvido o dispositivo para rotacionar o violino com o objetivo de alternar a corda em que o arco estava tocando, a estrutura faz uso de um motor de passo para tal fim. Já em (c) foi construída uma estrutura para pressionar as cordas, onde utilizou-se dois servomotores em posições fixas. A Figura 5 demonstra arquitetura supracitada. Figura 5. Violino Robótico. 4.2. Interfaces de Interação Humano-Robô (RHI) As interfaces de interação entre seres humanos e robôs vem sendo bastante exploradas, inclusive no âmbito de instrumentos musicais robóticos, como por exemplo a interface gestual para controle de um robô flautista (Petersen, Solis, & Takanishi, 2008). Contudo, em geral, os músicos de uma banda trocam informações principalmente através da percepção visual e acústica. Sendo assim para uma performance mais realista pode-se implementar nos robôs mecanismos que sejam capazes de recriar tais interações. O marimba robótico Shimon (Hoffman & Weinberg, 2010) consegue interagir em tempo real com músicos, tanto no acompanhamento acústico quanto na interação gestual, uma vez que possui características físicas análogas as dos seres humanos. Outro exemplo, é o robô Shimi (Bretan & Weinberg, 2014) que possui 5 graus de liberdade para a interação gestual, caixas acústicas para reprodução sonora e utiliza um smartphone como interface gráfica, além de utilizar o microfone e a câmera para a entrada de dados visando interação. Como o controle dos robôs por seres humanos é uma das premissas da plataforma, idealiza-se interfaces de controle desenvolvidas por intermédio tanto de uma linguagem de programação musical, de uma API, quanto de um dispositivo controlador - por exemplo: WiiMote, smartphone, instrumentos inteligentes e etc. Assim, há um alinhamento aos sistemas de ubimus quando suportam 96 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) múltiplas formas de interação e múltiplas fontes sonoras (geradas pelos robôs) de forma integrada (Keller et al, 2014). A plataforma RoboMus também visa o desenvolvimento de interfaces assistivas para a inclusão de pessoas portadoras de deficiência motora. Assim, ainda em processo de desenvolvimento, tem-se uma interface chamada Olhar Musical (Camporez, Neto, Costalonga, & Rocha, 2018) que faz uso de um dispositivo para rastreamento de olho (eye tracker). Todo controle da interface, e, por conseguinte, dos robôs, é feito por intermédio do movimento dos olhos. Em primeiro momento a interface foi desenvolvida para execução de amostras de áudio previamente configuradas na interface (Figura 6), visando o controle de robôs como trabalhos futuros. Toda amostra de áudio é executada pelo software Ableton Live através de mensagens de controle enviadas pela interface. Na Figura 6 pode-se observar as células centrais que representam uma amostra de áudio cada, assim, o usuário pode selecionar uma célula central e o botão play, para iniciar a execução, ou pause, para encerrar uma execução. Os botões play e pause do lado esquerdo da Figura 6 tem objetivo de fornecer, ao usuário, a possibilidade de conhecimento prévio das amostras através de um canal de áudio separado da performance. Já os botões do lado direito executam a amostra diretamente na performance. Figura 6. Interface Assistiva Olhar Musical. 4.3. Sincronismos dos Robôs Musicais Em performances musicais a sincronia entre os participantes é essencial, no contexto de performances musicais robóticas não é diferente. Os humanos possuem atrasos mecânicos e os compensam iniciando a execução do movimento momentos antes da desejada resposta sonora do instrumento. Os robôs, por possuírem componentes mecânicos, também apresentam tais atrasos. Nesta seção é descrito sobre algumas estratégias de macrossincronização promovidas pelo SSMM para compensá-los. A plataforma RoboMus propõe enviar o tempo de execução da mensagem utilizando tempo absoluto, o Time Tag, presente no protocolo OSC, que contém o tempo em segundos desde a meianoite de 1 de janeiro de 1970, com precisão de picossegundos. Contudo, há uma necessidade de sincronizar os relógios dos robôs para que todos possuam a mesma referência. Assim, para 97 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) fornecer essa sincronia, propõe-se a implementação do protocolo PTP (Precision Time Protocol), definido no padrão IEEE 1588 (IEEE, 2008), que fornece a hora com precisão através de uma rede. Nesse caso, o servidor SSMM também funciona como um servidor PTP e os robôs como clientes PTP. Estudos com o protocolo PTP mostram um erro no relógio de 2,8 µs (Kannisto, Vanhatupa, Hännikäinen, & Hämäläinen, 2004) e um erro médio de 7,35 µs (Cooklev, Eidson, & Pakdaman, 2007) para WLAN (Wireless Local Area Network), valores plausíveis frente a percepção sonora humana que é capaz de distinguir diferenças temporais entre dois eventos acústicos sucessivos em até 20 milissegundos (Pisoni, 1977). Cada robô da plataforma possui um perfil de atraso próprio devido ao seu projeto estrutural. Assim, é crucial que o SSMM tenha conhecimento desses perfis para a aplicação de técnicas de sincronização sobre os robôs. Para tal, é proposto um treinamento prévio, ou seja, o servidor envia a um robô uma mensagem contendo uma ação e ele retorna uma massagem contendo o tempo de atraso que gastou para executar tal ação. Esse tempo é contabilizado a partir do momento que o robô envia os sinais elétricos para seus atuadores até o momento em que é gerada a resposta sonora. O formato da mensagem contendo o atraso segue o conteúdo descrito na Tabela 1, onde o endereço OSC é a junção entre o endereço do servidor, a palavra delay e o endereço do instrumento remetente. Já o primeiro parâmetro é o identificador da mensagem (o mesmo usado na mensagem enviada pelo servidor) e o segundo parâmetro é o atraso mecânico. Tabela 1. Formato da Mensagem para Retorno do Atraso Mecânico. Endereço Parâmetro 1 Parâmetro 2 /Endereço OSC do servidor/delay/Endereço OSC do instrumento Identificador Atraso mecânico Com os atrasos e as mensagens, o servidor pode então levantar o perfil de atraso para cada robô utilizando redes neurais. Nesse caso, o SSMM envia centenas de mensagens para cada robô e levanta seu perfil, esse processo demanda certo tempo, tanto para envio e execução das ações quanto para treinamento da rede para cada robô. No entanto, todo processo é feito nos bastidores e não no momento da performance. Através do handshake, o SSMM tem conhecimento de várias informações de um robô, entre essas destaca-se a informação de ações específicas, que tem o objetivo de transmitir ao SSMM todas ações que o robô pode executar e os parâmetros necessários para o controle do mesmo. Contudo, para que o SSMM crie as mensagens para treinamento é necessário ter o conhecimento dos conjuntos de valores válidos para cada parâmetro, para que desse modo o SSMM possa montar mensagens válidas e facilitar a generalização e o treinamento da rede neural. O protocolo de ação específica do RoboMus proposto por Camporez et al (2018) não prevê esses conjuntos, como pode ser visto no exemplo a seguir: </ação1; parâmetro11_tipo; ... ; parâmetro1N_tipo> ... </açãoN; parâmetroN1_tipo; ... ; parâmetroNN_tipo>. 98 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) O formato acima identifica cada ação entre “<>” e, dentro cada ação, as informações são separadas por “;”, onde o primeiro componente representa o endereço OSC da ação e os demais são os parâmetros que contém o nome e tipo do parâmetro separado por “_”. Assim, neste artigo é proposto um novo formato para a informação de ações específicas, onde inclui-se os conjuntos válidos para cada parâmetro de cada ação. Ao final do formato anterior é adicionado o novo padrão onde os valores válidos são representados entre parêntesis e os conjuntos separados por “;”, exceto o primeiro termo que é o nome da ação. Abaixo segue o novo modelo do padrão: </ação1; parâmetro11_tipo; parâmetro12_tipo; ... ; parâmetro1N_tipo> ... </açãoN; parâmetroN1_tipo; ... ; parâmetroNN_tipo>(/ação1; conjunto11; conjunto12; ... ; conjuntoN) ... (/açãoN; conjunto1N; conjunto2N; ... ; conjuntoNN). Cada conjunto pode ser representado de duas formas. Uma que determina o intervalo com limite superior e inferior, como por exemplo, ]a,b] onde a é o limite inferior, mas não pertence ao conjunto, representado por ]a, e b é o limite superior que pertence ao intervalo, representado por b], seguindo o padrão matemático de intervalos. A segunda forma é a passagem literal dos possíveis valores, nesse caso os valores são contidos entre chaves ({}) e separados por vírgula, por exemplo, {p1, p2, p3, ... , pn}. Segue um exemplo: </playNote; string_i; fret_i></playString;string_i>(/playNote; {1, 2, 3, 4}; [1, 12])(/playString; [1, 6]). No exemplo anterior o instrumento possui duas ações: playNote e playString. A ação playNote possui dois parâmetros string_i e fret_i, pode-se observar pelo caractere i que ambos são do tipo inteiro, seus conjuntos são {1,2,3,4} e [1,12], respectivamente. Já a ação playString possui apenas um parâmetro string_i do tipo inteiro, que possui o intervalo [1,6]. Quando um parâmetro não possui intervalo, o valor deve ficar vazio, como no exemplo abaixo, onde duration_i não tem intervalo, </playNote; string_i; duration_i; velocity_i>(/playNote;{1, 2, 3, 4}; ;[1, 12]). Para facilitar a leitura dos possíveis valores dos parâmetros pelo SSMM e, com isso, facilitar o treinamento da rede, mais um tipo de parâmetro é definido para a plataforma RoboMus: o tipo nota com identificador n. Esse novo tipo segue o padrão universal para notas utilizando caracteres (C = Dó, D = Ré, E = Mi, ...). O padrão segue símbolo da nota + acidente + oitava, por exemplo A#4. Segue um exemplo de uma ação específica utilizando esse modelo: </playNote; note_n; duration_i>(/playNote; {C4, C#4, D4, E4}; ]0, 1000]). 5. Conclusão 99 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Esse artigo apresentou os principais conceitos de IoMusT (Internet of Musical Things) inseridos no contexto da música ubíqua (ubimus), bem como uma aplicação prática através da plataforma RoboMus com o objetivo de promover performances musicais robóticas em tempo real, controladas por seres humanos, sem descartar o uso de módulos semiautônomos ou autônomos para auxiliar o usuário. Assim, descreve-se a construção de protótipos de robôs musicais; a interface de controle dos robôs; uma proposta para sincronização entre robôs usando o protocolo PTP (Precision Time Protocol) para sincronização de relógios, redes neurais para treinamento e compensação dos perfis de atraso ocasionados pelos atuadores mecânicos dos robôs. As modificações nos formatos das mensagens para propiciar o uso de redes neurais para aprendizado dos atrasos mecânicos traz maior robustez para a plataforma. Acredita-se que os desgastes físicos dos componentes mecânicos possam interferir no atraso ao longo do tempo, nesse caso, a rede pode ser novamente treinada para aprender os novos atrasos. Além disso, no momento da performance podem ocorrer erros devidos ao aquecimento de componentes mecânicos. Isso pode ser previsto pela rede. Como trabalhos futuros visa-se o uso de inteligência artificial em módulos semiautônomos, implementados nas interfaces de controle para auxiliar os usuário, principalmente os não músicos, a tomar decisões, por exemplo apresentando possibilidades de próximos eventos compatíveis; módulos autônomos também são considerados para possibilitar uma espécie de piloto automático, visando auxiliar o usuário em casos de ausência de curta duração no meio da performance, nesse caso o robô continuaria atuando na performance de acordo com o contexto. Em relação a sincronização entende-se a necessidade de levantar dados técnicos experimentais, através da medição dos atrasos por intermédio de sensores sonoros e também uma avaliação por grupos de usuários, para assim comprovar tanto a sincronia quanto a eficácia da proposta. Agradecimentos O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – Brasil (CAPES) – Código de Financiamento 001. Referências Atzori, L., Iera, A., & Morabito, G. (2010). The Internet of Things: A survey. Computer Networks, 54(15), 2787–2805. https://doi.org/https://doi.org/10.1016/j.comnet.2010.05.010 Boley, H., & Chang, E. (2007). Digital ecosystems: Principles and semantics. Digital EcoSystems and Technologies Conference, 398–403. Bretan, M., & Weinberg, G. (2014). Chronicles of a Robotic Musical Companion. Proceedings of the International Conference on New Interfaces for Musical Expression, 315–318. Retrieved from http://www.nime.org/proceedings/2014/nime2014_303.pdf Bretan, M., & Weinberg, G. I. L. (2016). A Survey of Robotic Musicianship. Communications of the ACM, 59(5), 100–109. https://doi.org/10.1145/2818994 Camporez, H. A. F., Mota, T. S. R., Astorga, E. M. V., Rocha, H. R. O., & Costalonga, L. L. (2018). RoboMus: Uma Plataforma para Performances Musicais Robóticas. In D. Keller & M. H. De Lima (Eds.), Aplicações em Música Ubíqua (1st ed., pp. 58–93). São Paulo, Brasil: ANPPOM. 100 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Camporez, H. A. F., Neto, A. F., Costalonga, L. L., & Rocha, H. R. de O. (2018). Interface Computacional para Controle Musical Utilizando os Movimentos dos Olhos. Revista Vórtex, 6(2), 1–17. Retrieved from http://vortex.unespar.edu.br/camporez_et_al_v6_n2.pdf Cooklev, T., Eidson, J. C., & Pakdaman, A. (2007). An Implementation of IEEE 1588 Over IEEE 802.11b for Synchronization of Wireless Local Area Network Nodes. IEEE Transactions on Instrumentation and Measurement, 56(5), 1632–1639. https://doi.org/10.1109/TIM.2007.903640 Delicato, F. C., Pires, P. F., Batista, T., Cavalcante, E., Costa, B., & Barros, T. (2013). Towards an IoT Ecosystem. Proceedings of the First International Workshop on Software Engineering for Systems-of-Systems, 25–28. https://doi.org/10.1145/2489850.2489855 Hoffman, G., & Weinberg, G. (2010). Shimon: An Interactive Improvisational Robotic Marimba Player. CHI ’10 Extended Abstracts on Human Factors in Computing Systems, 3097–3102. https://doi.org/10.1145/1753846.1753925 IEEE. (2008). IEEE Standard for a Precision Clock Synchronization Protocol for Networked Measurement and Control Systems. IEEE Std 1588-2008 (Revision of IEEE Std 1588-2002), 1– 300. https://doi.org/10.1109/IEEESTD.2008.4579760 Kannisto, J., Vanhatupa, T., Hännikäinen, M., & Hämäläinen, T. D. (2004). Precision Time Protocol Prototype on Wireless LAN. In J. N. de Souza, P. Dini, & P. Lorenz (Eds.), Telecommunications and Networking - ICT 2004 (pp. 1236–1245). Berlin, Heidelberg: Springer Berlin Heidelberg. Kapur, A. (2005). A History of robotic Musical Instruments. ICMC. Keller, D., Flores, L. V., Pimenta, M. S., Capasso, A., & Tinajero, P. (2011). Convergent Trends Toward Ubiquitous Music. Journal of New Music Research, 40(3), 265–276. https://doi.org/10.1080/09298215.2011.594514 Keller, D., & Lazzarini, V. (2017). Ecologically Grounded Creative Practices in Ubiquitous Music. Organised Sound, 22(1), 61–72. https://doi.org/10.1017/S1355771816000340 Keller, D., Lazzarini, V., & Pimenta, M. S. (Eds.). (2014). Ubiquitous Music. Springer Publishing Company, Incorporated. NESCoM. (2018a). RoboMus - Lapsteel guitar. Retrieved February 20, 2020, from goo.gl/KHrw4k NESCoM. (2018b). RoboMus - Teste BongoBot. Retrieved February 20, 2020, from goo.gl/V6nvSn Petersen, K., Solis, J., & Takanishi, A. (2008). Toward enabling a natural interaction between human musicians and musical performance robots: Implementation of a real-time gestural interface. RO-MAN 2008 - The 17th IEEE International Symposium on Robot and Human Interactive Communication, 340–345. https://doi.org/10.1109/ROMAN.2008.4600689 Pisoni, D. B. (1977). Identification and discrimination of the relative onset time of two component tones: implications for voicing perception in stops. The Journal of the Acoustical Society of America, 61(May 2013), 1352–1361. https://doi.org/10.1121/1.381409 Singer, E., Feddersen, J., Redmon, C., & Bowen, B. (2004). LEMUR’s Musical Robots. Proceedings of the International Conference on New Interfaces for Musical Expression, 181–184. https://doi.org/10.1145/1027527.1027569 Turchet, L., Fischione, C., Essl, G., Keller, D., & Barthet, M. (2018). Internet of Musical Things: Vision and Challenges. IEEE Access, 6, 61994–62017. https://doi.org/10.1109/ACCESS.2018.2872625 i ii Técnicas de sincronização aplicada aos robôs por um agente externo (SSMM), fornecendo uma sincronia básica. Técnicas de sincronização aplicada pelos próprios robôs para ajuste fino da sincronia com os demais. 101 International Journal of Digital Media and Interaction Special Issue on Ubiquitous Music, Vol.3, No.5, (2020) Live Patching e Interação Remota: Uma Abordagem Prática Intercontinental com Kiwi (Live Patching and Network Interaction: An Intercontental Practical Approach with Kiwi) Marcello Messina1, João Svidzinski2, Deivid de Menezes Bezerra3 and David Ferreira da Costa4 1 Universidade Federal da Paraíba e Núcleo Amazônico de Pesquisa Musical (NAP) 2 Université Paris 8, 3Universidade Federal do Acre, 4Universidade Federal do Acre 1 [email protected], [email protected], [email protected], 4 [email protected] Abstract This paper introduces, documents and reflects on an intercontinental live patching experience based on simultaneous remote interaction using the software Kiwi, and that can be subsumed under several features of Ubiquitous Music. The experience involved academic groups from the two Brazilian Federal Universities of Acre and Paraíba, and a working group based at the University Paris 8 in France. The intercontinental simultaneous interaction may trigger reflections on the implications of the presence/absence of the human being, on the implicit patterns of territorialisation reproduced in the context of intercontinental live patching, and on the operative action of mnemonic processes within this practice. In the context of this research, these reflections emerged as part of the development of effective strategies of creative utilisation of the software. Resumo Este artigo apresenta, documenta e reflete uma experiência intercontinental de live patching baseada na interação remota simultânea usando o software Kiwi. Este estudo pode ser analisado a partir de várias características da música ubíqua. A pesquisa envolveu grupos de pesquisa de duas universidades federais brasileiras, Acre e Paraíba, e um grupo de trabalho baseado na Universidade Paris 8 na França. A interação intercontinental simultânea desencadeou reflexões sobre as implicações da presença/ausência do ser humano, sobre os padrões implícitos de territorialização reproduzidos no contexto do live patching intercontinental e sobre a ação operativa dos processos mnemônicos dentro da prática musical digital. No contexto desta pesquisa, essas reflexões emergiram como parte do desenvolvimento de estratégias efetivas de utilização criativa do software. 1. Introdução Este artigo apresenta, documenta e reflete uma experiência intercontinental de live patching e interação remota simultânea usando o software Kiwi. A experiência envolveu dois grupos acadêmicos baseados em três universidades diferentes entre Brasil e França: o grupo de pesquisa Live/Acc/Patch, das duas Universidades Federais Brasileiras do Acre e Paraíba, e o grupo de pesquisa baseado na Universidade Paris 8 na França, representado pela disciplina de graduação Introduction à la programmation avec Kiwi, Max et Pure Data 1. Este estudo pode ser analisado a partir de características da música ubíqua. Em primeiro lugar, assim ISSN: 2184-3120 CC 2020 DIGIMEDIA International Journal of Digital Media and Interaction Vol.3, No.5, (2020) como afirmam Luzilei Aliel e José Fornari, essa prática é um tipo particular de "música eletroacústica na qual equipamentos eletrônicos são ubiquamente interconectados para juntos criarem música” (Aliel & Fornari, 2014). Em segundo lugar, como Keller et al. afirmam, a "multiplicidade de dispositivos interconectados" substitui a operatividade de "instrumentos musicais identificáveis", assim como a complexa "parafernália social (partituras, concertos, rituais pré-estabelecidos, um público definido e separado dos músicos, etc.), que caracterizam as práticas musicais habituais” (Keller et al., 2010). Finalmente, o conjunto particular de circunstâncias materiais envolvidas nesta prática implica o encontro e a confrontação entre a presença/ausência humana, assim como a caracterização da territorialização nas ações criativas. Isto evoca a formulação de Keller e Lazzarini sobre uma "prática criativa ecologicamente fundamentada" (Keller & Lazzarini, 2017). O termo “ecologicamente” aqui não implica necessariamente o ativismo direto, mas é mais referido ao intento de reproduzir e dar conta de discursos e aspetos de espacialidade e temporalidade nos processos criativos [1]. O software Kiwi nasceu em um contexto social, científico e musical em pleno desenvolvimento. A colaboração e a interação no meio digital são entendidas como conceitos chave no contexto social atual. A computação em nuvem [cloud computing] permite explorar o potencial do processamento digital e armazenamento de informação através de redes de comunicação - principalmente a internet. Foi neste contexto que aplicações como o Google Docs transformaram radicalmente a prática colaborativa, sincrônica e interativa dos editores de texto e de planilhas. Este princípio elimina a necessidade de agrupar geograficamente os autores, permitindo que vários indivíduos e instituições trabalhem juntos, simultânea e interativamente, no mesmo espaço de trabalho, mas em contextos práticos específicos. O projeto ANR MUSICOLLL [2] (2016-2018), coordenado pelo laboratório francês Musidanse/CICM [3] em parceria com a empresa privada Ohm Force [4], desenvolveu uma pesquisa centrada na música colaborativa e portátil em tempo real. Os seguintes objetivos foram propostos: (1) o desenvolvimento de uma nova ferramenta para essa prática: o software Kiwi [5]; (2) um estudo detalhado de sua manipulação (principalmente para estudantes universitários e de curso de música); (3) uma investigação sobre a inovação causada por esse software no contexto do ensino "tradicional" do software "clássico" de patching, como Pure Data e Max; e finalmente (4) a disseminação dessas práticas na comunidade científica e musical. Após a finalização do projeto em 2018, todos esses objetivos foram alcançados com sucesso. O software open source e gratuito está disponível para download. E sua aplicação pedagógica foi atestada em diversos ambientes acadêmicos, como o Conservatorio di Musica Arrigo Boito di Parma, e no curso online La musique au-delà du numérique organizado por INA-GRM e Université Paris Lumières (Sèdes et al., 2017). No entanto, o potencial criativo do Kiwi foi pouco impulsionado. A prática do live patching foi o ponto de partida para uma nova aplicação deste software. Com o princípio composicional de começar um patch "do zero", em uma sessão colaborativa e simultânea internacional, espera-se que emerja uma série de propriedades originais potenciais desta nova ferramenta. Este projeto foi iniciado com a associação de dois grupos de pesquisa, que colaboram com as mesmas 103 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) ferramentas de criação musical digital: o projeto de pesquisa Live/Acc/Patch, baseado em duas universidades federais brasileiras (Acre e Paraíba), e o grupo de trabalho associado à disciplina de graduação Introduction à la programmation avec Kiwi, Max et Pure Data 1. Esta colaboração une dois países diferentes, França e Brasil, com suas próprias concepções de criação musical, assim como seus próprios know-how intrínsecos. O uso do software Kiwi como uma ferramenta compartilhada constituiu o espaço interseccional dessa colaboração. Isto resultou em uma prática que visa articular a criação musical específica para cada ambiente criativo. 2. Live/Acc/Patch Live/Acc/Patch é um projeto de pesquisa iniciado em 2018 por meio do fomento do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e da Universidade Federal do Acre (UFAC), como parte do Programa Institucional de Bolsas de Iniciação Científica (PIBIC). Os membros do projeto são pesquisadores e alunos entre os 25 e os 35 anos, com experiência nas práticas criativas e na educação musical. O projeto visa explorar conexões possíveis e viáveis entre a aplicação colaborativa do live patching e o aprendizado de programas modulares gráficos para manipulação de áudio, como o Pure Data (Puckette, 1996). Uma primeira parte do projeto envolveu a prática de patches colaborativos em tempo real com usuários já iniciados com Pure Data. Uma segunda parte, em andamento, consiste em acompanhar usuários não iniciados na aplicação de patches, com o objetivo de transferir noções básicas do live patching. 2.1. Live coding e live patching O termo "live patching" deriva do conceito de live coding, definido por Thor Magnusson como uma "forma de performance musical que envolve a composição musical em tempo real por meio de código textual" (Magnusson, 2011). O live coding surgiu como uma prática criativa, assim como uma linha de pesquisa em música nos últimos 15-20 anos. Collins et al. situam o live coding como uma nova área de performance baseada no risco, na imprevisibilidade e, portanto, com grande potencial de geração de eventos inesperados (2010). Magnusson ilustra a transição da partitura para o algoritmo, introduzido pelo live coding, como uma nova forma de criação de significado musical (2011). Apresentando a ferramenta de live coding Gibber, Roberts e Kuchera-Morin exploram as relações entre o live coding e o navegador de internet (browser), entendido como uma “plataforma musical em tempo real” (2012). Enquanto o live coding é um termo geral que evoca implicitamente interfaces textuais, TUIs [textual user interfaces], o live patching refere-se à mesma prática aplicada a interfaces gráficas GUIs [graphical user interfaces] (Harazim, 2017). Estas facilitam o aprendizado, pois as GUIs são geralmente mais intuitivas do que as TUIs. Assim, as GUIs são mais indicadas para a colaboração e para os propósitos educacionais do projeto Live/Acc/Patch. Os projetos blind date e rec.wie.m da associação Pd~Graz 104 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) (Ritsch, 2014) [6] são experiências coletivas de live patching anteriores a este projeto que privilegiam também as GUIs. Mesmo com a vantagem das interfaces gráficas, o projeto Live/Acc/Patch demanda a formulação de estratégias que visam facilitar a compreensão das sintaxes modulares e assim acelerar o aprendizado por parte de usuários sem experiência neste tipo de linguagem. 3. De Pure Data a Kiwi Logo após seu início na Universidade Federal do Acre, o projeto Live/Acc/Patch foi parcialmente transferido para a Universidade Federal da Paraíba, em João Pessoa. Em seguida, foi instituída uma colaboração, fundamentada na aplicação do software Kiwi, com a Universidade Paris 8. Até então, Pure Data tinha sido o único programa de patches praticado no projeto. Vários desafios foram observados, envolvendo principalmente a impossibilidade (ou a dificuldade) de trabalhar simultaneamente em um mesmo patch. Inicialmente, os participantes trabalhavam colaborativamente em sessões de live patching. Esta prática era fundamentada no revezamento consecutivo, em sessões alternadas de trabalho em um mesmo arquivo Pure Data. Mais tarde, quando a Paraíba foi incluída no projeto, os participantes trabalhavam remotamente, cada um salvando patches em redes compartilhadas e intervindo em estruturas já iniciadas por outros autores do mesmo projeto. A colaboração com Paris 8 introduziu a possibilidade de integrar o software Kiwi. Esta ferramenta solucionou as dificuldades ligadas às distâncias que condicionaram a interação colaborativa na pesquisa. Ao mesmo tempo, permitiu editar os mesmos patches simultaneamente, usando computadores diferentes, ou compartilhando o mesmo espaço físico, como será mencionado na seção 5. Os membros do projeto logo decidiram que Kiwi não iria suplantar Pure Data, e que, pelo contrário, as duas ferramentas poderiam coexistir no projeto. 3.1. Características do Kiwi Na página oficial do projeto Kiwi, esta ferramenta é definida como "um ambiente gráfico de programação dedicado à música e criação de som, no mesmo modelo de software como Max ou Pure Data, mas oferecendo uma abordagem colaborativa em tempo real: Kiwi permite que vários usuários distantes trabalhem simultaneamente no mesmo patch hospedado online" [7]. Kiwi é, por sua vez, o principal resultado do projeto de pesquisa ANR MUSICOLL, financiado pela Agência Nacional de Pesquisa Francesa (ANR) de 2016 a 2018. Este mesmo projeto estudou a implementação de modelos de interação remota em tempo real. O modelo de colaboração de Kiwi é fundamentado no compartilhamento de um mesmo espaço de trabalho, ou seja, em um patch online. No entanto, os parâmetros de controle e os sinais de áudio são apenas locais. Dessa forma, com um mesmo patch, cada participante pode controlar individualmente os parâmetros, produzindo resultados sonoros distintos. "Por outro lado, [...] se os usuários desejarem compartilhar dados do seu patch, por exemplo sincronizar objetos GUI, é possível fazê-lo com o objeto 105 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) [hub], específico desta linguagem. Este transmite mensagens para todos os usuários conectados ao mesmo patch" [7]. 3.2. Notas sobre a GUI do Kiwi As funcionalidades e a interface de Kiwi são similares às de Pure Data. Os objetos tendem a ter os mesmos nomes, e a interagir de forma muito parecida. Além disso, os atalhos de teclado usados para criar objetos, números e outros itens são os mesmos que em Max (“N” para um novo objeto, “M” para uma mensagem, “I” ou “F” para um número, etc.). As semelhanças entre o Kiwi e o Pure Data ajudaram os membros do Live/Acc/Patch a transitar sem dificuldade de uma aplicação para a outra e vice-versa. O patch abaixo exibe a afinidade entre os dois aplicativos (fig 1). Fig 1. Um exemplo de patch de ring modulation. À esquerda com Kiwi, à direita com Pure Data. Uma característica importante de Kiwi é a presença de um diretório comum onde patches colaborativos podem ser criados e colocados a disposição dos outros usuários. Todos os usuários conectados ao servidor têm acesso a uma lista de patches: eles podem baixar, excluir, carregar renomear, e duplicar patches desse diretório. Destaca-se que em cada patch vários usuários podem estar conectados ao mesmo tempo. Desta maneira, cada usuário é livre para realizar modificações em tempo real em um mesmo patch. As instâncias de colaboração intercontinental discutidas neste artigo aconteceram, cada uma delas, dentro de limites de patches específicos. 4. A classe “Introduction à la programmation avec Kiwi, Max et Pure Data 1” na Universidade Paris 8 O segundo grupo de trabalho, participante desta colaboração internacional, é uma turma da disciplina Introduction à la programmation avec Kiwi, Max et Pure Data 1 do departamento de música, especialização CAO - composition assistée par ordinateur - da Universidade de Paris 8, nível Licence 2 (equivalente ao 106 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) segundo ano de graduação). Os participantes, na maioria com idade entre 20 e 25 anos, são alunos compositores de diversos estilos musicais. Nesta disciplina são ensinadas noções básicas da sintaxe modular gráfica para síntese e tratamento de áudio, ou seja, os princípios básicos do funcionamento de Max, Pure Data e Kiwi. Neste curso são abordadas também noções de processamento digital de sinais e composição musical eletroacústica. Entre 2017 e 2018, a disciplina Introduction à la programmation avec Kiwi, Max et Pure Data 1 do curso de música da Universidade de Paris 8 foi o laboratório para o desenvolvimento do software Kiwi. Assim, esta ferramenta foi testada em um contexto predominantemente pedagógico. Certamente, este era o principal alvo de pesquisa do projeto MUSICOLLL, mas ainda é necessário tirar partido das suas virtudes criativas, principalmente a colaboração e o live patching colaborativo.. Em 2019, a metodologia pedagógica desta disciplina foi modificada em relação aos anos anteriores. Entre 2017 e 2018, somente o software Kiwi foi utilizado. Mesmo se este princípio foi bem aceito e validado pela comunidade acadêmica, a mudança foi principalmente motivada para que o ensino contemplasse múltiplas ferramentas que compartilham o mesmo funcionamento. Desta maneira, os pontos positivos de cada software foram explorados nos momentos adequados. Por exemplo, a compreensão dos princípios básicos de processamento de sinal é melhor assimilada com o uso de tabelas que permitem a visualização dos valores. Essa funcionalidade é melhor desenvolvida em Pure Data em comparação com Kiwi. Após terem cursado esta disciplina, os alunos ficam livres para escolher a ferramenta adequada à sua prática, bem como ao seu próprio contexto de trabalho. Assim, o ensino do software Kiwi não substitui os ambientes “clássicos” como Max e Pure Data. 4.1. Aprendizado com Kiwi na Universidade Paris 8 A turma de 2019, que participou da colaboração internacional tratada neste artigo, era formada por aproximadamente dez alunos. A maioria não tinha sido iniciada na composição musical com meios informáticos. Nas onze primeiras aulas, foram abordadas noções de processamento digital e alguns pontos introdutórios para a composição eletroacústica, como a modulação de frequência, a modulação de amplitude, uso de delay, flanging (ou pseudo flanging) e sampling. O software Kiwi foi introduzido somente na sétima aula, quando os alunos já estavan familiarizados com os princípios básicos do patching. O objetivo específico da colaboração internacional com Kiwi para essa turma foi proporcionar uma atividade criativa complementar às aulas para auxiliar o aprendizado do conteúdo já abordado em aula (com os programas Pure Data, Max e Kiwi). Os dois patches criados colaborativamente unicamente por essa turma (antes da colaboração com o grupo Live/Acc/Patch) coincidiram com o momento em que a modulação de frequência foi introduzida. O patch KiwiMaxPd20192 (fig 2) contém quatro instâncias de um modelo básico de síntese FM de John Chowning (1973). A classe foi dividida em quatro grupos, cada grupo se ocupava de um alto-falante. O 107 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) objeto [hub], que permite a colaboração de valores de contrôle, era utilizado para que todos os participantes pudessem enviar bangs ativando todas as instâncias do patch. Fig 2. Captura de tela exemplificativa do patch KiwiMaxPd20192, baseado na modulação de frequência, realizado pela turma Introduction à la programmation avec Kiwi, Max et Pure Data 1. Para acessar o patch completo é necessário baixar a ferramenta Kiwi ao endereço https://kiwi.univ-paris8.fr/. Após a instalação e a registração/login, o usuário terá acesso remoto à lista de patches compartilhados. 5. Live patching simultâneo intercontinental No final de 2018, depois de uma série de práticas locais destinadas a se familiarizar com Kiwi, os membros do projeto Live/Acc/Patch iniciaram sessões de live patching entre os dois estados brasileiros, Acre e Paraíba. Em abril de 2019, foram realizadas três tentativas de aplicação de live patching intercontinentais entre a França e o Brasil (fig 3). Fig 3. Um diagrama completo dos patches Kiwi desenvolvidos como parte desta pesquisa. 5.1. As primeiras sessões interestaduais no Brasil Uma primeira rodada de sessões interestaduais ocorreu entre o Acre e a Paraíba nos últimos meses de 2018. As sessões estão disponíveis no servidor Kiwi como LIVE-ACC-PATCH UFAC/UFPB seguidas 108 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) por números consecutivos [8]. No total foram criados quatro patches entre 17 de outubro e 28 de novembro. 5.2. Sessões intercontinentais As sessões intercontinentais relevantes incluem uma sessão de teste em 11 de abril (disponível como LiveKiwi 11-04-2019), três ensaios em grupos menores em 17 de abril (disponível como kiwitest 17.04.19; kiwitest_2 17.04.19; kiwitest 17.04.19 (versão 2)), e um evento final colaborativo em 18 de abril (fig 4), que foi dividido em sessões consecutivas (disponíveis como LiveKiwi 18-04-2019 e LiveKiwi_v2 18-04-2019). É importante ressaltar que, devido a algumas falhas repetidas no servidor durante a sessão de teste em 11 de abril, os participantes baseados no Brasil decidiram começar um patch separado naquele dia (disponível como ACRE-PARAÍBA TEST) que de fato funcionou sem problemas [8]. Graças à ajuda dos desenvolvedores do Kiwi, o problema no servidor não se repetiu nas sessões seguintes. Fig 4. Captura de tela exemplificativa do patch LiveKiwi 18-04-2019. Destacam-se em caixas vermelhas vários exemplos de comunicação verbal entre os participantes no mesmo espaço de trabalho. Para acessar o patch completo é necessário baixar a ferramenta Kiwi ao endereço https://kiwi.univ-paris8.fr/. Após a instalação e regustro (login), o usuário terá acesso remoto à lista de patches compartilhados. 6. Reflexões sobre Kiwi, live patching e interação remota simultânea As diferentes sessões mencionadas acima foram úteis para formular reflexões críticas e analíticas sobre o conjunto de operacionalidades, funcionalidades e conceitos que estão em questão quando se opta pelo uso de Kiwi. 6.1. Os limites práticos e conceituais da interação remota simultânea Desde a nossa perspectiva, a inovação mais atraente oferecida pelo Kiwi é, sem dúvida, a interação 109 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) coletiva no live patching, sendo potencialmente simultânea e remota (Paris et al., 2017) [9]. Embora tenhamos desfrutado abundantemente destas duas características ao longo das várias sessões, os problemas acima mencionados, que ocorreram no primeiro teste intercontinental em 11 de abril, desencadearam uma reflexão mais ampla sobre a conveniência da simultaneidade no contexto da interação remota. Ou seja, é sempre necessário interagir diretamente em tempo real? Ademais, é sempre seguro e razoável confiar na simultaneidade? Kiwi permite, de fato, que a simultaneidade seja deslocada temporalmente. Por exemplo, os patches que foram criados há vários meses ainda estão disponíveis para todos usuários, antigos e novos, que desejam acessá-los e modificá-los. Assim, Kiwi armazena patches coletivos e nunca os "conclui": eles permanecem abertos na rede para que a comunidade continue modificando-os. Nesse sentido, a princípio, eventos coletivos anteriores envolvendo (ou não) lugares diferentes, também podem ser integrados a atividades atuais. Esse é certamente um desenvolvimento futuro que merece ser levado em consideração nesta pesquisa. Outra questão conceitual importante é o distanciamento, que pode ser descrito como a simulação de uma presença in loco. Este fenômeno se manifesta através de reprodução visual de operações realizadas nas telas dos computadores. Ao considerar sistemas de detecção biométrica, Joseph Pugliese parafraseia Derrida na expressão "metafísica da presença", e identifica uma série de potenciais falhas envolvidas no exercício tecnológico de reconhecer e transmitir os sinais da presença humana (Pugliese, 2014). Na sequência deste trabalho, é útil perguntar quais são os limites da simulação da presença no contexto do live patching. Mais especificamente, quais perdas fundamentais relativas à aplicação de patches em tempo real estão implícitas quando os usuários interagem remotamente? E, de uma perspectiva oposta, essa possibilidade de interação torna o uso do Kiwi significativo e desejável apenas se for realizado de forma remota? [10] Durante as várias sessões remotas mencionadas acima, os membros do projeto ficaram dependentes de comentários textuais nos patches a fim de compensar a ausência de comunicação verbal com os participantes distantes. É importante esclarecer que a interação performática entre os participantes não era imediatamente dependente destes comentários, porém eles preenchiam uma função importantíssima. A performance não precisava imediatamente das caixinhas com texto, mas esses comentários proporcionavam um encanto e um atrativo maior à dialética da interação criativa. A mistura de inglês, português, francês e até italiano se acompanhava com uma mistura de tópicos comunicativos diferentes: perguntas sobre objetos específicos, cumprimentos, brincadeiras, etc. O texto escrito, em suma, preencheu uma lacuna metafísica na interação com outros seres humanos. Esta necessidade de contacto verbal imediato torna, sem dúvida, a interação local significativa e pertinente, juntamente com as mais remotas. De fato, novamente por ocasião da falha do servidor em 11 de abril, a sessão alternativa aberta por participantes do Brasil (disponível como ACRE-PARAÍBA TEST) consistiu principalmente em uma interação entre dois usuários que estavam trabalhando simultaneamente em duas máquinas diferentes, ocupando o mesmo espaço em Rio Branco, Acre, isto é, o Laboratório de 110 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) Arte e Tecnologia Musical (LATMus). Neste caso, a interação permitiu que os dos dois participantes tivessem a possibilidade de estabelecer um maior nível de sintonia durante o trabalho colaborativo. Isto ocorreu devido à possibilidade de comunicação verbal e não-verbal imediata. Além de significativa, quando comparada à interação remota, este tipo de interação, próxima e simultânea, preenche uma lacuna importante no software de patching existente. Como mencionado acima, diferentemente de Kiwi, o patching colaborativo em Pure Data, no contexto do projeto Live/Acc/Patch, só poderia ser consecutivo, ou seja, uma interação em revezamento entre os usuários. 6.2. As implicações geopolíticas do live patching remoto Como sugerido acima, a interação simultânea pode ser problemática. A simultaneidade exige um elevado desempenho durante um período limitado. Assim, essa situação nem sempre é possível em qualquer lugar e em qualquer momento. A variação geográfica também pode proporcionar mudanças dramáticas na conexão com o servidor, no desempenho da máquina, etc. Diferenças de fuso horário também são relevantes, especialmente se considerada a diferença de 7 horas entre Rio Branco e Paris. João Pessoa, naquela época do ano, estava 2 horas à frente de Rio Branco e 5 horas atrás de Paris. Estas diferenças tiveram uma influência relevante na praticidade das sessões intercontinentais. O fuso horário de Paris (ECT) foi usado como referência para todos os outros. Embora um dos princípios que orientou o trabalho colaborativo fosse a horizontalidade, o projeto correu o risco de se alinhar em coordenadas cartesianas muito específicas de poder e de normatividade (Messina & Souza, 2018). O conflito geopolítico ou territorial é também uma metáfora poderosa que emerge quando se considera a atividade concorrente de um número relativamente alto de participantes em uma sessão de live patching em um único espaço. Neste contexto particular, o live patching se torna semelhante à luta por um número limitado de recursos, ou à luta para garantir algum controle territorial. De fato, os participantes têm a liberdade de apagar os objetos ou interromper as conexões criadas por outros, e isso tende a acontecer com muita frequência caso o número de usuários ativos simultaneamente seja alto. De qualquer modo, os múltiplos e abrangentes significados da palavra "patch" passam a englobar, fora dos seus usos computacionais, a ideia de uma porção limitada de território separada por fronteiras. Suvendrini Perera, por exemplo, considera como ponto de partida a descrição do Pacífico como "our patch" pronunciada pelo então Primeiro-Ministro australiano John Howard. Isto ocorreu com a finalidade de considerar e analisar a violenta promulgação de um amplo projeto de dominação sobre a região. Metáforas à parte, a conexão entre a interface visual e a possibilidade de interação simultânea de múltiplos usuários, que caracteriza o Kiwi, permite criar um paralelo entre o live patching como atividade musical e a política do desejo territorial que enquadra as ações humanas no espaço. Nesse sentido, o live patching colaborativo é muitas vezes a materialização de algum tipo de conflito. Ademais, essa propriedade é nítida nos resultados sonoros. Neste contexto, são relevantes as considerações de Jacques Attali em relação ao 111 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) som/ruído como "simulacro” de formas rituais de conflito (1985). Afinal, o conflito é algo que está intrinsecamente envolvido na prática coletiva da improvisação musical, e ao mesmo tempo, na esfera política, a capacidade de improvisar torna-se uma importante prioridade no contexto decisional e de resolução de conflitos. Se, por um lado, Hoom Hong Ng descreve a improvisação musical coletiva como “esforço sociocomunicativo” (2018), por outro lado, Kathleen M. Eisenhardt argumenta que o modelo social da improvisação, inspirado justamente nas práticas musicais, possa servir como modelo produtivo de tomada de decisões estratégicas (1997). 6.2. Live patching, memória e o trabalho em fragmentos Obviamente, a referência ao conflito é apenas simbólica e não se reflete no clima geral de amizade e camaradagem das sessões intercontinentais. Estas reflexões, no entanto, são úteis para desvendar as implicações sociais e culturais deste tipo de atividade. Nesse sentido, outro "conflito" importante que caracterizou a primeira sessão de testes em 11 de abril foi a divergência entre um número de usuários que começaram a partir de estruturas pré-programadas, e um número de usuários que tentaram construir estruturas gradualmente, objeto por objeto. Logo após a sessão de teste, foi decidido que a colagem de grandes estruturas pré-programadas deveria ser evitada. A atividade em tempo real deveria ser implementada gradualmente. Assim, os usuários interagiram gradualmente . Nesta prática, foram previstas também a anulação e a correção de ações de outros usuários. Desta maneira, o trabalho envolveu ativar a memória para lembrar de sintaxes, de funcionalidades e até mesmo de nomes de objetos. Nesse contexto, a múltipla dialética entre lembrar e esquecer, entre reter e apagar (Ricoeur, 2004) produz uma série de fragmentos mnemônicos que desempenham um papel crucial na dinâmica do live patching. Os participantes confiam em processos de lembranças esboçadas, em vez de consolidarem um corpus constante de conhecimentos específicos de cada linguagem. Deste modo, a estética do bem-construído e do instrumento digital completo é substituída por uma poética do incompleto, do experimental e do aberto. Neste contexto, os fragmentos que sobrevivem ao esquecimento são simultaneamente simulacros de atividades passadas e precursores de novas e imprevistas possibilidades. O Live patching é, neste sentido, uma poética do incessante inesperado. Em termos mais gerais, a complexidade dos patches intercontinentais resulta da combinação de pequenos elementos que interagem dinamicamente se tornando uma estrutura própria. Essa negociação suscitou questões importantes relacionadas à escuta, temporalidade e perenização. Ora, as escolhas composicionais foram guiadas majoritariamente pelo retorno audível local de cada participante, confirmando o conceito de “ação/percepção em loop feedback” proposto por Horacio Vaggione (2001). A temporalidade na criação contemporânea, tema muito discutido pela comunidade científica musical atualmente, ganha uma nova dimensão com o live patching. Ademais, a perenidade e efemeridade da computação musical em contexto ubíquo também merece uma reavaliação com a prática colaborativa síncrona. Essas confrontações, de ordem local e global, confirmam os valores didáticos, objetivos comuns do grupo francês e brasileiro. Essa colaboração atesta a vocação científica do fazer musical na essência 112 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) do ensino universitário. 7. Conclusão A pesquisa em curso, relatada neste artigo, abre perspectivas para o futuro da colaboração dos grupos Live/Acc/Patch, UFPB e Universidade Paris 8. Esta pesquisa se enquadra na linha da pesquisa-criação [practice-led research], pois os produtos criativos musicais, o desenvolvimento de software, e a reflexão do fazer musical se unem em uma prática musical científica. Os resultados musicais, as sessões colaborativas e os patches resultantes são dignos do status de criação musical. Ademais, as gravações realizadas por cada participante [11] das sessões testemunham o momento da performance e também constituem um potencial material para uma nova criação musical. Entretanto, o ponto chave para todo esse processo é a confrontação de ecossistemas locais e globais. Os patches LIVE-ACC-PATCH UFAC/UFPB e KiwiMaxPd2019 foram realizados respectivamente pelo grupo Live/Acc/Patch e pela Universidade Paris 8 de forma local. Cada ecossistema criou assim uma maneira própria de patching. No primeiro encontro internacional, essas maneiras próprias foram confrontadas resultando na emergência de uma prática colaborativa comum que culminou na última sessão. O carater colaborativo, não hierárquico, por vezes é considerado um defeito para desenvolvedores de software. É desejado que os autores de um documento possam “escolher” ou mesmo “autorizar” a colaboração de um outro autor. De fato, este é o princípio colaborativo de ferramentas como Google Docs. Entretanto, com Kiwi, todos os participantes têm os mesmos direitos. Além disto, as operações não deixam traços genéticos. Ou seja, é impossível saber quem criou ou deletou um objeto ou escreveu um comentário. Assim, potenciais barreiras hierárquicas (professor/aluno, grupo X/ grupo Y por exemplo) são evitadas. Kiwi e o know-how do live patching conduzidos pelo grupo Live/Acc/Patch selam assim um compromisso de criação musical colaborativa com desenvolvimento informático. Ora, as características da própria ferramenta influenciam na maneira de compor. Ao mesmo tempo, o know-how composicional pode aportar melhorias para o desenvolvimento deste software. Nesta perspectiva, esta pesquisa atesta um comportamento recorrente na história da computação musical: o desenvolvimento de novas ferramentas está vinculado a questões de ordem composicional e social ligadas especificamente à criação musical. Assim, os “problemas técnicos”, por exemplo, têm o mesmo status que os critérios criativos composicionais, pois eles também determinam as escolhas criativas realizadas pelos compositores. Para o futuro desta pesquisa, duas perspectivas merecem destaque. Para compensar as limitações técnicas do software Kiwi (que não oferece alternativas para o desenvolvimento de módulos dinâmicos, como uma API ou mesmo de subpatchs), é possível integrar a linguagem Faust [12] para o desenvolvimento de novos objetos e de novas bibliotecas Para isto, é necessária uma nova etapa pedagógica, pois Faust não é equivalente a nenhuma linguagem visual como Pure Data. Trata-se de uma linguagem textual TUI, cuja sintaxe não é intuitiva para iniciantes. Deve-se então investir muito tempo para 113 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) sua assimilação. Uma nova perspectiva pedagógico global e local fruto desta colaboração será, portanto, necessária. Do ponto de vista da performance musical e suas implicações morfológicas (Costa, 2016), o patch ao vivo pode ser combinado com práticas de performance experimental baseadas em improvisação, obras abertas e complexidade sonora. O grupo de música experimental Artesanato Furioso, baseado na Paraíba, por exemplo, será um campo de testes para o futuro deste projeto, e uma primeira colaboração remota com eles está prevista para a segunda metade de 2020. 8. Notas 1. cf. a entrevista de Tate Carson a Damián Keller nesse mesmo dossiê. 2. Musicoll homepage, http://musicoll.mshparisnord.org/, último acesso 01/05/2019. 3. CICM (Centre de recherche et création musicale) homepage, http://cicm.mshparisnord.org, último acesso 01/05/2019.. 4. Ohm Force homepage, https://www.ohmforce.com/HomePage.do, último acesso 01/05/2019. 5. Kiwi homepage, http://kiwi.mshparisnord.fr, último acesso 01/05/2019. 6. Pd~Graz homepage, https://pd-graz.mur.at/, último acesso 01/05/2019. 7. Musicoll/Kiwi GitHub page, http://musicoll.github.io/Kiwi/, último acesso 01/05/2019. 8. Para acessar os patches é necessário primeiramente baixar a ferramenta Kiwi em https://kiwi.univparis8.fr/. Após a instalação e a registração/login, o usuário terá acesso remoto à lista de patches compartilhados. 9. No entanto, um proxy da comunidade Pure Data, chamado peer data, foi desenvolvido por IOhannes m zmölnig, e permite que vários usuários compartilhem simultaneamente o mesmo patch. Esta versão foi utilizada com sucesso no projeto mencionado acima blind date do Pd~Graz. Outras abordagens existem para colaboração remota em Pure Data, como o projeto Destino Pirilampo, de Luzilei Aliel da Silva e José Eduardo Fornari Novo Junior (2014). Neste exemplo, os usuários remotos enviam sinais para um patch central unificado, mas sem controle direto no patch principal. 10. Sobre criatividade musical e metafísica da presença, cf. também Messina e Aliel (2019) e Messina et al. (2019), 11. As gravações estão disponíveis em: https://mega.nz/#F!b8ZniKAK!QqoFc8bjKu9UtkcibsX_-Q. 12. Faust é uma linguagem funcional dedica à síntese e processamento de áudio digital em tempo real. Ademais, ela oferece um conjunto de ferramentas para geração de código C++ e um compilador em tempo real que permite executar o código Faust dentro de aplicativos terceiros. A versão mais recente de Kiwi integra esta funcionalidade. Faust homepage, https://faust.grame.fr, último acesso 01/05/2019. 9. Referências Aliel da Silva, L., & Fornari Novo Junior, J. E. (2014). Projeto Destino Pirilampo: um Estudo sobre a Composição de Meta-Soundscapes em Música Ubíqua. Revista Música Hodie, 14(1), 105-121. Attali, J. (1985). Noise: The political economy of music Minneapolis: The University of Minnesota Press. Chowning, J. M. (1973). The synthesis of complex audio spectra by means of frequency modulation. 114 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) Journal of the audio engineering society, 21(7), 526-534. Collins, N., McLean, A., Rohrhuber, J., & Ward, A. (2003). Live coding in laptop performance. Organised sound, 8(3), 321-330. Costa, V. F. d. (2016). Morfologia da Obra Aberta: esboço de uma teoria geral da forma musical. Curitiba: Editora Prismas. Eisenhardt K.M. (1997) Strategic Decision Making as Improvisation. In: Papadakis V., Barwise P. (eds) Strategic Decisions. Boston: Springer. Galleron, P., Maestri, E., Millot, J., Bonardi, A., & Paris, E. (2018). Enseigner le patching de manière collective avec le logiciel collaboratif Kiwi. In Actes des Journées d’informatique Musicale (JIM), pp. 106-114. Harazim, M. (2017) Music, Computers and Culture in Live Coding. BMus dissertation. University of Aberdeen. Keller, D., Barreiro, D. L., Queiroz, M., & Pimenta, M. S. (2010). Anchoring In Ubiquitous Musical Activities. In Proceedings of the International Computer Music Conference (ICMC). Ann Arbor: University of Michigan Library, 319-326. Keller, D., & Lazzarini, V. (2017). Ecologically grounded creative practices in ubiquitous music. Organised Sound, 22(1), 61-72. Magnusson, T. (2011). Algorithms as scores: Coding live music. Leonardo Music Journal, (21), 19-23. Messina, M., & Aliel, L. Ubiquitous Music, Gelassenheit and the Metaphysics of Presence: Hijacking the Live Score Piece Ntrallazzu 4. In 14th International Symposium on Computer Music Multidisciplinary Research (p. 685-695). Messina, M., & Souza, J. d. A. (2019). Rios, pontes, balsas e fronteiras: uma provocação desde a brasilidade liminar e precária do Vale do Rio Acre. Muiraquitã - Revista de letras e humanidades, 6(1), 80-93. Messina, M., Svidzinski, J., de Menezes Bezerra, D., & da Costa, D. F. (2019). Live Patching and Remote Interaction: A Practice-Based, Intercontinental Approach to Kiwi. In 14th International Symposium on Computer Music Multidisciplinary Research (p. 696-703). Ng, H. H. (2019). Collective Free Music Improvisation as a Sociocommunicative Endeavor: A Literature Review. Update: Applications of Research in Music Education, 37(2), 15–23. https://doi.org/10.1177/8755123318784109 Paris, E., Millot, J., Guillot, P., Bonardi, A., & Sèdes, A. (2017, May). Kiwi: vers un environnement de création musicale temps réel collaboratif premiers livrables du projet Musicoll. In Journées d’Informatique Musicale. Paris, E. (2018). Une approche du patching audio collaboratif. Doctoral dissertation. Université Paris 8. Perera, S. (2007). Our patch: Domains of whiteness, geographies of lack and Australia’s racial horizons in the war on terror. Our Patch: Enacting Australian Sovereignty Post-2001, 119-46. Puckette, M. (1996). Pure Data: another integrated computer music environment. Proceedings of the second intercollege computer music concerts, 37-41. Pugliese, J. (2014). The alleged liveness of “Live”: Legal visuality, biometric liveness testing and the metaphysics of presence. In Wagner, A., Sherwin. R. K. (eds.) Law, culture and visual studies (pp. 649-669). Springer, Dordrecht. Ricoeur, P. (2004). Memory, history, forgetting. Chicago: University of Chicago Press. Ritsch, W. (2014). ICE-towards distributed networked computer music ensemble. In Georgaki, A., 115 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) Kouroupetroglou, G. (eds.) Proceedings ICMC|SMC|2014. Roberts, C., & Kuchera-Morin, J. (2012). Gibber: Live coding audio in the browser. In ICMC. Sèdes A., Bonardi A., Paris E., Millot J. et Guillot P., (2017) “Teaching, investigating, creating: MUSICOLL”, in Innovative Tools and Methods for Teaching Music and Signal Processing. <hal01581698> Vaggione, H. (2001). Some ontological remarks about music composition processes. Computer Music Journal, 25(1), 54-61. 116 International Journal of Digital Media and Interaction Special Issue on Ubiquitous Music, Vol.3, No.5, (2020) Embasamento da Ancoragem Semântica Criativa: Estudo Exploratório com Emulações Instrumentais (Grounding Creative Semantic Anchoring: An Exploratory Study with Instrumental Emulations) Damián Keller1, Marcello Messina2, Carlos Eduardo da Silva3 and Leonardo V. Feichas3 1 Núcleo Amazônico de Pesquisa Musical (UFAC / IFAC) 2 Núcleo Amazônico de Pesquisa Musical (UFPB) 3 Universidade Federal do Acre 1 [email protected] Abstract This paper outlines and documents a new metaphor for creativity support, creative semantic anchoring (ASC). Creative semantic anchoring involves the verbal grounding of sonic materials to achieve collective aesthetic decisions or to facilitate the transfer of musical knowledge. The strategy is especially useful for sonic classes linked to the daily experiences of the stakeholders – ranging from environmental events (e.g., biophonic or mechanical sounds) to instrumental renderings of everyday sounds. The present study proposes the evaluation of instrumental emulations of everyday sounds by means of semantic descriptions. Highlighting the subjective and technical aspects of the musical materials, we aimed to identify minimal requirements for the semantic content. Through a standardised procedure, fifty eight adult university students with intermediate musical knowledge evaluated seven musical excerpts. The results highlight two creative factors: the originality of the product and the subjects’ familiarity with the sonic material. The descriptors agradável [pleasant] - linked to strongly subjective aspects – and bemfeito [well done] - which refers to the technical aspects of the material – yielded the highest scores. We discuss the contributions and the limitations of the study, seeking to place the results within the context of the semantic-oriented design proposals for creative action in ubiquitous music research. Keywords: creative semantic anchoring, ubiquitous music, instrumental emulations, everyday sounds. Resumo Delineamos o conceito e documentamos o uso de uma nova metáfora de suporte para a criatividade, a ancoragem semântica criativa (ASC). A ancoragem semântica criativa envolve a contextualização verbal dos materiais sonoros para viabilizar decisões estéticas ou para facilitar a transmissão de conhecimento musical. Ela é útil para lidar com classes sonoras vinculadas à vivência cotidiana dos participantes na atividade criativa – abrangendo desde eventos sonoros ambientais (por exemplo, sons biofônicos ou sons mecânicos) até emulações instrumentais de sons cotidianos. O presente estudo foca a aferição de emulações instrumentais de sons cotidianos utilizando descritores semânticos. Selecionamos um grupo de descritores focando aspectos subjetivos e aspectos técnicos dos materiais sonoros, e aplicamos um procedimento padronizado para aferir sete amostras de emulações instrumentais. Desta feita, visamos identificar elementos mínimos para o conteúdo semântico, procurando obter um quadro quantitativo da relevância dos descritores a partir das respostas dos 58 adultos, estudantes universitários com conhecimento musical, que participaram nas aferições. Os resultados dão destaque para dois fatores criativos: a originalidade do produto e a familiaridade com o material sonoro por parte dos sujeitos. Os escores mais altos corresponderam aos descritores agradável, vinculado a aspectos fortemente subjetivos, e bem-feito, que corresponde aos aspectos técnicos do material sonoro. Discutimos as contribuições e limitações do estudo visando colocar os resultados no contexto das propostas semânticas de suporte para atividades criativas em música ubíqua. Palavras-chave: ancoragem semântica criativa, música ubíqua, emulações instrumentais, sons cotidianos. ISSN: 2184-3120 CC 2020 DIGIMEDIA International Journal of Digital Media and Interaction Vol.3, No.5, (2020) 1. Introdução O presente artigo aborda a utilização de estratégias semânticas de suporte para atividades criativas musicais.1 Ele retoma, reelabora, acrescenta material e desenvolve os argumentos apresentados em Silva et al (2017) e Feichas et al (2017). Por outra parte, a proposta insere-se em duas linhas de trabalho fundamentadas em diversas publicações anteriores do Núcleo Amazônico de Pesquisa Musical. Uma linha consiste no estudo interpretativo da obra do compositor Flausino Valle, como base para o desenvolvimento de técnicas de ensaio para músicos-instrumentistas (Feichas 2015; Feichas et al 2017; Keller e Feichas 2018). A outra linha abrange o estudo das manifestações da criatividade cotidiana e o desenvolvimento do suporte criativo para leigos em música dentro do contexto da pesquisa em música ubíqua (Capasso et al. 2000-2020; Keller et al. 2013; Keller e Lima 2016; Pereira et al. 2016; Pinheiro da Silva et al. 2013; Silva et al 2017). A primeira seção explora a aplicação de estratégias semânticas dentro do campo das práticas criativas musicais. Discutimos as limitações e as contribuições desse conjunto de métodos atentando para as demandas de cada fase do ciclo criativo. Essa seção também fornece o suporte teórico utilizado no desenvolvimento de metáforas para a ação criativa, com destaque para as perspectivas criativas embasadas na cognição ecológica. A segunda seção trata das relações entre os sons cotidianos e as práticas instrumentais, com destaque para as práticas em performance situada que visam a ampliação das possibilidades criativas. Na terceira seção descrevemos os procedimentos e os resultados obtidos em um estudo exploratório utilizando sons produzidos a partir de emulações instrumentais. O artigo conclui com a análise dos resultados, indicando as limitações e as potenciais aplicações para o avanço das perspectivas atuais em ubimus. 1.1. Estratégias semânticas de transferência de conhecimento musical A notação verbal – uma das vertentes semânticas com maior tradição dentro das práticas criativas – foi originalmente introduzida durante os anos sessenta pelos compositores associados ao grupo Fluxus – como George Maciunas, La Monte Young e George Brecht (Bergstroem-Nielsen 2012; Friedman et al. 2002). A motivação para a adoção da linguagem verbal como forma de comunicar ideias musicais visava por um lado a incorporação de abordagens flexíveis para o fazer musical - sendo a improvisação um dos alvos - e por outro a inclusão do público leigo como agente ativo do processo criativo. BergstroemNielsen (2012) propõe quatro modalidades da notação verbal dentro do contexto da música experimental dos anos sessenta: 1. O emprego de descrições do material sonoro, incluindo parâmetros musicais diversos e suas relações dinâmicas; 2. A utilização de regras processuais, exemplificadas por atividades lúdicas; 3. A representação visual do processo de organização sonora (para a qual, o autor utiliza a denominação de quadros ou cenas); e 4. A inclusão de disparadores para a realização de ações sonoras (ou pontos de partida). Uma análise atual dessas propostas indica que as categorias 2 e 4 inserem-se no âmbito das abordagens computacionais para a criatividade, também chamadas de abordagens algorítmicas (Boden 2003; McCormack e d'Inverno 2012). Os métodos verbais descrevem: (a) Sistemas 118 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) fechados – nesses sistemas a atividade criativa parte de um conjunto de regras pré-definidas que não são afetadas pelas condições locais; (b) Sistemas abertos – abrangem atividades influenciadas pelos recursos disponíveis no ambiente local, cujo comportamento não pode ser determinado com antecedência (ver também Keller 2001 para uma discussão mais completa dessas estratégias). A terceira categoria sugerida por Bergstroem-Nielsen – as representações visuais – não inclui só os procedimentos ou os processos criativos, também envolve os recursos necessários para atingir resultados criativos. Portanto, essa forma de notação verbal encaixa dentro da proposta de uso de rascunhos ou de esboços de design (sketches – Buxton 2007; Ferreira et al. 2016). Neste caso, a representação fornece uma descrição geral dos recursos e dos procedimentos sem especificar os parâmetros sonoros. Finalmente, a primeira categoria sugerida por Bergstroem-Nielsen constitui uma ampliação das indicações verbais pré-existentes nas práticas da notação tradicional. As características sonoras que não exigem uma quantificação precisa (tais como as descrições timbrísticas dos sons, por exemplo: sons brilhantes ou sons escuros) ou que lidam com mudanças entre pontos de inflexão (por exemplo: crescendos ou glissandos) ou que envolvem heurísticas subjetivas (como é o caso dos descritores de emoções: alegre, triste ou melancólico) podem ser representadas através de estratégias analógicas de notação, incluindo em alguns casos componentes gráficos e em outros casos, componentes verbais. As três abordagens mencionadas no parágrafo precedente – os rascunhos ou esboços criativos, as representações analógicas e os modelos algorítmicos – demandam diversos graus de especificação para sua inclusão nas atividades musicais criativas. Os esboços podem ser utilizados durante a fase de planejamento. Uma estratégia consiste em deixar o detalhamento paramétrico para as fases avançadas da atividade (avoid early commitments2 – Green e Blackwell 1998), evitando assim a restrição prematura de domínio3 (Keller et al. 2014). As descrições verbais informais e os esboços ou rascunhos são estratégias que não exigem a formalização rigorosa ou a especificação detalhada (requisitos típicos dos procedimentos algorítmicos e da notação simbólica). Resumindo, a notação verbal tem uma longa tradição de uso na prática musical experimental. Ao empregar o texto ou a fala como meio para codificar suas intenções, alguns compositores conseguiram atrair participantes leigos para o fazer artístico colaborativo. Como uma das modalidades de aplicação de estratégias semânticas dentro das práticas musicais ubíquas, a notação verbal tem potencial de uso em diversas fases do ciclo criativo. Porém, dependendo do contexto de utilização faz-se necessário o desenvolvimento de critérios de escolha do tipo de materiais e do tipo de suporte para o processo de tomada de decisões estéticas. Nas duas seções seguintes abordamos primeiro o suporte às decisões criativas e depois discutimos aspectos relacionados à escolha dos materiais sonoros. 1.2. Metáforas para a ação criativa Para viabilizar o suporte às decisões estéticas no contexto de atividades musicais ubíquas, Keller et 119 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) al. (2010) sugeriram a ancoragem como um processo cognitivo subjacente às metáforas para a ação criativa. Segundo Hutchins (2005), os processos mentais empregam representações materiais como formas de limitar o número de escolhas estéticas. Com o intuito de atingir a estabilidade nas operações conceituais, os modelos culturais utilizam uma combinação de processos intra e interpessoais. Esses modelos baseiam-se na interação social como estratégia de compartilhamento dentro do âmbito de comunidades de prática (Wenger 2010). O outro mecanismo empregado para estabilizar os sistemas conceptuais é a associação da tomada de decisões com estruturas materiais. Esse processo é chamado de embasamento conceitual ou ancoragem. As âncoras materiais são estabelecidas quando as propriedades materiais servem como pontos de referência espacial ou temporal. Durante a manipulação de conceitos no domínio cognitivo, os objetos materiais podem ser usados para estabelecer referências externas. Desta feita, as propriedades materiais fornecem balizadores para o processo de ancoragem. Hutchins define a âncora material como o elemento a partir do qual a estrutura material é projetada sobre uma operação conceitual. As âncoras materiais podem ser utilizadas na individuação – quando um elemento é diferenciado dos outros – e nos processos cognitivos mais complexos que abrangem múltiplos conceitos. A eficácia da manipulação conceitual é assegurada através do estabelecimento de restrições nas operações cognitivas. Com esse objetivo, a ancoragem incorpora as limitações da estrutura externa do ambiente. A estabilidade de alguns modelos conceituais é assegurada pela sua simplicidade. No entanto, ao lidar com relações complexas – por exemplo, durante as experiências estéticas – essa estabilidade é fragilizada. Uma estratégia que aumenta a persistência dos modelos conceituais é fornecida pelo compartilhamento cultural das construções mentais, através de convenções sociais preexistentes. Hutchins (2005) sugere que esse tipo de modelo conceitual tem base no contexto cultural. Essa proposta abre um leque de perspectivas sobre os processos de transferência de conhecimentos e suas especificidades quanto ao domínio de aplicação e quanto à sua relação com os aspectos semânticos. Por exemplo, qual é o impacto da modalidade perceptual utilizada (via suporte tátil, visual, sonoro, gustativo ou olfativo)? Experiências recentes indicam potenciais cruzamentos entre modalidades que podem auxiliar ou atrapalhar os processos de transferência de conhecimentos, especialmente quando o alvo da atividade abrange entidades complexas (como o timbre). Resumindo, os dois recursos disponíveis para facilitar as operações cognitivas são os modelos conceituais compartilhados socialmente e a associação entre as estruturas materiais e as estruturas conceituais. Acreditamos que para aumentar sua efetividade, esses mecanismos podem ser ampliados através da introdução de associações semânticas. As descrições verbais dos sons cotidianos servem como estudo de caso. As renderizações instrumentais dos modelos sonoros cotidianos estão limitadas pelas representações simbólicas das ações instrumentais e pela interpretação subjetiva do músicointérprete. Por si só esses recursos são incapazes de estabelecer uma base firme para as representações dos sons cotidianos. Quando as representações das experiências sonoras cotidianas são contextualizadas com explicações verbais, o potencial criativo dos recursos sonoros pode ser 120 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) expandido sem perder as referências aos recursos locais. Dado esse conjunto de pressupostos, Keller e Feichas (2018) propõem o rótulo de ancoragem semântica criativa como conceito de design que abrange tanto o suporte das práticas criativas quanto das estratégias de performance situada, empregando descrições verbais como mecanismos de vínculo entre o apoio material e o processo de tomada de decisões estéticas. Portanto, a ancoragem semântica criativa visa incorporar os mecanismos linguísticos compartilhados no tecido social e as pistas cognitivas disponíveis nos recursos materiais. Na seção anterior situamos a discussão da metáfora para a ação criativa ASC dentro do contexto das estratégias semânticas para apoio a criatividade musical. Nesta seção fornecemos o alicerce teórico de ASC dentro do campo das práticas cognitivos-ecológicas, como aplicação do conceito de ancoragem. A seguir, abordamos a questão da escolha dos materiais sonoros, dando destaque para a emulação instrumental dos sons cotidianos. Esse é o foco do estudo experimental apresentado na terceira parte deste trabalho. 2. Emulações instrumentais de sons cotidianos Exemplos de emulação instrumental de sons cotidianos são fornecidos por Feichas et al. (2012) e Feichas (2015). Flausino Valle (1894-1954) desenvolveu em suas obras um estilo de música descritiva, explorando a combinação de técnicas da literatura tradicional do violino para imitar sons de animais e de objetos. Sobre Valle, Feichas et al. (2012) relatam: Flausino Rodrigues Valle (1894-1954), natural de Barbacena, Minas Gerais, foi violinista de orquestra de cinema mudo (Cine ODEON) no início do século XX na capital mineira. Paralelo à atividade de violinista foi compositor arranjador, escritor, poeta, professor, advogado e folclorista do Conservatório mineiro de Música (...) Como professor catedrático e folclorista do Conservatório Mineiro de Música, Flausino Valle se destacou na escrita de dois livros: Elementos de Folclore Musical Brasileiro e Músicos Mineiros. Como compositor, escreveu para diversas formações como coro misto a quatro vozes, piano e flauta, piano e canto, piano e violino. Sua principal obra, no entanto, são os Prelúdios para violino solo, intitulado 26 Prelúdios Característicos e Concertantes para violino Só. A pesquisa sobre o conjunto de 26 Prelúdios Característicos e Concertantes para Violino Só mostrou que uma explicação sucinta sobre as intenções do compositor e uma descrição dos meios utilizados para reproduzir sons ambientais no violino – antes da performance – pode dar melhores ferramentas à audiência, para interagir com os múltiplos significados do material musical. Diante da necessidade de contextualização específica e de embasamento técnico, Feichas (2015) propôs a utilização de Fichas Interpretativas. As fichas são produto de uma necessidade prática, fornecendo informação rápida para o intérprete com o objectivo de conduzir e elucidar aspectos idiomáticos do trabalho, desde uma abordagem de performance contextualizada e situada. Os resultados indicam que a contextualização 121 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) verbal das referências sonoras nas anotações do Valle ajuda a afunilar as estratégias interpretativas voltadas para os significados fundamentados em referenciais concretos.4 Essa estratégia é consistente com as práticas composicionais desenvolvidas por Keller (2000), Burtner (2005), Nance (2007), Basanta (2010) e Connors (2015). Keller e Feichas (2018) sugerem que a descrição verbal dos sons cotidianos pode estabelecer uma ponte entre a performance e as experiências prévias do material sonoro por parte dos ouvintes. Se por um lado a transcrição instrumental de sons cotidianos impõe um distanciamento entre a fonte e a renderização instrumental (abstrata) do modelo sonoro, por outro lado, as descrições verbais ajudam a fechar a lacuna entre a experiência sonora direta e a experiência mediada pelo instrumento. As representações dos sons cotidianos podem impulsionar múltiplas interpretações. A função do artista consiste em explorar o espaço entre a autoexpressão e o potencial criativo e comunicacional do modelo sonoro (ver Barreiro e Keller (2010) para outras aplicações dos materiais sonoros cotidianos). A partir dessa perspectiva, não há interpretação “certa”.5 A notação fornecida por Valle pode ser utilizada livremente. Porém, numa visão orientada para a performance situada, torna-se necessário estabelecer um quadro de referência que fundamente as escolhas estéticas. O processo de ancoragem pode ajudar a esclarecer os mecanismos envolvidos nessa atividade (ver seção anterior). A partir dessa perspectiva, Keller e Feichas (2018) situam o uso das fichas interpretativas como estratégia de suporte ao conceito de ancoragem semântica criativa. Resumindo, tomando como base o trabalho desenvolvido por Keller e Feichas (2018) situamos a proposta ASC dentro do contexto das práticas cognitivo-ecológicas e apontamos para o uso de estratégias semânticas embasadas no conceito de ancoragem. Indicamos o potencial de aplicação em atividades de performance e criação utilizando sons instrumentais via emulação de eventos cotidianos. Ao estabelecer esse quadro teórico, apontamos para a necessidade do estudo empírico da relação entre os aspectos semânticos e os materiais sonoros emulados. Com esse intuito, apresentamos a seguir um estudo de caso que explora parte do potencial da proposta ASC, sem descuidar os indícios das limitações na sua aplicação. 3. Estudo exploratório: aferição de emulações instrumentais No presente estudo exploratório selecionamos um grupo de descritores, abrangendo aspectos subjetivos e aspectos técnicos dos materiais sonoros, e convidamos voluntários para aferir um grupo de amostras sonoras obtidas a partir de emulações instrumentais. Por um lado, testamos a aplicabilidade dos procedimentos propostos no problema de identificar elementos mínimos para as descrições semânticas dos eventos sonoros. Por outro lado, procuramos obter um quadro quantitativo da relevância dos descritores para o grupo de sujeitos focados neste estudo (abrangendo adultos, estudantes universitários com conhecimento musical). Apresentamos os dados utilizando três indicadores: a média ± o desvio padrão e a moda dos fatores avaliados. É importante destacar que os procedimentos visam uma abordagem centrada nos fatores criativos potencialmente relevantes para o grupo-alvo. 122 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) 3.1. Amostras sonoras Escolhemos sete transcrições de sons biofônicos de excertos extraídos dos 26 prelúdios para violino de Flausino Valle.6 As gravações foram realizadas com o gravador portátil ZOOM H1, utilizando o microfone estéreo incorporado ao dispositivo. Durante as sessões foram explorados os limites de variabilidade da interpretação. Após a coleta e edição de múltiplas versões dos fragmentos, selecionamos sete amostras para serem utilizadas nas sessões de aferição, aplicando critérios de consistência entre a notação e a interpretação e o julgamento estético dos experimentadores. A tabela 1 fornece a lista das amostras (com durações de 9 ± 4,6 segundos). Tabela 1. Descrição das amostras produzidas. Violinista: Leonardo Feichas. Formato: PCM, 44,1 kHz, 16 bits, estéreo. CÓDIGO ARQUIVO VLF001 VLF002 VLF003 VLF004 VLF005 VLF006 VLF007 TÍTULO Prelúdio 1 - Batuque - Viola Caipira 2 Prelúdio 5 - Tico-Tico Prelúdio 12 - Pai João - Fogos de Artifícios Prelúdio 18 - Pai João - Imitando o Tambor Prelúdio 18 - Pai João - Melodia com Batuque Prelúdio 16 - Requiescat in Pace - Badalar dos Sinos Prelúdio 14 - A Porteira da Fazenda TAMANHO DURAÇÃO 1,02 MB 970 KB 786 KB 2,44 MB 2,22 MB 512 KB 1,54 MB 00:00:07 00:00:10 00:00:05 00:00:16 00:00:12 00:00:05 00:00:08 3.2. Perfil dos sujeitos O experimento incluiu 58 participantes - abrangendo estudantes de nível superior e funcionários vinculados à Universidade Federal do Acre. A primeira e a terceira sessão foram realizadas com alunos da turma de Teoria e Percepção III. A segunda e a quarta sessão tiveram a participação de membros da turma de Estágio Supervisionado III. Na quinta sessão participaram discentes da turma de Investigação a Práticas Pedagógicas em Música II. Todos os participantes são adultos (Idade: 31,6 ± 10,6 anos). A maioria cursa ou já concluiu o ensino superior. Todos residem em Rio Branco, Acre. 74% são homens e 26% mulheres. O perfil do estudo musical - abrangendo aulas individuais ou treinamento em instituições de música - é variado. 1,7% dos participantes são considerados leigos, já que não concluíram 2 anos de estudos formais (Estudo musical: 5,2 ± 3,6 anos) (tabela 2). Tabela 2. Perfil dos sujeitos (média ± desvio padrão em anos). N 58 Mulheres 15 Homens 43 Idade 31,6 ± 10,6 Estudo Musical 5,2 ± 3,6 3.3. Local das sessões Foram utilizadas salas de aula para turmas entre 30 e 40 alunos, equipadas com projetor de vídeo e sistema de áudio estéreo para a reprodução do material sonoro. 3.4. Procedimentos Considerando os aspectos metodológicos apontados previamente, dando ênfase para a relação entre 123 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) os materiais e o perfil dos participantes na atividade criativa, desenvolvemos um protocolo de aferição que nos permite extrair dados vinculados aos dois aspectos destacados previamente: as características do potencial criativo dos materiais sonoros e seu vínculo com o perfil do grupo-alvo. Os procedimentos abrangem a qualificação do produto e a qualificação da descrição do produto pelos sujeitos. Neste relato incluímos somente as aferições dos fatores criativos correspondentes aos produtos sonoros7. Foram realizadas ao todo 406 aferições. Utilizamos os formulários ISE-NAP para a coleta de informações dos participantes da pesquisa e o formulário CrePP-NAP versão 0,5 (Keller et al. 2011) para a coleta das qualificações das amostras sonoras, incluindo as descrições dos produtos. A atividade é dividida em duas partes. Na primeira parte os sujeitos preenchem o formulário ISE-NAP. Após escutar o excerto escolhido, eles respondem ao formulário CrePP-NAP. Na segunda parte, os sujeitos realizam a qualificação do produto, via CrePP-NAP, com dez fatores de aferição (ou descritores) do perfil do produto. Cada um dos fatores é avaliado utilizando uma escala Likert de 5 valores (concordo totalmente = 2, concordo parcialmente = 1, neutro = 0, discordo parcialmente = -1 e discordo totalmente = -2). Os resultados obtidos são analisados por meio de estatística descritiva, incluindo a média, o desvio padrão e a moda das respostas dos sujeitos. 3.5.Resultados Foram obtidas aferições do produto VLF001 – excerto retirado do Prelúdio 1 – Batuque (Viola Caipira 2). A qualificação do produto VLF001 aponta a média mais alta e com o menor desvio padrão nas respostas referentes à originalidade do produto (0,9 ± 0,3). Familiaridade, relevância, interesse e simplicidade também tiveram resultados positivos. A média mais baixa – com variação alta – foi na expressividade do produto (0,3 ± 1,1). O produto VLF002 – excerto retirado do Prelúdio 5, Tico-Tico – teve a média mais alta com o menor desvio padrão no item referente à familiaridade com o produto (0,7 ± 0,6). A média mais baixa, com uma variação alta, corresponde à expressividade do produto (0,9 ± 1,3). No entanto, praticamente todos os resultados mostram alta variabilidade entre os sujeitos. A aferição do produto VLF003, excerto retirado do Prelúdio 12 – Pai João, Fogos de Artifícios – mostra uma média alta e com o menor desvio de padrão nas respostas referentes ao descritor agradável (1,9 ± 0,3). A originalidade e a familiaridade também foram avaliadas positivamente. A média mais baixa, com uma variação alta, correspondeu à expressividade (0,1 ± 1,2). O produto VLF004 – excerto retirado do Prelúdio 18 – Pai João, Imitando o Tambor, aponta a média mais alta na resposta referente ao descritor agradável (1,4 ± 1,1). Originalidade, relevância e familiaridade também tiveram escores positivos. Novamente, a média mais baixa com uma variação alta foi na expressividade (0,1 ± 1,2). O produto VLF005 – excerto retirado do Prelúdio 18 – Pai João, Melodia com Batuque – teve a média mais alta e com o menor desvio padrão na resposta dos sujeitos referente ao descritor agradável (1,6 ± 0,5). Os descritores interessante, original e bem-feito também tiveram escores positivos. Neste caso, a 124 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) média mais baixa, com uma variação alta foi no fator simplicidade do produto (0,5 ± 0,7). Foram obtidas aferições do produto VLF006 – excerto retirado do Prelúdio 16 – Requiescat in Pace, Badalar dos Sinos. Os resultados apontam médias altas nos descritores completo, agradável e inspirador (entre 1,3 e 1,4). No entanto, a variabilidade desses resultados também é muito alta indicando que não houve consistência entre as respostas dos sujeitos (desvio padrão entre 0,9 e 1,0). Os escores mais altos correspondem à familiaridade e à originalidade do produto. A média mais baixa corresponde ao descritor simplicidade (0,5 ± 0,7). Os resultados referentes ao produto VLF007 – excerto retirado do Prelúdio 14, A Porteira da Fazenda – mostram as médias mais altas e com menor desvio padrão nos itens originalidade (0,8 ± 0,5) e familiaridade do produto (0,7 ± 0,5). A média mais baixa, com uma variação alta, corresponde à expressividade (0,0 ± 1,4). Tabela 3: Média, desvio padrão e moda dos sete produtos sonoros avaliados (N = 58). Os resultados em destaque estão indicados em negrito. VLF001 Bem feito Original Expressivo Relaxante Agradável Interessante Inspirador Simples Completo Familiar Média DP Moda Máximo Mínimo VLF002 Media DP Moda Máximo Mínimo VLF003 Media DP Moda 0,7 0,5 1 1 -1 0,9 0,3 1 1 0 0,3 1,1 1 2 -2 0,8 1,0 1 2 -1 1,1 1,0 2 2 -1 0,7 0,5 1 1 -1 0,9 1,1 1 2 -2 0,7 0,5 1 1 -1 0,7 1,3 2 2 -2 0,8 0,5 1 1 -1 0,4 0,6 1 1 -1 0,6 0,7 1 1 -1 -0,9 1,3 -2 1 -2 0,3 1,3 0 2 -2 -0,2 1,3 0 2 -2 0,5 0,6 1 1 -1 -0,6 1,4 -2 2 -2 0,2 0,6 0 1 -1 0,0 1,5 1 2 -2 0,7 0,6 1 1 -1 0,5 0,5 0 0,9 0,3 1 0,1 1,2 1 1,3 0,8 2 1,9 0,3 2 0,4 0,8 1 0,9 1,3 2 0,1 0,9 1 1,5 0,9 2 0,8 0,6 1 Máximo Mínimo VLF004 Media DP. Moda Máximo Mínimo VLF005 Media DP Moda Máximo Mínimo VLF006 Media DP Moda Máximo Mínimo VLF007 Média DP Moda Máximo Mínimo 1 0 1 0 2 -2 2 0 2 -1 1 -1 2 -2 1 -1 2 -1 1 -1 0,7 0,5 1 1 0 0,9 0,5 1 1 -1 0,1 1,2 0 1 -2 1,2 0,9 2 2 -1 1,4 1,1 2 2 -2 0,5 0,7 1 1 -1 0,5 1,2 1 2 -2 0,1 0,7 0 1 -1 1,3 1,1 2 2 -2 0,8 0,6 1 1 -1 0,7 0,5 1 1 -1 0,9 0,4 1 1 -1 1,3 1,0 2 1 -2 1,1 0,9 2 2 -1 1,6 0,5 2 2 1 0,9 0,3 1 1 0 1,5 0,8 2 2 -1 0,5 0,7 1 1 -1 1,3 1,1 2 2 -2 0,6 0,6 1 1 -1 0,7 0,6 1 1 -1 0,9 0,3 1 1 0 0,9 1,2 2 1 -2 1,2 1,2 2 2 -2 1,3 1,0 2 2 -2 0,7 0,6 1 1 -1 1,3 1,0 2 2 -1 0,5 0,7 1 1 -1 1,4 0,9 2 2 -1 0,8 0,5 1 1 -1 0,6 0,7 1 1 -1 0,8 0,5 1 1 -1 0 1,4 0 1 -1 1,0 1,3 2 2 -2 1,1 1,2 2 2 -2 0,3 0,8 1 1 -1 0,1 0,6 2 2 -2 0,2 0,8 1 1 -1 1,0 1,2 2 2 -2 0,7 0,5 1 1 -1 125 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) 4. Conclusões 4.1. Discussão dos resultados O conjunto de resultados para as sete amostras de emulações utilizadas neste estudo dá destaque para dois fatores: a originalidade do produto e a familiaridade dos sujeitos com as características do material sonoro. Outros fatores relevantes para parte das amostras utilizadas incluem os descritores agradável, vinculado a aspectos fortemente subjetivos, e bem feito, que corresponde à aferição dos aspectos técnicos do produto. Tendo em vista os escores nesse grupo de fatores, cabe tecer algumas considerações sobre as limitações observadas nos descritores semânticos utilizados no processo de aferição. O problema maior apontado pelos resultados é a variabilidade das pontuações obtidas com os outros seis descritores (expressivo, relaxante, interessante, inspirador, simples e completo). Essa variabilidade é esperada em descritores vinculados ao perfil individual dos sujeitos. Por exemplo, o que é expressivo para um avaliador pode ser considerado sem expressão por outro avaliador dependendo da vivência sonora prévia e da predisposição do indivíduo. No entanto, no caso dos descritores vinculados às características dos materiais sonoros – como simplicidade ou completitude – caberia esperar um alinhamento entre as respostas. Esse não foi o caso, o que põe em discussão a aplicabilidade do uso de descritores semânticos para fins quantitativos e de classificação das informações musicais8. Cabe salientar que uma das lições dos estudos linguísticos iniciados no século passado por Saussure (2006), é a relação arbitrária e convencional entre significado e significante9. Em outras palavras, não há certezas absolutas sobre uma correspondência compartilhada entre certos descritores e certos conceitos, e isso explica em parte a falta de correspondência entre as respostas. Outro aspecto a ser considerado é o tipo de material sonoro utilizado. Desde os estudos pioneiros de Ballas (1993) com sons cotidianos, reconhece-se a importância da familiaridade com as fontes nos processos perceptuais, com potencial impacto nas escolhas criativas subsequentes. Entende-se que participantes com traços sociais comuns têm históricos de experiências sonoras similares nos seus contextos cotidianos. No entanto, pela sua característica dinâmica, a experiência sonora cotidiana é específica para cada indivíduo e se renova de forma permanente. Por esse motivo, é compreensível que a utilização de sons cotidianos aumente a variabilidade do processo de aferição. Porém, como já foi colocado no contexto da discussão sobre ancoragem, a utilização de sistemas de referências locais fomenta a implementação de mecanismos de apoio compartilhados socialmente (ver seção Ancoragem Semântica Criativa). Desta feita, é possível que apesar da variabilidade na aferição dos fatores criativos, a partir de um processo de estabilização mútua a ação criativa permita convergir em estratégias compartilhadas de uso dos materiais sonoros. Se essa descrição dos processos criativos for correta, o estudo das atividades criativas indicaria um afunilamento progressivo no uso dos recursos sonoros. Sons in natura, ou eventos cotidianos fora do contexto das atividades musicais, forneceriam um potencial alto de aplicação numa diversidade de 126 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) domínios. Portanto, eles serão avaliados de forma muito diversa. Sons sampleados, ou eventos cotidianos delimitados via processos de captação e via descrições semânticas, teriam um potencial mais baixo de aplicação. Porém, neste caso, o conhecimento do contexto serviria para atingir resultados criativos com maior facilidade. Já nos estágios avançados do ciclo criativo, as emulações instrumentais de sons cotidianos teriam um uso ainda mais restrito – fortemente vinculado à manifestação da criatividade musical profissional – e forneceriam um contexto de aplicação limitado aos códigos da prática performática instrumental. 4.2. Limitações do estudo Dentro do contexto da relação entre os materiais sonoros e o potencial de utilização dos mesmos por parte dos agentes criativos, o caráter exploratório deste estudo – focado na aferição passiva dos materiais musicais – abre questionamentos quanto à sua relação com a prática criativa. O estágio seguinte da presente pesquisa consiste na aplicação dos materiais em atividades criativas – com viés performático ou composicional. Acreditamos que nesse contexto é possível testar a efetividade das estratégias de transferência de conhecimento musical, baseadas nos fatores identificados pelos participantes deste estudo: em primeiro plano a familiaridade e a originalidade, e em segundo plano a qualidade técnica ou a relevância do material desde a perspectiva específica dos sujeitos participantes da atividade. O conteúdo semântico do presente estudo foi introduzido através dos signos linguísticos usados para avaliar os fragmentos escutados pelos participantes. O potencial das indicações verbais de Flausino Valle e das fichas interpretativas (Feichas 2015) pode não ter sido aproveitado integralmente. A nossa hipótese, em vista de estudos futuros, é que o confronto com as indicações verbais de Valle no contexto da prática criativa possa influenciar a avaliação dos fragmentos por parte dos participantes (cf. Discussão dos resultados). Finalmente, acreditamos que o caráter exploratório e preliminar deste estudo, com conclusões provisórias em relação à aplicabilidade nas atividades criativas e nas técnicas performáticas estendidas, não invalida a proposta metodológica. Ao contrário, observamos que existe um forte potencial de aplicação da ancoragem semântica criativa no contexto de pesquisas analíticas e na esfera das atividades artísticas. Os resultados dão destaque para a necessidade de um embasamento empírico firme antes da ampliar a quantidade de recursos semânticos disponibilizados nos estágios iniciais do ciclo criativo. É possível que a aplicação livre de descritores como forma de controle paramétrico encontre limitações sérias se não estiver atrelada à familiaridade dos recursos utilizados (cf. Seetharaman e Pardo 2016; Stables et al. 2016 para exemplos do uso livre de descritores semânticos). 4.3. Desenvolvimentos futuros A ancoragem semântica criativa pode ser útil no campo das práticas criativas e na performance situada, complementando o uso de descritores semânticos. Tendo em vista a proliferação de formatos dinâmicos de notação10 – desde as técnicas de geração algorítmica de sistemas de notação visual 127 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) (Fober et al. 2014; Healey et al. 2005) até a adoção de partituras sonoras como forma de compartilhamento do conhecimento musical (Nance 2007) - identificamos uma lacuna no suporte das práticas instrumentais que adotam os sons cotidianos como recursos sonoros. É necessário considerar o nível de familiaridade dos participantes da atividade criativa com o tipo de recursos sonoros disponíveis durante o ciclo criativo. Além desse requisito, é importante atentar para o afunilamento do potencial criativo dos recursos - desde os sons cotidianos in natura, os eventos delimitados por processos de captação sonora, até as emulações instrumentais dos sons ambientais. A principal hipótese teórica lançada neste trabalho é que a diversidade de aplicações criativas seria inversamente proporcional à especificidade do recurso sonoro: eventos do ambiente caracterizados como sons achados [found sound] teriam um potencial de uso mais amplo do que as imitações instrumentais dos eventos [emulations]. No entanto, também é necessário considerar a quantidade de investimento criativo necessário para atingir resultados satisfatórios com as diversas classes de recursos. Uma das características dos sons cotidianos é a variação permanente do seu perfil meso-temporal sem perder a identidade da sua classe sonora (Keller e Berger 2001). Nenhum som cotidiano é igual a outro, porém a maioria dos ouvintes pode reconhecer as similaridades dos sons pertencentes a uma mesma classe. Por conta disso, a transcrição literal em notação musical não faz jus à variabilidade das classes sonoras cotidianas. São necessárias estratégias mais flexíveis. Essa lacuna pode ser preenchida por métodos embasados em recursos semânticos, complementando a utilização de representações expandidas como é proposto - citando uma técnica com amplo potencial de aplicação - nas partituras sonoras (Nance 2007). Apesar das possibilidades de uso da ancoragem semântica criativa em contextos diversos, existem ainda desafios para sua aplicação com sons cotidianos. O uso de sons biofônicos como material criativo tem uma longa tradição, amplamente documentada na literatura composicional (cf. Izarra e Keller 2015). O repertório musical escrito inclui diversos casos de emulações instrumentais de sons produzidos por animais, por exemplo. No entanto, os critérios de seleção de parâmetros sonoros e as estratégias utilizadas para dar suporte aos procedimentos de emulação geralmente não estão sustentados em estudos de cunho experimental e portanto só são aplicáveis a casos isolados. Os resultados do presente estudo apontam para a familiaridade com os recursos sonoros como um dos fatores determinantes nas escolhas dos sujeitos. Cabe investigar se essas conclusões também se aplicam às escolhas das representações semânticas e se é possível construir sistemas de organização de recursos e de processos sonoros a partir de módulos semânticos familiares. Esperamos que as propostas e os resultados do presente trabalho ajudem no avanço da pesquisa musical com sons cotidianos, dando um maior alicerce para a utilização de estratégias semânticas nas práticas criativas. 5. Notas 1. Parte dos resultados obtidos no projeto relatado neste artigo foram apresentados no Simpósio Internacional de Música na Amazônia (SIMA 2017), realizado na cidade de Macapá, AP. 2. Evite as decisões prematuras. 128 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) 3. Lima et al. (2012) definem a restrição prematura de domínio como a adoção de procedimentos que limitam as escolhas criativas antes de atingir o conhecimento necessário dos recursos disponíveis. Esse conceito pode ser também vinculado à produção de resíduos criativos (creative waste) que pode ter impactos diversos na conceituação da sustentabilidade criativa (Ferraz e Keller 2014; Pereira et al. 2018). 4. Por sinal, a incrível similaridade entre o minucioso trabalho de Valle e a estética da “música concreta instrumental” formulada várias décadas depois pelo compositor alemão Helmut Lachenmann, está sendo analisada de forma crítica por Messina et al. (2019; 2020). 5. Além do foco do presente projeto, é interessante apontar as implicações para o campo da performance situada. O enfoque aqui proposto tem o mesmo perfil epistemológico que a análise por modelagem (Keller e Ferneyhough 2004; Coelho de Souza e Santos da Costa 2019). Propõe-se um método aberto com fins criativos, em lugar de um sistema rígido baseado em hierarquias estabelecidas a priori. 6. A característica imitativa e evocativa foi o critério de escolha dos excertos por Leonardo Feichas. Algumas dessas imitações são explicadas detalhadamente por Valle no seu Catálogo de Imitações de Vozes da Natureza. 7. Os procedimentos utilizados neste estudo foram aplicados em projetos diversos, formando um corpo de dados que permite comparações para fins de validação mais ampla. 8. Aqui é importante salientar que uma das perspectivas atuais onde há mais investimentos em pesquisa tecnológico-musical é a recuperação de dados musicais ou Music Information Retrieval (MIR). Esse campo enfatiza o uso de ferramentas semânticas como interface para os produtos sonoros. 9. As implicações das propostas linguísticas dentro do campo das práticas criativas musicais vão além do escopo do presente artigo, veja-se (Keller e Capasso 2000; Messina, 2013; Monelle, 2000; Stoianova, 1987) para discussões críticas dessas perspectivas. 10. Recentemente surgiram eventos acadêmicos específicos voltados para a notação musical embasada em recursos tecnológicos, por exemplo, TENOR. 6. Referências Audacity (2016). Editor de áudio. http://www.audacityteam.org/. Ballas, J. A. (1993). Common factors in the identification of an assortment of brief everyday sounds. Journal of Experimental Psychology: Human Perception and Performance 19, 250-267. Barreiro, D. L. & Keller, D. (2010). Composição com modelos sonoros: Fundamentos e aplicações eletroacústicas. In D. Keller & R. Budasz (eds.), Criação musical e tecnologias: Teoria e prática interdisciplinar (pp. 97-126). Goiânia, GO: Editora ANPPOM. Basanta, A. (2010). Syntax as sign: The use of ecological models within a semiotic approach to electroacoustic composition. Organised Sound 15(2), 125-132. (Doi: 10.1017/S1355771810000117.) Boden, M. A. (2003). The Creative Mind: Myths and Mechanisms. New York, NY: Routledge. (ISBN: 9780415314527.) Bergstroem-Nielsen, C. (2012). Words as music notation. Aalborg, Denmark: Aalborg University. http://www20.brinkster.com/improarchive/cbn_legno2.htm. Burtner, M. (2005). Ecoacoustic and shamanic technologies for multimedia composition and performance. Organised Sound 10(1), 3-19. (Doi: 10.1017/S1355771805000622.) Buxton, W. (2007). Sketching User Experiences: Getting the Design Right and the Right Design. New York, NY: Elsevier and Morgan Kaufmann. (ISBN: 9780123740373.) Capasso, A., Keller, D. & Tinajero, T. (2000-2020). Coletivo Capasso+Keller+Tinajero. http://www.capassokellertinajero.com/. Coelho de Souza, R. N. & Santos da Costa, G. H. (2019). A Modelagem Digital do Timbre da Viola Caipira como Fundamento para a Composição de Bestiário III. Orfeu. (Doi: 129 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) 10.5965/2525530404012019166.) Connors, T. M. (2015). Audiovisual installation as ecological performativity. In Proceedings of the Create World Conference. Brisbane, Australia: Griffith University. Farias, F. M., Keller, D., Pinheiro Da Silva, F., Soares Pimenta, M., Lazzarini, V., Lima, M. H. & Costalonga, M. J. (2014). Suporte para a criatividade musical cotidiana: mixDroid segunda geração. In D. Keller, M. H. Lima, & F. Schiavoni (eds.), Anais do V Workshop em Música Ubíqua. Vitória, ES: Ubiquitous Music Group. Farias, F. M., Keller, D., Lazzarini, V. & Lima, M. H. (2015). Bringing aesthetic interaction into creativitycentered design: The second generation of mixDroid prototypes. Journal of Cases on Information Technology (17), 53-72. (Doi: 10.4018/JCIT.2015100104.) Feichas, L. V. (2015). The Program Music in Valle’s 26 Characteristic and Concert Preludes for Violin Alone: The Performer-Audience Relation on Stage. European Society for Cognitive Sciences of Music (ESCOM), 9, 2015. Manchester, 2015, p. 64. Feichas, L. V., Keller, D., Silva, C. E., Silva, M. H. (2017). Sons biofônicos e criação musical: Estudo exploratório dos fatores criativos utilizando emulações instrumentais de sons cotidianos. In Anais do VI Simpósio Internacional de Música na Amazônia (SIMA 2017) (pp. 363-374), Macapá, Brazil: UEAP. Feichas, L. V., Ostergren, E. & Tokeshi, E. (2012). As Fichas Interpretativas na obra de Flausino Valle: a construção de uma interpretação musical. Anais da Associação Nacional de Pesquisa e Pós Graduação em Música (ANPPOM), 22 (pp. 1048-1055), João Pessoa. Ferraz, S. & Keller, D. (2014). MDF: Proposta preliminar do modelo dentro-fora de criação coletiva. Cadernos de Informática 8(2), 57-67. Ferreira, E., Keller, D. & Lima, M. H. (2016). Sonic sketches in ubiquitous music: Educational perspectives (Esboços sonoros em música ubíqua: Perspectivas educacionais). Sonic Ideas 8(15), 12. http://www.sonicideas.org/mag.php?vol=8&num=15&secc=nuevasacademias. Friedman, K., Smith, O. F. & Sawchyn, L. (2002). The fluxus performance workbook, Vol. Performance Research 7 (No. 3: 'On Fluxus'). Swinburne University of Technology, Melbourne, Australia: Performance Research e-Publications. Green, T. & Blackwell, A. (1998). Cognitive dimensions of information artefacts: A tutorial. http://www.ndirect.co.uk/thomas.green/workstuff/Papers/. Fober, D., Orlarey, Y. & Letz. S. (2014). Representation of musical computer processes. Proceedings of the ICMC / SMC 2014, Athens, Greece, 1604-1609. http://hdl.handle.net/2027/spo.bbp2372.2014.243 Healey, P. G. T., Leach, J., Bryan-kinns, N. (2005). Inter-Play: Understanding group music improvisation as a form of everyday interaction. in Proceedings of less is more - Simple computing in an age of complexity. Cambridge, UK: Microsoft Research Cambridge. Hutchins, E. (2005). Material anchors for conceptual blends. Journal of Pragmatics 37, 1555-1577. Izarra, A.; Keller, D. (2015). La bioacústica y las prácticas creativas musicales (Mesa Redonda). In: Anais do Simpósio Internacional de Música na Amazônia (SIMA 2015) (pp. 530-539). Boa Vista, RR: Editora da UFRR. Keller, D. (2000). Compositional processes from an ecological perspective. Leonardo Music Journal 10, 55-60. (Doi: 10.1162/096112100570459.) Keller, D. (2001). Social and perceptual dynamics in ecologically based composition. Electronic Musicological Review 6. http://www.rem.ufpr.br/_REM/REMv6/Keller/SPD.html. Keller, D., Barreiro, D. L., Queiroz, M. & Pimenta, M. S. (2010). Anchoring in ubiquitous musical activities. In Proceedings of the International Computer Music Conference (pp. 319-326). Ann Arbor, MI: MPublishing, University of Michigan Library. 130 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) Keller, D., & Berger, J. (2001). Everyday sounds: synthesis parameters and perceptual correlates. In Proceedings of the VIII Brazilian Symposium on Computer Music. http://compmus.ime.usp.br/sbcm/2001/papers/rDamin_Keller.pdf Keller, D., & Capasso, A. (2000). Social and perceptual processes in the installation The Trade. Organised Sound 5(2), 85-94. (doi:10.1017/S1355771800002053) Keller, D., & Feichas, L. (2018). Ecocompositional and Performative Strategies for Creative Usage of Everyday Sounds: Creative Semantic Anchoring. Leonardo, 51(2), 195-196. Keller, D., Ferreira, E., Pinheiro da Silva, F., Lima, M. H., Pimenta, M. S., & Lazzarini, V. (2013). Criatividade musical cotidiana: Um estudo exploratório com sons vocais percussivos. In Anais do Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música–ANPPOM. Natal, RN: ANPPOM. Keller, D., Lazzarini, V. & Pimenta, M. S. (2014). Ubiquitous Music. Berlin and Heidelberg: Springer International Publishing. Lima, M. H., Keller, D., Pimenta, M. S., Lazzarini, V. & Miletto, E. M. (2012). Creativity-centred design for ubiquitous musical activities: Two case studies. Journal of Music, Technology and Education 5(2), 195-222. (Doi: 10.1386/jmte.5.2.195_1.) McCormack, J. & D'Inverno, M. (2012). Computers and Creativity. Berlin, Heidelberg: Springer. (ISBN: 978-3-642-31726-2.) Messina, M. (2013). James Dillon’s Crossing Over: An attempt to conduct a morphemic analysis on a musical score. In: M. Zatkalik, D. Collins & M. Medic (eds.). Histories and narratives of music analysis. Cambridge Scholars Publishing, pp. 451 - 487. Messina, M., Feichas, L. V., Ribeiro, L. P. (2019). Musique Concrète Instrumentale and Coloniality of Knowledge: Helmut Lachenmann, Flausino Valle and the Euro-normative Bias of New Music Genealogies. II Congreso MUSAM: En, Desde, y Hacia las Américas. Migraciones Musicales: Comunidades Transnacionales, Historia Oral y Memória Cultural. Madrid: Universidad Complutense de Madrid. Messina, M., Gómez Mejía, C. M., Feichas, L. V., Silva, C. E. & Martins, A. J. S. (2020). Música Experimental, Técnicas Estendidas e Práticas Criativas como Ferramentas Decoloniais: um relato de várias torções e tensões. PROA: revista de antropologia e arte. No prelo. Miletto, E. M., Pimenta, M. S., Bouchet, F., Sansonnet, J-p. & Keller, D. (2011). Principles for music creation by novices in networked music environments. Journal of New Music Research. 40(3), 205216. Monelle, R. (2000). The sense of music: Semiotic essays. Princeton NJ: Princeton University Press. NAP (2003-2019). Núcleo Amazônico de Pesquisa Musical. Rio Branco, AC: UFAC. https://sites.google.com/site/napmusica/, http://dgp.cnpq.br/dgp/espelhogrupo/4273727401001550. Nance, R. W. (2007). Compositional explorations of plastic sound. Doctoral Thesis in Music, De Montfort University, UK. Pereira, V. S., Keller, D., Silva, F. G., Ferreira, E., Silva, S. L. & Bessa, W. R. B. (2016). A notação verbal como alternativa para o desenvolvimento de sistemas musicais ubíquos: Estudo exploratório de interação com código fonte e interfaces gráficas. In Anais do Simpósio Internacional de Música na Amazônia (SIMA 2016). Belém, PA: EMUFPA. Pimenta, M. S., Keller, D., Flores, L. V., Lima, M. H. & Lazzarini, V. (2014). Methods in creativity-centred design for ubiquitous musical activities. In D. Keller, V. Lazzarini & M. S. Pimenta (eds.), Ubiquitous Music (pp. 25-48). Berlin and Heidelberg: Springer International Publishing. (ISBN: 978-3-31911152-0.) Pinheiro da Silva, F., Keller, D., Ferreira, E., Pimenta, M. S. & Lazzarini, V. (2013). Everyday musical creativity: Exploratory study of ubiquitous musical activities (Criatividade musical cotidiana: Estudo exploratório de atividades musicais ubíquas). Música Hodie 13, 64-79. 131 International Journal of Digital Media and Interaction Vol.3, No.5, (2020) Saussure, F. (2006) Curso de Linguística Geral. São Paulo: Cultrix. Silva, C. E., Medeiros, S. F., Messina, M., Keller, D. (2017). Experimentação criativa com Csound: exploração, imitação e criação musical no protótipo mixDroid 2G CS. In Anais do VI Simpósio Internacional de Música na Amazônia (SIMA 2017), Macapá, Brazil. Seetharaman, P. & Pardo, B. (2016). Audealize: Crowdsourced audio production tools. Journal of the Audio Engineering Society 64(9), 683-695. Stables, R., De Man, B., Enderby, S., Reiss, J. D., Fazekas, G. & Wilmering, T. (2016). Semantic description of timbral transformations in music production. In Proceedings of the 2016 ACM on Multimedia Conference (pp. 337-341). New York, NY: ACM. (ISBN: 978-1-4503-3603-1.) Stoianova, I. (1987). Testo-musica-senso. 'Il canto sospeso'. In E. Restagno (ed.), Nono (pp. 126- 141). Turin: EDT. Wenger, E. (2010). Communities of practice and social learning systems: The career of a concept. In C. Blackmore (ed.), Social Learning Systems and Communities of Practice (pp. 179-198). Springer London. (ISBN: 978-1-84996-132-5.) 132 International Journal of Digital Media and Interaction Special Issue on Ubiquitous Music, Vol.3, No.5, (2020) On Ecocomposition: An interview with Damián Keller 1 Tate Carson1 Louisiana State University 1 [email protected] Abstract Composer and professor Damián Keller has been researching ecologically grounded sounds, which come out of a study of ecology and the everyday environment, since the late 1980s. His work has dealt with a range of issues, including naive creativity, ubiquitous music making, and ecologically-based granular synthesis. He is interviewed here on topics of ecocomposition, everyday sound, and environmental activism. Keywords: ecocomposition, ubiquitous music, installation, environmental activism 1. Introduction Keller earned a DMA from Stanford University in 2004 and teaches music and computing at the Federal University of Acre (UFAC), Brazil. He is a member and co-founder of the Ubiquitous Music Group (g-ubimus); his research focuses on everyday creativity, software design and ecocomposition within the context of ubiquitous music making. During an interview with Keller via email over the course of two years starting November 2017, we examined themes such as the empowerment of the audience as co-creator and the use of everyday settings as a primary source of sonic materials and creative support. Also covered is the question of how ecologically grounded sounds (Keller and Truax 1998) relate to environmental activism, sonification, and physical modeling. 2. Interview Over the years, you have researched and written music that deals with ecologically grounded sounds. Where does your interest in this music come from? An event from your childhood, or something that developed later in life? My interest in everyday sound dates from my first experiences in music making. The first piece I published on CD was done in 1987 (Damián Keller 1996). It uses recorded sounds with very little processing. It was done with almost no resources: my own four-track portable cassette recorder and a fairly cheap stereo microphone. At that time, I was starting my first experiments in sound synthesis, using a Commodore 64. But it took me almost ten years to adopt computer-based techniques in my creative processes. If I were to select two goals that have shaped my work and others’ in ecologically grounded creative practice, I would pick empowerment of the audience as a co-creator and everyday settings as the main sources of sonic materials and creative support. I think the use of everyday sounds fits well within this context, but I don’t think it is a prerequisite for ecocomposition. Other composers — such as Adam Basanta (2010), Rick Nance, Matthew Burtner (2011) and Agostino Di Scipio (2002) — have given ISSN: 2184-3120 CC 2020 DIGIMEDIA International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) important contributions to ecologically grounded creative practice using acoustic instruments and electronic sounds. It’d be interesting to investigate how the body of work produced within the ecocompositional paradigm relates to a concrete-abstract continuum. This applies both to the materials and the methods. I suppose Agostino’s music tends towards the abstract. Rick’s and Matthew’s works sit somewhere in middle. And my installations and Adam’s artworks are closer to the mundane experience of sound. By the way, note that I use interchangeably the terms ecocomposing, ecocomposition, sonic ecologies and ecologically grounded creative practice. I could argue that the first musical examples of eco-approaches were the works I published on the earsay label in 1998 and 1999. Though I don’t see the point in trying to separate the creative ecological approaches by the names attached by each composer. Some have used ecostructuralism, others ecosystemics, others ecoacoustics and others have adopted sonic ecology. Some of us argue for a neutral and flexible term that could grasp the common methods and objectives of eco-based practices, hence the proposal “ecologically grounded.” Where does the interest in everyday sounds come from? Is it from a Cageian notion of allowing all sounds to have equal musical value? Or from somewhere else? Do you think Cage’s ideas created affordances in music or sound art to address with ecocomposition? I believe your question touches on issues that have gained weight in creative music making over the last twenty years. Despite the historical importance of the New York School, I do not see Cage’s practice as a stepping stone in ecocomposition or more generally in ecologically grounded creative practice. Tracing the intellectual antecedents of musical perspectives is very hard. That’s why I tend to give more value to collective contributions than to individual composers or artists. If forced to individualize, I’d say that Varèse’s concept of organized sound and Satie’s idea of furniture music have more weight than the performance and stage-oriented practices exemplified by Cage’s work. Readings on Satie are good examples of the Cage-centric views of many musicological discussions (to me, Satie is important because of his ideas and his work, not because he was adopted as a flag by other composers). Satie’s proposal of furniture music targets musical processes tailored for everyday settings, not for the stage. The Italian composer Nicola Bernadini said that “musical sound is used nowadays as a vehicle of specific information, with the result that our soundscapes are polluted with sonic interjections of all sorts produced by the most diverse appliances” (Bernardini 2008). This utilitarian usage of sound is exactly the opposite of what Satie envisaged, music that would not demand attention, music that could be incorporated into everyday activities unobtrusively. A computational concept close to this idea is “calm technology”, proposed by Jeremijenko, Weiser and Brown in the early 1990s (1995). Technology is calm when it can enhance experiences without demanding exclusive attention. Ecocompositional projects such as the Urban Corridor , the Green Canopy series (Capasso, A., Keller, D., and Tinajero, P. 2013) or Palafito/Home-on-stilts (Capasso, A., Keller, D., and Tinajero, P. 2012) provide examples of this aesthetic perspective on musical interaction. But my answer only addressed part of your question. Why everyday sounds and not – for instance – acoustic-instrumental sources? Well, I think the choice depends on the theme of the project. Most of the artistic projects I have developed since I had my first contact with the Amazon in 2002 target aspects 134 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) of my experiences here. Vivir sin Después (Keller & Capasso, 2005), Green Canopy (Capasso, Keller & Tinajero, 2013) and Palafito used biophonic sources and location recordings made in the Western Amazon. InMesh (Capasso, Keller & Tinajero, 2014) also used location recordings and added processed voice, though not any voice. The video Clarita features readings by Shuar poet Clarita Sharupi Jua. A recent collaborative work – Atravessamentos – with composer Luzilei Aliel and dancer Valeska Alvim incorporates synthesized orchestral sounds. The piece proposes an unusual context for the dance, the tropical rainforest. Luzilei and I explored this contrast by using a sonic palette that mixes everyday sounds with instrumental sources. So, the sonic result is a continuum, having on one end “realistic” biophonic sources that match the expected forest soundscape and on the other end the sound of unexpectedly large instrumental ensembles. Does the use of ecologically grounded sounds in your work have any relation to environmental activism? Would you like the audience to gain an understanding of humans’ connectedness to nature or are you using those sounds because they are the ones we most naturally perceive? Are you trying to say anything specific about the complexity of nature that you would want the audience to perceive? There have been some criticisms coming from the soundscape community as to my use of the term ecology. Historically, the term adopted to identify art-based environmental activism is “acoustic ecology.” We have used the term ecology as a methodological ground-truth. Ecological validity is widely accepted as the attempt to replicate everyday conditions within the context of experimental procedures. This has nothing to do with activism. While it is true that several ecocomposers are sympathetic with the environmental cause, I do not think that ecologically grounded creative practices necessarily imply political activism. I believe that an artwork may be read as a political statement depending on its topic and on its contextual elements. Most of my production addresses social issues, including the destructive impact of mining, logging and oil extraction on the Amazonian communities and ecosystems. The video-artist Ariadna Capasso, the sculptor Patricia Tinajero and myself have produced a series of installations addressing these topics (Vivir sin después, Green Canopy 1–5, Palafito 1 and 2, and InMesh 1). These pieces invite the audience to walk within the installation space, touching, seeing and listening. We rarely use text, so the individual experience is very different from reading a political statement. The visitors have a shared responsibility to construct a positive aesthetic outcome. During the last few years we have gathered data through targeted questionnaires. While most people give positive feedback — pointing to heightened states of perception and shared community feelings — some get fixed on trivial details, like the sand on the floor or the noise of other participants. From these observations, I’d say that our artworks provide opportunities for reflection. But whether people want to share or engage in political and social issues depends on a variety of factors on which we as creators have no control whatsoever. While replicating everyday sounds in music might not be directly seen as ecological activism do you see any truth to the idea that any art that breaks down the division between humans and nature might be considered a type of activism? I am thinking of the writings and ideas of Gregory 135 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) Bateson and Timothy Morton, who in different ways seek to use art to break down those divisions. Yes, I agree. Unfortunately, defending the survival of all living creatures on earth has become the most radical and most urgent political statement today. This issue has implications on both art and science. Initiatives such as the Intergovernmental Panel on Climate Change are necessary to provide a bridge between scientifically reliable results and reasonable political decisions. Similarly, artistic initiatives that engage with the social and environmental problems motivated by the current political and economic systems serve to push forward a progressive agenda. Do you see your work as related to sonification in any way? I see a similarity between attempts to model real-world phenomena with sound and your ecologically grounded synthesis techniques. Several sonification approaches that appeared from the mid-2000s onward have adapted our ecological modeling work published between 1998 and 2001. Some researchers — such as Stephen Barrass (formerly at Canberra University) — have acknowledged the source and have applied ecologically grounded synthesis to the realm of tactile interaction (Castle, Adcock & Barrass, 2002). Stephen and his team have also given an important contribution to sonification. Another use of sonification in ecologically grounded creative practice is the technique proposed by Tim Opie and Andrew Brown (2011). They used data from environmental sounds to control audio processing. This proposal was further extended by Álvaro Barbosa (Gomes, Barbosa & Penha, 2014) and his group based in Macau. All these techniques are closely related to the ideas laid out in the initial formulations of ecologically grounded synthesis. I hope we eventually get a chance to gather these proposals and develop a conceptual framework that can be applied to the design of digital audio processing tools. I feel they have a good potential for applications in daily settings. In your MFA thesis, “touch’n’go: Ecological Models in Composition,” (Keller, 1999) you mention “generic physical models” as one technique of ecological composition. Did you ever use actual physical modeling as a synthesis technique or only the techniques of physical modeling to inform your granular synthesis parameters? Are they implemented in the granular control functions? I am looking for some clarification on what you meant by physical models. Is this just another term for ecological models? If you do actually use physical modeling to make sounds, how do you see the technique as being related to ecologically based granular synthesis? This is an interesting issue that needs clarification. While working on … soretes de punta, touch´n´go, and other works I did between 1997 and 2000, I was using physical modeling techniques. But I used the term “generic” because in contrast with most work on physical modeling until then, I was not interested in reproducing specific musical instruments. I worked on models of pipes and strings that resembled the sounds of objects rather than the sounds of “instruments.” In 1999, Chris Rolfe and I read a paper by Perry Cook (1997) where he discussed synthesis of percussive sounds. He said (more or less) that granular synthesis was useless for percussive sounds 136 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) because it was computationally too expensive. Chris and I had implemented MacPOD based on Barry Truax’s POD system and had it running on an old Macintosh computer. So, we thought, well granular synthesis is not so expensive and percussive sounds can be done efficiently with granular synthesis. So, to answer your question, yes, some forms of physical modeling are useful for ecologically grounded synthesis. But given the multiple advances on both fronts during the last few years, I’m sure we can do much more now than what Chris and I did back in the 1990s. In your MFA thesis, you explained three examples of ecological models: bouncing, scraping, and breaking. I’m assuming there were more examples that you didn’t have the space to discuss. Which others have you discovered and used? Did you ever find a pattern from nature that you wanted to model but could not create a suitable algorithm to recreate its behavior? Bouncing and breaking were inspired by the pioneer study by Warren and Verbrugge (1984). Bouncing was a good starting point because it was conceptually simple but presented some interesting (unintended) sonic features. That study reported fairly successful results in simulating a few examples for usage in perception studies. Of course, their cutting and pasting technique could not have worked for a large number of samples, but their preliminary results were encouraging. During my presentation at ICMC (Keller & Truax, 1998), I showed several shattered glass synthesis examples. Their overall characteristics were similar, but each example was clearly an individual specimen of a shared class. The results were so convincing that one of the members of the audience stood up and said that I was cheating (!). I was a bit under time pressure while doing the development of the models. I had to code, produce convincing sonic results, produce a CD-length sound work, develop the multimedia elements of the piece and report the whole thing in writing in less than a year. I’m sure more could have been done and as you mentioned several models that I developed ended up not being used or documented. I did a lot of trials and variations on water sounds, such as filling and the impossible sound of emptying a jar! Drops on hard surfaces and drops on liquid. Some of that material made it into … soretes de punta (I recommend Basanta’s 2010 analysis of that piece (2010)). I also played around with multiple variations of sounds of fire. A feature of these models that caught my attention was the possibility of creating conceptual paradoxes. One example is the piece Action to be taken in the event of a fire (one of the modules of touch’n’go). Here I used a model of fire to play a physical model of a string. In a way, it is similar to Nam June Paik’s One for Violin Solo (1962). But since I didn’t have the money to buy a violin and burn it, I did it digitally. After reading the analysis by Basanta I was interested in his notion of ‘hybridization of signs’, combining micro- and meso-level events (a drop of rain or the whole rainstorm). How do you see hybridization of signs manifesting in your work? Do you see it happening in other places than what he mentions? I agree with many proposals Adam has made in his publications and I like his musical output. His analysis of the piece is accurate and rich. Hybridization is a potentially powerful strategy that can be explored in various contexts. I have also used it in the soundtrack for the short film, Drop by Canadian 137 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) filmmaker Luke Carroll (1999). The script is about a guy – possibly a businessman – that runs an errand in a deserted town. For some reason (the script has no dialogues or explanations), the guy is forced to climb over a wall. When he jumps from the wall he falls into a bottomless pit filled with water, entering a dreamlike dimension. This scene was an excellent opportunity to create a huge, slow-motion splash, that turns into a shower of glass splinters. Obviously, this type of event does not happen in real life. But the scene was tailored as fantastic realism, that is, an imaginary situation that becomes feasible if we stretch the boundaries of reality. So, hybridization has been a recurring theme in many of my works. But I am not quite convinced whether Adam’s usage of signs is applicable to ecocomposing. My problem with semiotics-oriented approaches is that signs can be attached to anything. This may be the case when we deal with spoken languages, but are arbitrary relationships possible when we target sonic events? This issue, of course, demands detailed and careful studies. Some composers aligned with the acousmatic tradition argue for arbitrary bonds between sources and sonic results. This is usually enabled by the isolation of sonic units (or musical objects) from their original context. According to them, this procedure is necessary because referential sounds are less amenable to musical usage than abstract sounds. Interestingly, this polemic has spilled over to related fields such as auditory cognition and sonification. I believe this debate may be particularly relevant to ubiquitous music initiatives that target creative outcomes in contexts where it is very hard to be isolated from the local soundscape. In the section of your MFA thesis, “Ecological Echoes,” you state that “the piece requires the active participation of a conscious user.” Can you explain your reasoning for designing a work in this way? Do you feel as though engaging the audience in this way might aid in their realization that they themselves are connected to these ecologically generated sounds? This question relates back to one of the two targets for ecologically grounded creative practice that I mentioned above, the empowerment of the audience as a co-creator. I think this is a separate issue from the materials used in the artwork. There are many examples in the musical literature — even within the soundscape perspective — of works that employ environmental sounds while adopting a fully composer-centric creative process. I see the experimental works of the 1950s as interesting predecessors of an alternative aesthetic stance, particularly in the work of Morton Feldman. Despite writing completely scored instrumental music, some of the late Feldman works let the listener be free to experience sound at her own pace. The combination of a small amount of material, a very slow tempo and a narrow dynamic range, lacking any type of short-term directionality can be compared to some environmental sonic phenomena — such as a dripping faucet, a spinning wheel or the sounds of leaves blown by a soft breeze. Rather than demanding highly focused attention, these phenomena tend to trigger daydreaming, a mental state that has been recently linked to creative outcomes. While I still believe that having a conscious audience helps to achieve a participatory aesthetic experience, now I think that giving a chance to the unconscious processes might also provide a path to collective creative outcomes. The main point is that I am not THE composer of the aesthetic experience. I see myself just as a facilitator of experiences created by the audience, the materials and the settings. 138 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) This is an interesting response that I didn’t expect from someone whose music, at least on touch’n’go cannot be described as static or minimalist, like might be attributed to Feldman or even La Monte Young. I agree that the long timespans and the indeterminacy of not really knowing what would come next allows the audience to experience and “finish” the work. How does this work with music that happens in a more condensed timespan such as your own? I know that since touch’n’go you have done a lot of work with installations, was this issue of time one of the reasons for that? Exactly. I explored other formats, such as multitrack tape, film soundtrack and theater soundtrack. But the installation format seems to provide a nice context for open forms that foster social interaction. In that sense, La Monte Young’s work is a good reference. touch’n’go was an initial exploration on how to deal with form when the materials can be freely combined by the listener or co-creator. When this problem is placed within the context of installation artwork, other dimensions come to the foreground. How are the sonic sources distributed in space? How is density handled? How are the visual events related to the sonic events? This last aspect triggered yet another strand of interesting possibilities when visual expectations are not met by the sonic outcomes. Another avenue to be explored has recently been proposed by Luzilei Aliel. He adapted a concept coined by Heidegger for usage in ecologically grounded improvisatory works, the Gelassenheit (Messina & Aliel, 2019). The basic idea is that rather than targeting deterministic methods to deal with parametric control, musical interaction could embrace factors that are beyond the control of the participants. The difference from previous proposals is that rather than mapping external sources to musical parameters directly, these sources are used for aesthetic decisions that lie at the verge of the performers’ possibilities. You say that “The piece’s structure (or lack of it) is centered on the idea of the forking path (Borges, 1962). In other words, the piece is designed by the listener/reader at the moment he establishes a path through the material of the piece.” Is this non-deterministic method of structuring form related to your studies of ecology? I was thinking about the way that a sound is never the same in nature twice, and that things never interact the same way either, and how this could be shown in the form. That’s a sharp observation. Yes, one of the characteristics of the ecological approach is the emulation of real-world behaviors. One consequence is the avoidance of mechanistic audio-processing techniques such as looping. Another consequence is the adoption of creative procedures that take into account the randomness inherent to decision-making when biological agents are involved. This second aspect has only recently started to emerge within the context of creativity theories. Some researchers take as granted that artistic endeavors are just another form of problem solving. My collaborators and I have argued that in order to solve a problem, first you need to know what you are looking for. How many artistic projects start by defining a target without knowing the materials and their potential for exploration? Arguably, instrumental counterpoint could be taken as an example of a compositional procedure that defines the target beforehand and proceeds to unfold the materials according to preexisting rules. The label for this class of procedures is teleological. We have argued that a more 139 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) common procedure in artistic endeavors involves the exploration of materials and the environment in order to increase the knowledge of the creative possibilities afforded by the agents and the materials. This strategy is labeled exploratory and the activities that do not necessarily yield creative products are called epistemic (Kirsh & Maglio, 1994). My suspicion is that investment in supporting epistemic activities will have deep and long-lasting consequences for musical creativity. Another aspect to highlight from an ecological perspective is the impact of decision-making on the material and the behavioral resources for future activities. In touch’n’go, I used the Borgean metaphor of the forking path because I was interested in providing the audience with the possibility of experiencing (almost) infinite versions of the piece (I say infinite because even if somebody wanted to try all the available versions of touch´n´go, it would be impossible to experience them in one lifetime). Another implication of the participatory approach to creative activity is the shared responsibility on the impact of our actions on the environment. The consequences of our decisions are not obvious because we do not usually measure the quantity of resources consumed and discarded during our creative acts. Should we stop to think about the investment made on each artistic endeavor and whether that endeavor produced a considerable amount of unwanted byproducts? Do the positive outcomes outweigh the social cost? Those are questions that we need to address if we want to fight for an equitable treatment of the arts when compared to the investment on scientific and educational long-term policies. In “Compositional Processes from an Ecological Perspective,” (Keller, 2000) you list four alternatives to atomistic approaches to discussing complex auditory stimuli: experimental aesthetics, acoustic communication, cognitive approaches, and ecological acoustics. Could you mention briefly how each of these has informed your work and how you viewed the perception of sound structure? This is a subtle issue that demands a thorough review of the relevant literature. If I were to pick the two most influential perspectives, I would say ecological cognition and experimental aesthetics have kept their relevance over the years. Again, loose usage of terminology might confuse some readers. Ecological cognition is a branch of ecological psychology, firmly grounded on the experimental scientific methodology. It is not straightforward to translate experimental data and results to creative artistic practice. But I believe it is worth the effort. Particularly in the humanities, the tendency to produce a discourse completely devoid of actual field work and observations has grown enormously during the last few years. I do not say that we musicians need to adopt the scientific method and start dissecting each and every musical phenomena. What I propose is to keep our ears open to the contributions of experimental psychology. What ideas lead you to formalize a concept of ubiquitous music (ubimus), a form based on everyday musical creativity? Ubiquitous music is still a field of study searching for methods, definitions and conceptual boundaries. Everyday musical creativity emerged as one of the important phenomena targeted by ubimus research. It is not the only one. Another emergent issue is lay-musician interaction. A series of experiments carried out by my research group indicated that music making involving professional 140 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) musicians and casual participants is particularly attractive to non-musicians but at the same time it presents difficult methodological challenges. An important motivation for ubimus proposals is the lack of support tailored for untrained participants in creative musical activities. This goal is an extension of ecologically grounded creative practice. Hence ubimus research receives the contributions of the eco-based approaches and fosters advances in the development of support for creative music making. How does the opening up of music to naive musicians relate to the idea of ecologically grounded sound? Does it have something to do with showing people a connection to the natural world through sound? A stronger awareness of our sonic reality increases the potential for meaningful interactions with our ecosystems. Sometimes this is a byproduct of musical training. But more often than not, traditional musical training works against a careful attitude toward our sonic environment. Surprisingly, an experience carried by Helena Lima — one of my permanent collaborators — showed that trained musicians were less aware of the environmental sources and had a huge difficulty when faced with the task of using everyday sounds creatively (Lima et al., 2012). If “naive” participants are better equipped than musicians to deal with everyday sound sources, we just need to provide the necessary support for them to put their creativity to full use. This is the objective of creativity-centered design, one of the methodological strategies of ubimus research. References Basanta, A. (2010). Syntax as sign: The use of ecological models within a semiotic approach to electroacoustic composition. Organised Sound, 15(2), 125-132. Bernardini, N. (2008). Erik Satie’s Musique d’Ameublement, some ninety years later. In Furniture Music / Der Blauer Hase. Venice: Blauer Hase Collective. Retrieved from <http://www.blauerhase.com/index.php/textspubli/furniture-music-/> [Accessed 14 Apr 2020]. Burtner, M. (2011). EcoSono: Adventures in interactive ecoacoustics in the world. Organised Sound, 16(3), 234-244. Capasso, A., Keller, D., & Tinajero, P. (2014). InMesh. Multimedia Installation with video projectors and surround sound. Retrieved from <https://capassokellertinajero.squarespace.com/portfolio#/inmesh> [Accessed 14 Apr 2020]. Capasso, A., Keller, D., & Tinajero, P. (2013). Green Canopy 6.0. Retrieved from <http://www.capassokellertinajero.com/portfolio#/green-canopy> [Accessed 14 Apr 2020]. Capasso, A., Keller, D., & Tinajero, P. (2012). Palafito / Palafita / Home-on-Stilts 2.0. Multimedia installation with two video projections, 1 LCD screen, surround sound, 1 directional speaker and found wood. Retrieved from <http://www.capassokellertinajero.com/portfolio#/palafitos> [Accessed 14 Apr 2020]. Carroll, L. (1999). Drop. 35-mm Short Film. Vancouver, BC: Drop Productions. Castle, G., Adcock, M., & Barrass, S. (2002). Integrated modal and granular synthesis of haptic tapping and scratching sounds. In Eurohaptics 2002 Conference proceedings, Edinburgh. Cook, P. R. (1997). Physically informed sonic modeling (phism): Synthesis of percussive sounds. Computer Music Journal, 21(3), 38-49. Lima, M. H., Keller, D., Pimenta, M. S., Lazzarini, V., & Miletto, E. M. (2012). Creativity-centred design for ubiquitous musical activities: Two case studies. Journal of Music, Technology & Education, 141 International Journal of Digital Media and Interaction Vol. 3, No. 5, (2020) 5(2), 195-222. Gomes, J. A., Barbosa, Á., & Penha, R. (2014). An Eco-Structuralism approach in soundscape (data) composition. In Proceedings of the 9th Audio Mostly: A Conference on Interaction With Sound (pp. 1-7). Keller, D., & Capasso, A. (2005) Vivir Sin Después. On Organised Sound DVD. (2005). Organised Sound, 10(3), 279-282. doi: 10.1017/S1355771805001007 Keller, D., & Truax, B. (1998). Ecologically-based Granular Synthesis. In ICMC. Keller, D. (2000). Compositional processes from an ecological perspective. Leonardo Music Journal, 10: 55-60. Keller, D. (1999). touch'n'go: Ecological Models in Composition (Doctoral dissertation, Simon Fraser University). Keller, D. (1996). Persecución. On Música Eletroacústica Brasileira Vol. I. Brasília, DF: Sociedade Brasileira de Música Eletroacústica. Kirsh, D., & Maglio, P. (1994). On distinguishing epistemic from pragmatic action. Cognitive science, 18(4), 513-549. Messina, M., & Aliel, L. (2019). Ubiquitous Music, Gelassenheit and the Metaphysics of Presence: Hijacking the Live Score Piece Ntrallazzu 4. In 14th International Symposium on Computer Music Multidisciplinary Research (p. 685-695). Marseille, France. Paik, N. J. (1962). One for Violin Solo. Performance. Kammerspiele, Düsseldorf, June 16. Opie, T., & Brown, A. R. (2011). Eco-Structuralism in Practice. In Proceedings of the Australasian Computer Music Conference. Scipio, A. D. (2002). The synthesis of environmental sound textures by iterated nonlinear functions, and its ecological relevance to perceptual modeling. Journal of New Music Research, 31(2), 109117. Warren, W. H., & Verbrugge, R. R. (1984). Auditory perception of breaking and bouncing events: a case study in ecological acoustics. Journal of Experimental Psychology: Human Perception and Performance, 10(5), 704-712. Weiser, M., & Brown, J. S. (1995). “Designing Calm Technology.” Mountain View, CA: Xerox PARC. Retrieved from: <http://www.ubiq.com/weiser/calmtech/calmtech.htm> [Accessed 14 Apr 2020]. 142