Machine Vision
Machine Vision / Computer Vision Ke konceptuálním východiskům projektu Vašulka Live Archive
Jana Horáková et al. Masarykova univerzita, Filozofická fakulta / Vašulka Kitchen Brno
Anotace
Příspěvek představí především konceptuální východiska, na nichž je vystavěn výzkumný projekt Media Art Live Archive: Inteligentní rozhraní pro interaktivní zprostředkování kulturního dědictví (TL02000270), jenž je realizován s finanční podporou Technologické agentury České republiky. Jeho aplikačními garanty jsou Centrum umění nových médií – Vašulka Kitchen Brno a Dům umění města Brna. Jádro projektu spočívá ve vývoji speciálně trénovaných umělých neuronových sítí, které budou naprogramovány tak, aby sloužily jako inovativní nástroj pro výzkum umění videa, konkrétně tvorby Steiny a Woodyho Vašulkových. V předkládaném textu budou rovněž diskutovány otázky: Mohou umělé neuronové sítě eventuálně sloužit jako epistemologický nástroj poskytující nový pohled na rané umění videa a tvorbu Vašulkových zvlášť? Jaké známé výzkumné metody mohou simulovat? A co nového mohou z hlediska metodologického vnést do poznání o umění videa?
„The world is a model open to design and designation, not by self-reflective human mastery over its sovereign domain, but because our planet uses humans to know itself and remake itself. We are the medium, not the message. “ Benjamin H. Bratton1
1. Poetika Steiny a Woodyho Vašulkových Umění videa se zrodilo v revoltujících a techno-optimistických 60. a 70. letech 20. století a rozvíjelo se v kontextu definovaném vzájemně se protínajícími vývojovými trajektoriemi umění, směřujícího od tradičních uměleckých druhů k intermédiím, elektronických médií, dynamicky se rozvíjejících od analogových k digitálním, od masových k osobním, a na pozadí kontra-kulturních společenských hnutí a paradigmatických změn ve vědním poznání světa (kybernetika, informační teorie, systémová teorie atd.).2 Stejně jako další umělecké druhy zahrnované pod označení umění nových médií, ani umění videa není možné popsat jednoduchou definicí vycházející z tradiční taxonomie uměleckých druhů. Vzniklo a rozvíjelo se totiž v době tzv. třepení žánrů, překračování hranic v rámci umění, stejně jako mezi uměním a ne-uměním, uměním a životem. Zahrnuje umělecké video pásky vytvořené s využitím analogové i digitální technologie, dokumentární snímky pracující s antitelevizní estetikou, reminiscence avantgardního experimentálního filmu, strukturální experimenty na úrovni práce s elektronickým signálem, nebo spektakulární video-environmenty a interaktivní instalace.3 Technologickou a žánrovou rozmanitost umění videa dokonale ztělesňuje tvorba Steiny a Woodyho Vašulkových, příslušníků první generace umělců pracujících s videem, kteří se spolupodíleli na utváření americké, především newyorské experimentální videoartové scény. Zahrnuje totiž dokumentární snímky zachycující dekadentní scénu New Yorku 70. let (Participation 1969–1977, Vašulkovi), strukturální experimenty s elektronickým signálem (série Studies, 1970–1971, Vašulkovi), konfrontace filmového jazyka prostředky video-technologie a nástrojů pro manipulaci elektronického obrazu (Art of Memory, 1987, The Commision, 1983, v obou případech Woody Vašulka), imerzivní environmenty (Lava and Moss, 2000) i komplexní interaktivní instalace (The Brotherhood, 1998). Vašulkovi jsou na videoartové scéně obvykle řazeni do skupiny tvůrců, jejichž hlavní přínos spočívá ve zkoumání formálních vlastností video-technologie a vynalézání nových nástrojů pro manipulaci s elektronickým signálem v reálném čase.4 Toto poněkud zúžené vnímání se netýká jen ve skutečnosti mnohem komplexnější a různorodější tvorby Vašulkových, ale propisovalo se také do institucionálního pohledu na umění videa. Například kurátor David Bienstock, jenž připravil první výstavu umění videa ve Whitney Museum v New Yorku nazvanou příznačně Videotape Show (prosinec, 1971) v rámci série New Ammerican Filmmakers, záměrně zúžil výběr prezentovaných videí na pásky zachycují syntetické video-obrazy a manipulované snímky.5 Z popisu výstavy navíc vyplívá, že videa nebyla vystavena v pravém slova smyslu, ale byla promítána jako film.6 Bienstock k tomu napsal: „Rozhodli jsme se (…) omezit program na pásky zaměřující se na schopnost videa vytvářet a generovat svoji vlastní specifickou obraznost, spíše než na jeho schopnost zachytit realitu. Využívají se k tomu speciální video syntezátory, kolorizéry a mnoho jedinečných elektronických vlastností média.“7 Tento pohled na umění videa může být chápán jako výraz snahy o přisouzení modernistického étosu videu v době, kdy bojovalo o uznání světem umění, neboť tím mohla být zvýšena jeho kredibilita.8 Lucinda Furlong v této souvislosti explicitně odkazuje na tvorbu Vašulkových a připomíná, že tato umělecká dvojice je obvykle uváděna jako typičtí představitelé minimalistického a formalistického pojetí práce s videem, založené na systematickém, didaktickém a syntaktickém zkoumání jeho jazyka, přičemž sami Vašulkovi takovou interpretaci podporovali řadou svých vyjádření. Furlong však proti takovému pojetí jejich tvorby staví názor Shaloma Gorewitze na mnohamonitorovou instalaci Vašulkových, kterou měl možnost vidět v newyorské The Kitchen v raných 70. letech: Mohou říkat, že jsou (jejich díla) didaktická a minimalistická, ale když vidíš, jak proudí dolů pyramidou monitorů, vnímáš výraznou smyslovost a vzrušující obraznost s níž jsou prezentována. (…) Neoznačil bych (jejich tvorbu) jako minimalistickou a neřekl bych, že se jedná o čistý výzkum, neboť dívání se na ni poskytuje spoustu potěšení na smyslové úrovni.“ 9
Tvorba Steiny a Woodyho Vašulkových není ani čistě formalistická, ve smyslu kutilského zkoumání formálních vlastností média bez jakékoli umělecko-autorské intence směřující k vytvoření díla, ale neulpívá ani na povrchu smyslově spektakulárních zážitků. Pro její pochopení je velice důležitá obeznámenost s širším konceptuálním podhoubím, z něhož vyrůstá, ať už se jedná o dobové teorie médií nebo obecně společensko-kulturní a intelektuální klima. Vašulkovi uvedli: „Zajímali jsme se o jisté dekadentní aspekty Ameriky, fenomény undergroundu – rock and roll, homosexuální divadlo, a další nelegitimní kulturu. Stejně tak jsme se ale zajímali o puritánské koncepty od McLuhana a Buckminstera Fullera, jež inspirovaly umění.“10 Jedním z inspiračních zdrojů jejich tvorby bylo učení vlivného mediálního teoretika kanadského původu Marshala McLuhana založené na promýšlení médií jako extenzí lidských smyslů, jež vychází z kybernetického pojetí vztahu člověka a stroje. Podle této teorie elektronická média fungují jako extenze lidského nervového systému a jejich propojením bude vytvořena planetární síť bezprostřední komunikace:
Rychle se blížíme do konečné fáze extenze člověka – technologické simulaci vědomí, kdy bude kreativní proces poznání kolektivně a korporátně rozšířen na celou lidskou společnost, stejně jako jsme prozatím rozšířili naše smysli a naše nervy o různá média.“ 11
Formální experimenty Vašulkových založené na bezprostřední interakci s elektronickým signálem a na vynalézání nových optických aparátů umožňujících překonávat omezení lidského pohledu se v interpretačním rámci McLuhanových tezí jeví nikoli jako formalistní hra, ale spíše jako jakési alchymistické vzývání budoucnosti lidství v podobě kybernetického aparátu planetárního rozsahu, kterou zvěstují elektronická média. McLuhanova vize budoucnosti, je však možná jen za předpokladu, že přisoudíme zásadní význam formálním vlastnostem médií na úkor obsahů, jež přenášejí. Pokud platí mcluhanovské „médium je sdělení“, potom není třeba zabývat se obsahem, ale musíme zkoumat stávající a vynalézat nové elektronické aparáty schopné rozšířit naši imaginaci a naše vědomí. Z tohoto hlediska je třeba přistupovat k tvorbě Vašulkových neboť nám umožní vidět ji jako designování modelů teoretických konceptů, jako praktickou filozofii.“12
Širší kulturní kontext tvorby Vašulkových tvoří také avantgardní newyorská scéna 60. a 70. let, jíž dominovala intermediální tvorba a rozšířený film (expanded cinema). Pojem rozšířený film se užíval od 60. let pro označení nezávislé americké filmové tvorby experimentující s alternativními způsoby prezentace filmu. Expanded Cinema je však také název knihy filmového kritika Genea Youngblooda, kterou vydal v roce 1970 s předmluvou Buckminstera Fullera. Věnoval se v ní novým audio-vizuálním médiím, jako třeba synestetickému, kybernetickému a holografickému kinu, počítačem generovaným filmům, multi-projekčním prostředím, intermediálnímu divadlu apod.13 Inspiraci formáty rozšířeného kina najdeme u Vašulkových v multikanálových projekcích, imerzivních a interaktivních instalacích a environmentech, které vytvářela především Steina Vašulková a v sérii robotických instalací Woodyho Vasulky. Tvorba Vašulkových je kromě vnějších impulzů založena na hlubokém porozumění technologiím, s nimiž pracují, což jim umožňuje tvořivě experimentovat a objevovat jejich potenciál. Současně v jejich díle najdeme projekty, jimiž sebevědomě přecházejí od laboratorních etud k mistrovským, velkoformátovým dílům poskytujícím působivý smyslový zážitek.
2 Estetika umění videa Tak jako v tvorbě Vašulkových můžeme sledovat přelévání akcentů mezi sdělením a smyslovostí na jedné straně a formálním, abstraktním experiment na straně druhé, aniž bychom je ve skutečnosti mohli od sebe oddělit, tak i v případě pokusů o popsání estetiky videa získáme nejkomplexnější představu, když postavíme vedle sebe dvě teorie – jednu od Rosalind Krauss a druhou od Petera Weibela. I když k videu přistupují každý jinak, jeden z hlediska etymologie slov a na základě popisu aparátu videa, a druhá sleduje především témata, jimž se video-umělci věnují, dospěli ke shodnému závěru, že estetika videa vychází z jeho povahy epistemologického nástroje. Peter Weibel zkoumal komunikační a mediálně specifické vlastnosti videa. Svoji definici videa jako epistemologického zařízení však zároveň opírá o etymologii slov ´video´ a ´technika´. Píše: „Umění videa je vždy epistemické, řecké ´techne´ znamená ´artefakt, umění´ a video je odvozeno od ´eidos´ (obrázek), ´idos´ (idea) a dokonce ´idein´, od eidologie k idologii a ideologii. Idotechne (umění obrazu) je video technika je video umění, tedy umění vidění a vědění.“ 14 Zároveň ale poměrně exaktně definuje video s pomocí pěti formálních atributů: „1. Syntetika – celá škála elektronické manipulace s obrazem; 2. Transformace – ´psychedelický´ posun od konkrétních, interpretovatelných obrazů k abstraktním tvarům; 3. Odkazování k sobě samému; 4. Instantní čas – součásti obousměrného komunikačního systému (uzavřený obvod, video zpětná vazba); 5. Krabice – monitor využívaný pro televizní a video vysílání, jenž pro Weibela představuje přechod ke strojovému systému jako protiklad projekčních systémů využívaných v kině.“15
Kraussová16 představuje estetiku videa v kontextu kritické teorie 60. let a v úzkém vztahu k estetice uznání (aesthetics of acknowledgment). Podle Kraussové, společnou snahou umělecké kritiky v té době bylo „ukázat do středu obrazu“ a v případě umění videa „ukázat do středu televizní obrazovky“.17 Proto je typickou mizanscénou umění videa umělec hledící přímo do monitoru videa a využívající jej jako zrcadlo. V centru pozornosti se ocitá buď sám autor nebo v případě video-instalace návštěvník galerie. Ani v jednom z uvedených příkladů však nejde o pouhý odraz na monitoru, ale o komplexní optický systém, v němž dochází k dekompozici subjektu optickým aparátem. „Médiem videoartu je psychický stav já, které je rozděleno a zdvojnásobeno zrcadlovým odrazem synchronní zpětné vazby…“18
3. Příklady uplatnění video estetiky v tvorbě Vašulkových Tezi Rosalind Krauss o tom, že ve video-produkci dominují motivy narcistní sebeprezentace umělce na obrazovce monitoru, můžeme ilustrovat video-páskou Woodyho Vašulky Artifacts (1980). Snímek může působit jako dokument, jehož autor nás seznamuje s vlastnostmi video-technologie, ale poučeni Kraussovou v něm rozpoznáme video-portrét umělce v ateliéru, jenž jej zachycuje v různých fázích tvořivého dialogu s elektronickým signálem.19 Autor se na pásce objevuje různými způsoby a v různých situacích. Slyšíme jeho hlas jako instruktora divákova vizuálního zážitku, sledujeme jeho ruku manipulující s elektronickým signálem, vidíme jeho autoportrét v okamžiku, kdy manipuluje s elektronickým obrazem, a v určitý okamžik dokonce celou jeho postavu, když pózuje před videokamerou.
Obr. 1 Woody Vašulka: Artifacts, 1980. Ukázky z video-pásky. 20
Obr. 2 Woody Vašulka: Artifacts, 1980. Ukázky z video-pásky.21
Epistemologický charakter videa můžeme doložit na příkladu jedné z instalací ze série Machine Vision (1975 a dál) od Steiny Vašulkové. Jedná se o stejnojmenný elektro-opto-mechanický environment z roku 1978, na němž se jako tvůrci nástrojů podíleli Josef Krames, Woody Vasulka a Bruce Hamilton.22 Dvě kamery jsou namířené proti sobě, upevněné na horizontálně se otáčející ose, uprostřed níž je umístěna zrcadlová koule. Kamery snímají své vlastní obrazy odrážející se v této zrcadlové kouli. Optický aparát je schopen zachytit nejen celý prostor místnosti, v níž je naistalován, ale také třeba návštěvníka galerie. Video signál z obou kamer je připojen ke dvěma (nebo více) monitorům, rovněž uspořádaným ve výstavním prostoru, čímž se ještě zvyšuje počet kamerami zachycených obrazů, jež jsou disperzně rozloženy v prostoru galerie.23
Obr. 3 Záznam strojového vidění instalace Machine vision konstruovaného s pomocí zrcadlové koule a komplexního, kineticko-optického aparátu.24
Obr. 4 Přiznaná aparatura instalace odkazuje k pátému atributu umění videa podle Weibela, tedy Box.25
Steina Vašulka navrhuje, aby v případě, kdy by instalace měla být umístěna v prázdném výstavním sále, neobsahujícím žádné výklenky či vybavení, jež by se mohlo v optické instalaci odrážet, aby byly na stěny umístěny desky se záběry z Vašulkova videa Artifacts, jež se tak stává nejen grafickým pozadím instalace, ale její součástí. Můžeme říct, že instalace Machine Vision v takových případech slouží jako epistemologický nástroj pro dekonstrukci, analýzu a poznání tvořivého aktu interakce s elektronickým signálem skrze nelidsky vševidoucí, analytický, rozkládající a multiplikující pohled stroje. Steina Vašulková svůj záměr vyjádřila slovy: Když člověk ovládá fotoaparát, předpokládá se, že je prodloužením oka. Pohybujete fotoaparátem tak, jak pohybujete hlavou a tělem. Ve videu na rozdíl od fotografie nebo filmu není hledáček nutně nedílnou součástí kamerového aparátu.
Na konci sedmdesátých let jsem začala s řadou prostředí s názvem Machine Vision a Allvision se zrcadlovou koulí. Další varianta má motorizované pohyblivé zrcadlo před kamerou, takže v závislosti na vodorovném nebo svislém umístění zrcadla videomonitor zobrazuje nepřetržitý pohyb nebo naklánění buď dozadu / dopředu, nebo nahoru / dolů. Třetí varianta je plynulá rotace skrz otočný hranol, zatímco další má objektiv se zoomem v nepřetržitém pohybu, dovnitř / ven. Tyto automatické pohyby simulují všechny možné pohyby kamery, které osvobozují lidské oko od toho, aby bylo ústředním bodem vesmíru. “26 Umělkyně těmito optickými zařízeními překonává antropocentrismus McLuhanovy filozofie médií založený na jednoduchém vztahu mezi člověkem a strojovým systémem, jako extenzí, případně amplifikací jeho smyslů. Její instalace ne-lidského, autonomně se pohybujícího a všeobjímajícího pohledu stroje, v němž se člověk odráží jen jako jakákoli jiná součást environmentu, jako by předjímala aktuální diskusi o externalitách antropocentrismu ve vztahu k stále komplexnějšímu aparátu výpočetních zařízení, jenž uniká jakékoli představivosti a tedy konceptuálnímu uchopení, a stále významnější roli nástrojů vybavených umělou inteligencí (machine learning, computer vision) při provádění automatizované kontroly, dohledu, selekce a manipulace s jeho uživateli. 27
4. Machine Vision / Computer Vision Video-instalace Machine Vision naplňuje epistemologický a reflexivní (narcistní) charakter estetiky umění videa (viz Weibel, Krauss). Zároveň však předjímá ústřední motiv našeho projektu, v němž využíváme umělé neuronové sítě jako prostředky strojového učení (machine learning, ale přeneseně také computer vision), jež kalibrujeme tak, aby mohly sloužit jako epistemologické nástroje pro analýzu a nové porozumění tvorbě Vašulkových. Můžeme dokonce říct, že se náš projekt vztahuje k tvorbě Vašulkových nejen jako metodologický experiment z oblasti digital humanities, ale může být chápán také jako znovuprovedení, reenactment konceptu strojového pohledu (machine vision) s využitím současných technologických nástrojů. Výzkum a vývoj umělých neuronových sítí a jejich využívání jako prostředků strojového učení (machine learning) patří v současné době k nejvíce progresivním směrům v rozvoji disciplíny umělá inteligence.
Inspirací pro algoritmy využívající umělé neuronové sítě jsou biologické systémy – nervové tkáně tvořené neurony. V živých organismech jsou neurony propojené a předávají si informace přes neuronová spojení. Umělé neuronové sítě fungují na stejném principu a jsou vyvíjeny ve snaze simulovat lidské myšlení.28 Zatímco dřív byly počítače schopny podporovat práci desítek, maximálně stovek paralelně pracujících neuronových vláken, v současnosti jejich výkon vzrostl natolik, že zvládají podpořit práci sítí tvořených velkým počtem vláken, jež dokážou řešit již poměrně komplexní úkoly.29 S tím souvisí velký rozvoj tzv. hlubokého učení (deep learning), což je označení pro použití velkého počtu vrstev umělých neuronových sítí specializovaných na určitý úkol.
Strojový pohled – distant reading Aplikace komplexních umělých neuronových sítí (deep learning) se využívají především při zpracování velkých dat. Strojové učení technologicky podporuje rozvoj metody distant reading, která je vhodná pro zkoumání kulturních fenoménů, jež se uskutečňují v měřítcích přesahujících lidské schopnosti (například textová a obrazová analýza obsahu sociálních sítí). Poskytuje poznání založené na kvantifikaci výskytu určitých parametrů datasetu a jejich zpracování s pomocí statistických metod a teorie pravděpodobnosti. Narozdíl od close reading, které navazuje na tradici hermeneutické interpretace v humanitních vědách, se jedná o metodu umožňující studovat kulturní fenomény na makroúrovni a z hlediska jejich inter- a transmediálního výskytu. Výsledky práce inteligentních algoritmů a jejich vhodné vizualizace umožňují zkoumat vztahy a uspořádání opakujících se motivů. Díky tomu mohou být využity jako opora pro exaktní interpretaci kulturních fenoménů skrze kategorie jako jsou klastry jevů, hustota nebo naopak řídkost výskytu v rámci diskurzivních formací.30 Obraz je digitálně reprezentovaný jako dvojrozměrné pole obsahující číselné jednotky jasu, respektive barvy. Při zpracování tohoto pole neuronovou sítí je převáděno do jednorozměrné posloupnosti. K tomu slouží konvoluční modely, které v několika krocích obraz filtrují a postupně snižují rozlišení. Modely pracují s velkým množstvím filtrů, přičemž každý zdůrazňuje jiné hledisko, konkrétní příznak, hranu nebo základní tvar v obraze. V rámci trénování sítě se postupně nastavují váhy jednotlivých neuronových propojení podle toho, jaké příznaky jsou rozhodující pro správní rozpoznání daného objektu.
Přesto, že hovoříme o umělé inteligenci, v případě vývoje umělých neuronových sítí hraje významnou roli lidský faktor, který spočívá minimálně v definování úkolu pro neuronovou síť a v hodnocení výstupů. Umělé neuronové sítě jsou navzdory svému mnohoslibnému názvu jen algoritmy, které musí programátor v procesu učení usměrňovat tak, aby výsledky odpovídaly zadání. Umělá inteligence si neumí sama určit cíl, stále se tedy jedná jen o nástroj. Avšak na rozdíl o konvenčních algoritmů je schopná se učit a zlepšovat se v plnění stanoveného úkolu, tedy optimalizovat svůj výkon. Jistá míra tajemnosti spočívá v tom, že natrénovaná neuronová síť si ponechává jisté tajemství, nejsme totiž schopni zpětně popsat postup, který předcházel detekování konkrétního objektu. V našem projektu využíváme umělé neuronové sítě, které jsou trénovány primárně metodou tzv. učení s učitelem přímo pro analýzu audiovizuální tvorby Vašulkových. Chceme však testovat také metodu učení bez učitele.
Dataset Výzkumný tým dostal k dispozici nezpracovaný archiv ve vlastnictví Centra umění nových médií – Vašulka Kitchen Brno obsahující audiovizuální, obrazový a textový materiál různého charakteru a kvality o celkovém objemu 536 GB. Vzhledem k tomu, že naším cílem bylo zprostředkovat uměleckou tvorbu Vašulkových, vyextrahovali jsme podskupinu audiovizuálních souborů o rozsahu 137 GB, jež čítala 1 252 videí o celkové délce 6 dní, 20 hodin a 27,30 minut.
Metodologie Vzhledem ke specifickému charakteru tvorby Vašulkových je důležité věnovat speciální pozornost přípravě datasetu pro učení umělých neuronových sítí. Kromě základních identifikačních údajů videí (autor, název, rok vzniku díla, délka), jsme se zaměřili především na definici objektů, které má umělá neuronová síť ve videích vyhledávat a vyznačení jejich výskytu ve videích. V komentářích k videím doplňujeme údaje o využitých nástrojích manipulace s elektronickým obrazem a zvukem. V této fázi však není jisté, jestli vyvíjený softwarový nástroj bude schopný naučit se identifikovat nástroje na základě analýzy obrazu, případně zvuku. Využíváme k tomu speciálně vyvinuté tagovací rozhraní, které umožňuje označovat ve videu přesné úseky výskytu identifikovaných objektů, a to i v případě jejich paralelního výskytu.
Obr. 5 Rozhraní pro práci s obsahem databáze videí
V současnosti jsme identifikovali soubor objektů, které zahrnují základní geometrické tvary; antropologické symboly typu ruka, tvář, postava; čtyři přírodní živly a další prvky. Ve zvukové stopě jsme rozpoznali kategorie vztahující se k akustické i elektronické hudbě a zvuku; napříč kategoriemi se objevují housle (jako obraz i zvuk), přírodní živly nebo hlas a obraz osoby.31
Neuronové sítě překládají obraz do dvoudimenzionálního pole obsahujícího číselné hodnoty jasu a barvy. Toto pole je následně konvertováno do jednodimenzionální sekvence. Pro tyto účely využíváme konvoluční neuronové sítě, jež filtrují obraz v několika krocích a postupně redukují rozlišení. Tyto modely pracují s velkým množstvím filtrů, z nichž každý zdůrazňuje jiný aspekt obrazu, například hrany nebo základní tvary. Během procesu učení se postupně nastavují váhy vztahů mezi neurony s ohledem na to, jaké objekty mají být v konkrétním obraze rozpoznány.
Obr. 6 Ilustrační obrázek naznačující, jak umělé neuronové sítě vidí analyzovaný obraz.
Analýza datasetu zahrnuje využití různých funkcí neuronových sítí jako je klastrování, uspořádání výsledků analýzy snímku a aplikaci neuronových sítí předtrénovaných na volně dostupném velkém datasetu. V našem projektu jsme využili volně dostupnou konvoluční neuronovou síť VGG16.32 Videa jsou analyzována nikoli v celku, ale jako série jednotlivých snímků. Každý snímek je popsán jako soubor vlastností a převeden na jeden řádek vyjadřující jeho hodnoty. Následně je využíván K-Means algoritmus, jenž rozděluje jednotlivé záběry do klastrů na základě sdílených hodnot snímků. Počet klastrů (v ilustračním videu jich je pět) je stanoven manuálně před tím, než je spuštěn naprogramovaný proces iterace. Do tohoto procesu může programátor různě zasahovat. Může například experimentovat s počtem stanovených klastrů, počtem vlastností i s procesem extrakce.
Pro názornou ilustraci toho, jak umělé neuronové sítě fungují jsme realizovali test, v jehož rámci jsme využiti umělé neuronové sítě natrénované na volně dostupném datasetu ImageNet, jenž obsahuje metadaty opatřený soubor realistických snímků řady běžných objektů. Algoritmus vycvičený na tomto datasetu je následně schopen identifikovat ty (a pouze ty) objekty, s nimiž se v procesu učení seznámil. Proto se může stát, že neznámé objekty přiřadí k těm, které zná. Dochází tak ke známých vtipných, i když nechtěným, chybám, kdy například obraz v rámu je označen jako televize.
Obr. 7 Snímek 674 z videa Aria. Neuronová síť natrénovaná na datasetu ImageNet v něm rozpoznala tyto objekty: Nalezený objekt Pravděpodobnost (%) Televize (Television) 39,99 Obrazovka (Screen) 31,31 Monitor 13,51 Bankomat (Cash machine) 8,38 Stolní počítač (Desktop computer) 0,77
5. Závěr: Očekávané výsledky projektu Strojové učení je vyvíjeno pro automatizované vyhledávání shodných vzorců a objektů při práci s velkými daty. Co může tato metoda nabídnout uměnovědcům, kteří se zajímají o dílo jednoho umělce, či omezené skupiny umělců, a jejich dataset je tedy relativně malý? V takovém případě můžeme pojmenovat minimálně dva benefity.
1) Výsledky kunsthistorických bádání vztahující se především k velkým časovým úsekům mohou být s pomocí těchto nástrojů ověřeny a exaktně verifikovány.33 Avšak efektivní využití mohou nalézt také v oblasti teorie umění, především při ověřování výsledků strukturalistické analýzy. Jako brněnský výzkumný tým máme v tomto ohledu nač navázat. Podobně totiž chápal potenciál výpočetní techniky pro uměnovědy Jiří Levý, předčasně zesnulý literární vědec, který působil na Filozofické fakultě Masarykovy univerzity. Jeho experimenty s počítačem generovanou poezií neměly dokázat kreativitu stroje, ale potvrdit či vyvrátit jeho strukturální teorie českého verše.34
2) Neuronové sítě budou využity také k tomu, aby provedly analýzu díla Vašulkových s ohledem na parametry stanované výzkumným týmem, ale současně na úrovni vizualizace a rozhraní poskytly nový pohled na poetiku Vašulkových skrze opakující se vizuální a zvukové motivy a jejich výskyt napříč jejich tvorbou.35 Neuronové sítě zřejmě nebudeme schopni naučit rozpoznávat nástroje pro manipulaci s elektronickým obrazem (i když se o to stále pokoušíme), ale budou schopny rozpoznat s dostatečnou mírou pravděpodobnosti objekty a zvuky ve videích. Proto jsou vhodné pro podporu poznání poetiky jejich tvorby na základě opakujících se motivů.36
6. diskuse: Strukturální video jako taktické médium Interakce programátora s neuronovou sítí a její postupné iterace s ohledem na její výstupy může být chápána jako znovuprovedení (reenactment) laboratorních experimentů dialogického charakteru s elektronickým signálem a strojovým viděním, které jsou typické pro tvorbu Vašulkových. Jestliže jsme řekli, že umělé neuronové sítě jsou matematickými modely neuronových sítí fungujících v lidském mozku, můžeme tento software chápat jako epistemologický nástroj, jenž nám umožňuje pozorovat, jak lidský mozek vnímá videa Vašulkových. Na rozdíl od dosavadních experimentů pracujících se staršími historickými obdobími umění nebo s velkými datasety tvořenými běžnou produkcí uživatelů internetu a sociálních sítí, v našem projektu vyvíjíme unikátní nástroj vytrénovaný a zřejmě i využitelný na poměrně omezeném a svojí formou specifickém souboru audiovizuálních děl. Běžně dostupné předtrénované neuronové sítě totiž nejsou schopné číst manipulovaná videa a komplikované instalace Vašulkových. Zajímavým průběžným zjištěním proto je, že zdánlivě formální hra Vašulkových s elektronickým obrazem se z dnešního pohledu jeví jako subverzní strategie, neboť manipulovaný obraz i zvuk fungují jako maskování, jež činí jejich tvorbu rezistentní vůči režimu všeobecné technologické kontroly, jíž jsou umělé neuronové sítě mocným nástrojem. Strukturální videa Vašulkových můžeme zpětně označit jako jednu z forem taktických médií.
Seznam literatury a pramenů …
