こんにちは。修士2年の周寧です。この投稿では、私の修士論文の内容をご紹介します。
Memorial Universe
ストーリー構造の視覚化とAI生成画像による
エピソード記憶の鮮明化
◯目的:
本研究では、画像・映像の記録が存在しない、埋もれているエピソード記憶をより鮮明化する。 撮影・録画することで、日々で経験したことを記録・閲覧することが容易になりましたが、しかしながら、心の中に存在する、言葉では表現しきれない「エピソード記憶」もまた、人にとって重要な記録だと思います！
◯手法:
「埋もれているエピソード記憶」のストーリーを文脈に沿ってセンテンスに分割して入力してもらい、データマッピングにより各センテンスの関係・構造を視覚化するとともに、各センテンスをプロンプトとしてAIで画像を生成し、提示する作品を制作しました。
◯検証と結果
埋もれているエピソード記憶を持つ鑑賞者に、本作品を体験してもらいながら、鑑賞者が気づいたこと、思い出したことを記録し、さらに作品に入力してもらった結果、各自エピソード記憶のストーリー密度が高まりました。
◯結論:
本作品と鑑賞者のコミュニケーションによって、画像・映像の記録が存在しない、埋もれているエピソード記憶をより鮮明化することができました。
本研究では、
画像・映像の記録が存在しない、埋もれている
エピソード記憶をより深く鮮明化します！記憶は曖昧なもので、忘れやすいですね、その記憶を守るためMemorial Universeを開発しました😆
Memorial Universeの操作画面
このシステムでは、マインドマップのように記憶を整理できます！
またAI画像生成機能が付きで、記憶の存在するものをタグに入力すれば、AIが最も適切な画面を生成してくれます！
AI画像生成機能(Stable diffusion)
開発したシステムを「東京大学制作展2022」の来場者に使ってもらって、色んな作品が制作できました〜！
来場者にMemorial Universeの使い方法を説明している様子
その来場者の中に13人が作品を作りました、一部分を紹介すると：
20代女性、記憶のテーマ：東日本大震災
20代女性、記憶のテーマ：子供部屋
また、参加者にアンケート調査に協力してもらって、以下の結果が得られました：
AI技術を使って、これから人間とAIのコラボレーションによって、新たな社会的な価値、社会的な意義を生み出していくことが期待されています。今後は、本研究に提案した手法が、人間とAIが協働で創作活動を営むための参考になり、今後、同様のアプローチから、人々の心を動かす多様な作品が生み出されていくことを期待します〜！
◯謝辞
本研究の遂行にあたり、指導教官として終始多大なご指導を賜った、東京大学大学院学際情報学府、教授 渡邉先生に深謝致します。同学科教授 筧先生、並びに同学科教授 山名先生には、本論文の作成にあたり、適切なご助言を賜りました。ここに深謝の意を表します。
研究について、日本語がうまく話せなかった私が本日まで研究を進めてきたのは、渡邉先生が丁寧にご指導して下さったお陰です。また、作品の制作に協力していただいた間宮さん、市倉さん、本当にありがとうございました。東京大学制作展を通じて、アドバイスを下さった先生の方や関係者の方にも感謝の意を表します。
コロナ禍の中あっという間の2年間でしたが、研究室のおかげで充実した日々となりました、最後に、渡邉研究室の皆様には、本論文の執筆にあたり多くのご助言、激励を頂きました。本当にありがとうございました。
.png)
