Skip to main content

モノクロ写真のカラー化技術を用いたメディアと読者の対話を促すコンテンツ制作の研究



 36歳,M2の與那覇里子です.
 社会人学生として学んだ2年間の集大成を一部ですが,ご紹介します.

 
 タイトルは,「モノクロ写真のカラー化技術を用いたメディアと読者の対話を促すコンテンツ制作の研究」です.


なぜ,この研究をすることになったのか.

 ニュースの流通網は,新聞の戸別配達が大きな役割を担っている一方で,ネットの登場は,ニュース配信の仕組みを大きく変えました.
 それぞれの持つメディアで情報を発信していたマスメディアは,Yahoo!やLINEに配信をはじめ,ユーザーがツイッターやフェイスブックなどのSNS,ブログなどにアップし,拡散されるようになりました.
 地方紙で記者として携わる筆者としては,地方の情報を全国に直接届けられるようになり,チャンスが増えたと思う一方で,地域特有の文脈や情報が含まれているとなかなか読んでもらえないというジレンマを感じていました.
 例えば,沖縄には,あの世の正月「グソーの正月」がありますが,見出しで取ったとしてもほとんど読まれません.
 また,記事への書き込みは,ディスコミュニケーションが多くあるのが現状です.

 そこで,幅広い読者に沖縄のニュースへの理解を促すことを研究の目的にしました.

 そのために,次の3つのアプローチを取ります.
1)沖縄のニュースに興味・関心を持ってもらうコンテンツを制作
2)地元特有の文脈への理解促進
3)メディアと読者の前向きな対話を生み出す


「ニューラルネットワークにディープネットワークを用いた
大域特徴と局所特徴の学習による白黒写真の自動色付け(2016,飯塚里志,シモセラ エドガー,石川博)」
 

どんな方法で目的を達成する?

 興味関心を引くために,飯塚らの開発したモノクロ写真をカラー化したAI技術を活用することにしました.


x
 マスメディアは,読者に興味を持ってもらうため,イマーシブ型のリッチコンテンツを制作していますが,CG,凝ったUI,インフォグラフィックなどが盛り込まれ,記者がすぐに作れるものではありません.
 飯塚らの技術であれば,1クリックで色をつけることができます.
 エンジニアでない記者も扱うことが可能です.

 ただし,課題もあります.
 AIは230万枚の写真から,着色について学んでいますが,正しい色ではないため,人の手による補正が必要です.
 そのため,私の記者という職能を生かし,取材によって色を補う手法をとります.
 

コンテンツ制作

1)戦前の沖縄のモノクロ写真を活用

 写真については,朝日新聞が1935年に沖縄で撮影したモノクロ写真を使います.写真には,生き生きとした表情の沖縄の人々が映し出されており,沖縄の文化を視覚的に理解できるからです.
 277枚ある写真の中から,私が選んだ写真の一つは,市井の人々の暮らしぶりが分かる那覇市場の写真です.



 
 それらの写真を元に,コンテンツ制作に向けて取材をすることにしました.
 手法としては,当時を生きていた人たちを探し出し,同窓会などを通じてアポを取りました.
 その方々にじっくりと写真を見てもらって,写り込んでいるものが何かを一つ一つ語ってもらったり,撮影場所について聞いたり,実際に色の違いについて聞きました.


 色付けをしたことで,くっきりと見えてきたモノが,おばあさんたちの手元に写っていた入れ墨です.ハジチと言われるこの入れ墨は,戦前,既婚女性が彫っていたもので,地域によっても異なります.

 
写真:朝日新聞社


 この写真については,ほかにも,取材,やフィールドワークを重ね,コンテンツとしてまとめ,発信しました.

 

 また,277枚ある写真の中から,もう1枚,傘をさすセーラー服姿の女子高生についての写真を色付けし,取材,コンテンツを制作しました.




2)戦後沖縄の白黒写真をカラー化した写真展

 筆者が編集に携わる沖縄タイムスに眠る,戦後沖縄のモノクロ写真を活用した写真展を通してコンテンツを制作することにしました.
 モノクロ写真とカラー写真で色が比較でき,会話が生まれるように二つ並べて展示し,当時の出来事や背景を思い出すための新聞記事も展示しました.




 また,個人で所有しているモノクロ写真を展示会場に持ってきてもらい,カラー化する取り組みもしました.
 1日100人以上から依頼があり,写真展5日間で約700枚をカラー化しました.
 両親や祖父母,親戚が写った家族の写真が多くありました.

 また,許可をもらった写真は,SNSでアップしました.
 すると,SNSで“偶発的な”対話が生まれ,コンテンツとして制作することができました.


まとめとこれから

 今回のコンテンツ制作において,幅広い読者に沖縄のニュースに興味・関心を持ってもらうことを目指しました.貢献の一つとして,読者と前向きな対話ができたことが挙げられると思います.

 また,AIの課題として挙げた「正確な」着色でなかったことが,人々の対話を促し,新たな知見をもたらしました.
 

 しかし,今後の課題として,今回,私が着色したAI技術だけでなく,記者が汎用性高く活用できる技術について,整理する必要があると思います.もっと,興味関心を持ってもらえる“武器”として,どういうものがあるのか,知る必要があります.
 また,今回,SNSで対話を促しましたが,フェイクニュースも多い中,何を持って信用できるのかは大きな課題です.
 また,ストーリーを持って制作するコンテンツも大切ですが,共感を得ながら紆余曲折,偶発的に生まれるコンテンツは理解を促進する可能性があります.
 そのようなコンテンツの制作の可能性をこれから模索してみたいと考えています.


 今回の研究にあたり,着色のAI技術を開発し,活用させていただいた飯塚先生,石川先生に感謝いたします.
 また,写真の活用を許可していただいた朝日新聞社,沖縄タイムス社,インタビューに応じていただいたみなさま,ありがとうございました.
 社会人学生として送り出してくれ,写真展を開催させてくれた会社をはじめ,いつも応援し,支えてくださっているデジタル部の仲間に感謝いたします.

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

後輩みなさんへ

 私は,とてもいい仲間に巡り会えました.
 干支が同じ,同学年のゼミのみんな!
 wtnv研究室のみんな!
 インダスで一緒に机を並べて勉強したみんな!
 12年ぶりの学生生活に戸惑う私は,たくさん助けられました.
 突然,社会人学生が来たというのに,ランチやグループワークに誘ってくれてありがとうございました.

 私は,いい仲間に出会えたことで,2年間,励まされ,支えられ,学び直しを楽しませてもらいました.

 そして,きっと,就職してから,学び直しをしたいと思った時,私が役立つ時が来るのかもしれません.
 

Popular posts from this blog

「ツバル・ビジュアライゼーション・プロジェクト」のコンテンツをアップデート

2009年に最初のバージョンを公開し,第13回文化庁メディア芸術祭で審査委員会推薦作品に選ばれた「ツバル・ビジュアライゼーション・プロジェクト」のコンテンツを更新しました.共同研究パートナーであるNPOツバル・オーバービューの遠藤秀一さんが撮影した,2012年のバイツプ環礁の写真があらたに掲載されています.
ツバル・ビジュアライゼーション・プロジェクトツバルに生きる一万人の人類 以下にスクリーンショットをご紹介.このプロジェクトも三年目に入りました.





現在,遠藤秀一さんと共同で,ポートレートの追加作業をすすめています.こちらも近日中に公開予定です.(wtnv)

東京大学大学院への移籍のお知らせ

2018年4月1日より,指導教員の渡邉英徳は東京大学大学院情報学環の教授に着任いたしました。首都大学東京の客員教授も兼務します。これに伴い,渡邉英徳研究室も東京大学大学院に移籍いたします。首都大学東京での研究は,今後も継承する予定です。これまでご支援いただいたみなさま,本当にありがとうございました。

教員プロフィール首都大学東京学生の業績一覧学生の週報ログ

バレーボールの練習改善のためのプレー記録の視覚化

こんにちは、学部4年の佐野千秋です。
私は卒業研究で「バレーボールの練習改善のためのプレー記録の視覚化」を行いました。



自身が高校生の頃、プレーのデータをとって選手で共有していたものの、見にくさや情報の少なさからあまりデータを重要だと思う場面がありませんでした。
せっかくデータを利用してるのならばより良いデータ利用方法があるのではないかと思いこの研究をはじめました。
実際に母校である神奈川県立厚木高校のバレーボール部に制作物を使ってもらったり、アンケートをとったりしながら、選手が感じている問題を元にデータ利用の改善を行いました。

主に行った改善は以下3点です。

1つ目はデータ収集内容の改善です。
今までは4つのプレー要素(※1)についてレシーブの精度(※2)のみを記入していましたが、スパイク、サーブはコースの記入欄を新たに加えました。
選手が求める情報を元に収集内容を改善を行い、情報量の充実を図りました。
この改善によって、どのようなコースが効果的なのかが分かるようになります。


※1 バレーボールは大きく分けてスパイク、サーブ、サーブレシーブ、スパイクレシーブの4つのプレー要素があります。
※2 バレーボールではレシーブの精度(=セッターの取りやすいボールかどうか)をA-Eの5段階に分けて表現することがよくあります。

2つ目はデータ入力方法の改善です。私の母校はデータを紙媒体に記録した後、Excelに入力し、印刷したものを選手内で共有していましたが、ある程度時間がかかるため練習試合があるたびに入力するのではなく何日か分をまとめて入力している場面が見受けられました。少しでも入力の煩わしさを軽減するため今までベタ打ちだったものを、Excelのマクロを使うことでクリック入力や、選択式で入力を行えるようにしました。



3つ目は視覚化方法の改善です。
改善の流れとしては、実際に母校の試合のデータを視覚化し、試合後のミーティングで使ってもらいアンケートをとります。その結果を視覚化方法の改善に活かすことで、より選手が見やすい、求めるものに近づけていきました。
視覚化改善は計3回行いました。左が1番最初となっています。
効果的な攻撃が出来ている割合を色、打数を円の大きさで表現するなど選手が直感的に度のコースが効果的なのかが分かるような視覚化方法を用いました。
またアンケートから選手に…

「記憶の解凍」 ARアプリ公開

東京大学大学院情報学環 渡邉英徳研究室は、AI技術を活用してカラー化した“戦前の広島”の白黒写真を、地図・AR(拡張現実)ビューに表示する「記憶の解凍」ARアプリを公開しました。

私たちのチームはこれまでに、数百枚の白黒写真をAI技術でカラー化し、さらに、被爆者との対話を重ねて色を補正することによって、過去の記憶を辿る旅を続けてきました。最新技術と、被爆者・若者たちのコミュニケーションが組み合わさることで、これまで凍りついていた記憶が「解凍」され、よみがえります。

カラー化された過去の写真は、私たちの心のなかに、これまでにない感情を喚起します。その写真が、アプリを通して、現在の広島の風景に重ね合わされるとき、私たちの眼の前には、切り撮られた過去の日々につながる、時の窓が開きます。


本アプリは、渡邉英徳教授とともに活動を進めてきた、広島市在住の庭田杏珠さんとのコラボレーションによって制作されたものです。

アプリダウンロード(無料):
App Store / Google Playにて、キーワード「記憶の解凍」で検索ウェブサイトからダウンロード制作チーム:
原案・カラー化・アプリ作成:渡邉英徳×庭田杏珠考証協力:濱井德三、ヒロシマ・フィールドワーク実行委員会写真提供:濱井德三、今中圭介、緒方昭三、片山曻、諏訪了我(浄寶寺)、高橋久、多田良子、本田美和子、広島県立文書館、広島市公文書館、アメリカ公文書館(撮影:尾木正己)タイトルロゴデザイン:秦那実カラー化技術提供:早稲田大学 石川博研究室平和記念公園(爆心地)街並み復元図提供:中国新聞社

広島テレビ新社屋「記憶の解凍」展覧会 開催

東京大学 大学院情報学環 渡邉英徳研究室は、広島テレビ放送と共同で、人工知能(AI)技術でカラー化した戦前・戦後の白黒写真をもとにして対話の場をつくりだし、被爆の記憶を継承することを目的として、

展覧会「記憶の解凍」 ~カラー化写真で時を刻み、息づきはじめるヒロシマ~

を開催いたします。
展覧会ウェブサイト展覧会チラシ 私たちはこれまでに、数百枚の白黒写真をAI技術でカラー化し、さらに、被爆者との対話を重ねて色を補正することによって、過去の記憶を辿る旅を続けてきました。最新技術と、被爆者・若者たちのコミュニケーションが組み合わさることで、これまで凍りついていた記憶が「解凍」され、よみがえります。

入場は無料です。みなさまのご来場をお待ちしております。

展示概要
会期:2018年11月23日(金・祝)~12月2日(日) ※10日間場所:広島テレビ新社屋エントランスロビー
広島市東区二葉の里3丁目5番4号
※広島駅北口徒歩3分時間:午前10時~午後5時 ※11月23日は午後1時開場。入場:無料展示チーム 主催:広島テレビ放送、東京大学大学院 渡邉英徳研究室原案:庭田杏珠(広島女学院高等学校)ビジュアルデザイン:秦那実会場デザイン:花岡大樹協賛:株式会社にしき堂、オタフクソース、広島ガス、広島管財、株式会社ロックサービス、アンデルセン、エネコム、中国電力、中電工、広島銀行、便利屋シンセー協力:広島女学院高等学校 生徒有志、ヒロシマ・フィールドワーク実行委員会、首都大学東京大学院ネットワークデザインスタジオ有志カラー化技術提供:早稲田大学 石川博研究室後援:広島県、広島県教育委員会、広島市、広島市教育委員会、公益財団法人広島平和文化センター、平和首長会議、公益財団法人広島観光コンベンションビューロー

イベント「デジタル時代における戦争体験の継承」を共催します。

東京大学大学院 渡邉英徳研究室は,イベント「デジタル時代における戦争体験の継承」(Yahoo!ニュース主催)を共催します。

日時: 2019年8月8日 18:30〜
会場:ヤフー本社17階「ヤフーロッジ」(定員100人)
入場:無料
主催:Yahoo!ニュース
共催:東京大学大学院 渡邉英徳研究室

お申込みはこちらから

戦後74年が経過し,「戦争体験の風化」が大きな社会課題になりつつあります。

あの時,何が起きていたのか。戦場,空襲といった「戦火」の体験に加えて,市民の体験をもとに,市民の生活に戦争がもたらしたものを見つめることにより,私たちの日々の暮らしが戦争によってどう変わり,何を奪われていくのかについて,実感が深まります。

メディアや研究機関,あるいは若者たちが,デジタルツールを駆使して戦争体験をあつめ,伝え,アーカイブする動きが各地で始まっています。また,アニメやコミックなど,若者が親しみやすい表現で,戦争を伝える試みも,ひろく支持されています。

こうした動きは,デジタル時代だからこそ生まれてきたものです。今回のイベントでは,この動きと力を結びつけ,大きな流れを作りたいと考えています。そのために,NHK,沖縄タイムス,ヤフーなどのメディア,そして市民ベースのボトムアップな活動で,戦争体験の収集・継承の活動をしている人々が一堂に会し,取り組みや成果を報告します。

登壇者
宮坂学(前 ヤフー株式会社 代表取締役社長(予定))NHK「あちこちのすずさん」スタッフ輿那覇里子(沖縄タイムス 記者)渡邉英徳(東京大学 大学院情報学環 教授)庭田杏珠(広島女学院高等学校 生徒)進行:宮本聖二(Yahoo!ニュース プロデューサー/ 立教大学大学院 教授)プログラム

第一部:メディアの取り組み
ネットメディア:宮坂「デジタルによる戦争体験の継承」テレビ:NHK「あちこちのすずさん」新聞:與那覇「沖縄戦デジタルアーカイブ」第二部:市民の取り組み
研究者:渡邉「ヒロシマ・アーカイブと「記憶のコミュニティ」」高校生:庭田「カラー化写真と対話による「記憶の解凍」」第三部:会場との対話

会場では,「記憶の解凍」(庭田杏珠× 渡邉英徳)によるパネル・映像を展示します。

令和元年度 被爆体験継承事業 企画展「ヒロシマの記憶を伝える 〜町と人々の暮らし〜」

広島市立中央図書館で開催される「令和元年度 被爆体験継承事業 企画展「ヒロシマの記憶を伝える 〜町と人々の暮らし〜」」に,「記憶の解凍」(庭田杏珠 × 渡邉英徳)として出展します。

新作のカラー化写真12点と,「ヒロシマ・アーカイブ」・「記憶の解凍」ムービーを展示します。また,7/21(日)には詩人のアーサー・ビナードさんと庭田・渡邉の対談・鼎談も行なわれます。みなさま,ぜひご来場ください。

チラシのPDFはこちらです

被爆体験継承事業 企画展「ヒロシマの記憶を伝える 〜町と人々の暮らし〜」
開催期間:令和元年7月6日(土)〜9月1日(日)会場:広島市立中央図書館 2階 展示ホール(広島市中区基町3番1号)主催:広島市立中央図書館協力:東京大学大学院渡邉英徳研究室、ヒロシマ・フィールドワーク実行委員会、広島平和記念資料館、広島市公文書館、広島市郷土資料館関連イベント「ヒロシマの記憶を伝えること」
日時:7月21日(日)13:00〜15:00内容:渡邉英徳(東京大学大学院情報学環教授)とアーサー・ビナード氏(詩人)の対談,庭田杏珠さん(広島女学院高等学校3年生)のプレゼンテーションなど

ツバル・ビジュアライゼーション・プロジェクト公式サイト

ツバル・ビジュアライゼーション・プロジェクトの公式サイトをオープンしました。
http://tv.mapping.jp/
現時点では英語版のみ。また、レイアウトはbloggerのものを流用している仮版で、10月中旬に正式版が完成予定 (→原田(鈴木)真喜子さんのデザインにより完成しました。11/30追記)。ご愛顧のほど。それにしてもmapping.jpドメインを確保しておいて本当によかった。(wtnv)

TOKYO 2021「慰霊のエンジニアリング」展への出展

9/14〜10/20の会期で開催されるTOKYO 2021「慰霊のエンジニアリング」展に,岩手日報社と共同制作した「忘れない:震災犠牲者の行動記録」を出展しています。


今回の展示では,EndPoint社が開発した大型ディスプレイ「Liquid Galaxy」で上映しています。ご遺族から氏名の公開を承諾していただいたかたについては,氏名をローマ字で表記しています。


会場は東京駅至近の,戸田建設本社ビルです。ぜひ,いらしてください。
TOKYO 2021「慰霊のエンジニアリング」展ウェブサイト https://www.tokyo2021.jp/bizyututen/入場 ウェブサイトより事前登録。※展覧会は2会場で開催されており、うち1つは事前登録なくご覧頂けます。会期 9月14日(土)〜10月20日(日)/火曜定休キュレーション 黒瀬陽平会場構成 西澤徹夫参加作家 会田誠、飴屋法水、磯村暖、宇川直宏、梅沢和木、梅田裕、大山顕、カオス*ラウンジ、カタルシスの岸辺、キュンチョメ、今野勉、たかくらかずき、高山明、竹内公太、寺山修司、中島晴矢、中谷芙二子、名もなき実昌、八谷和彦、檜皮一彦、藤元明、三上晴子、宮下サトシ、山内祥太、弓指寛治、渡邉英徳、Houxu Que、MES、SIDE CORE