色再現（カラー化）に関して

色再現に対する当社の取り組み

　当社での「色再現」とは、白黒写真や色褪せてしまったカラー写真を、データ化した上でグラフィックソフトを使い着色していく作業を示します。そのため、白黒写真や色情報をほとんど失ってしまったカラー写真は、作業者の手作業によって着色していきます。勿論、ただ作業者の経験則だけで着色していくのではなく、調査資料や撮影当時を知る方からの聞き取り等の情報を汲み入れ、色の3要素（色相・彩度・明度）や当時のフィルム特性も踏まえた上で、「正確さ」と「自然さ」を追求し、丹念に着色作業を進めています。

　現在、人工知能（AI）を使った白黒写真を自動で色付けする技術が開発され、注目を集めています。
 筑波大学（前早稲田大学）飯塚助教授らの研究グループが開発した人工知能（AI）を使った白黒写真を自動で色付けする技術
 
　簡単に説明すると、現代のカラー写真を使い、それを白黒に変換した写真と対にしてコンピューターに大量に学習させ、白黒写真にどのように色を付ければカラー写真として「自然に」再現できるかというノウハウを蓄積し、その精度を向上させるというAI技術です。この技術の特徴は「色彩を正確に再現する」ことではなく、どうすれば「自然に見える」かを追求している点だと思います。またそのノウハウを蓄積する手段として「敵対的生成ネットワーク（GAN）」という、AI同士を戦わせ精度を向上させる研究も進んでいます。色をつけるAIと、その色が自然かどうかを判定する人間役のAIを対抗させ、切磋琢磨させることにより、正確性とは関係なく、自然に、本物らしく見せることを追求していくそうです。
 
　精度としては、現時点（2018年6月）では発展途上にあり、風景等の色付けには比較的良好な結果を出すものの、特に人工物をカラー化する場合等は曖昧なセピア色を選ぶ傾向にあります。

　しかし、注目すべき技術であることは疑う余地もなく、現状でも人の手を多少加えることにより、高水準のカラー化ができる可能性も多くあります。また作業効率や作業時間の短縮という点においても非常に魅力を感じます。当社での作業時間の短縮は作業料金に反映され、サービスの向上に直接繋がりますので、今後も精度の向上や人のサポートの必要性等、色々な面で注視していきたいと考えております。

2019年7月追記
　数々のAIによる自動色付けのウェブサービスが利用できるようになりました。自動色付けウェブサービスの比較検証 ページでは、3つのウェブサービスに注目し、いろいろな条件の異なる原板を使いそれぞれの特徴を比較検証しております。

　掲載許可をいただいている依頼者様のお写真を例に、現状のAIの自動色付け結果及び、グラフィックソフト（人間）による色付け結果との比較、またその共同作業による結果等を検証してみます（所感は全て個人の見解です）。

1. 原板　昭和40年代に撮影された写真（白黒プリント 絹目 11×7.5cm）

経年による変色・染み・汚れ・傷・付着物・欠損等有

2. 原板1をデータ化し、白黒の状態でグラフィックソフトを使い修整加工を施した画像

［作業内容］  ■染み・汚れ・傷等の修整加工  ■欠損部の合成加工  ■絹目の低減加工  ■色調・階調補正

（人間による補正・修整加工）

3. AIにより原板1をそのまま自動色付けした結果

（AIによる自動色付け）

4. グラフィックソフトを使い修整加工を施した画像2をAIにより自動色付けした結果

（人間による補正・修整加工 → AIによる自動色付け）

　ここでまず注目すべき点は、AIにより原板をそのまま自動色付けした画像は曖昧な色付けしかされていないのに比べ、グラフィックソフトにより補正・修整加工を施した画像はより高水準の色付けをしているという点です。
　ウェブ上で散見するAIの色付け結果を見ても、プロの写真家が撮ったものや、ライカのMモノクローム等で撮られたものが比較的好結果を出しているように感じます。クリアでシャープな解像感の高い画像を得意とする傾向にあるのではないかと推測され、この例のようなスナップ写真では、事前に的確な補正作業を行い、原板に傷や汚れがある場合はできる限り修整・修復加工を施し、AIが「勘違い」しないような下準備が、より好結果をもたらすのではないかと思われます。

2019年9月追記
　前処理の重要性に関して、原板の前処理による色付けへの影響について というページでさらに詳しく説明しております。

5. 上記4の画像をグラフィックソフトにより手を加えた結果

（人間による補正・修整加工 → AIによる自動色付け → 人間による修整加工）

　この画像は、4 の画像からAIが見逃した肌の部分や曖昧な服の色、聞き取りによって得られた空の色や全体の雰囲気を手作業で補色したり合成加工したりしたものです。それにより、リアリティさが大幅に加わったように思います。

6. 修整加工後のモノクロ画像2をグラフィックソフトにより手作業で色付けを行なった結果

（人間による補正・修整加工 → 人間による色付け）

　この画像は全て手作業で色付けしたものです。5 に比べると若干色がはっきりし過ぎて「着色感」が気になります。良い意味での「曖昧な」色付けが、人間には苦手なのかも知れません。ただこれは技術者（人間）の熟練度や「くせ」といった要素にも左右されますので（より塗り絵っぽくなってしまうこともあれば、より自然に表現できることもある、ということ）、手作業でも 5 に近付いていくことは可能と思われます。

7. 上記6の画像にAIによる自動色付けのカラー情報を加えた結果

（人間による補正・修整加工 → 人間による色付け → AIよる自動色付け情報を加え調整）

　7 は、補正・修整加工・色付けを全て手作業で行なった画像 6 に、最終的にAIにより自動色付けしたカラー情報を加え、調整したものです。個人的にはこの画像が一番自然でいい仕上がりになっているのではないかと感じますが、5 の仕上がりもかなり近似したものになっていると思います。5 と 7 に関しては、工程や依存度は違うものの、技術者（人間）とAIとの共同作業により、好結果を生んでいることが注目に値します。現状最も有効な色付けの手段ではないでしょうか。作業時間に関しては 5 に軍配が上がりますが、技術者（人間）のこだわりが強ければ強いほど、作業時間に関しても仕上がりに関しても 5 と 7 は拮抗していくのではないかと思われ、最終的には技術者（人間）の「こだわり」や「情熱」と言ったものが決め手になるのではないかと実感しました。

　ちなみに当社では 7 の手法を採用し、精密なカラー化を追求しております。

2019年7月追記
　当社「精密カラー化」技術に関してのページを新設しました。詳しくは こちら をご覧ください。

　先日、横浜の日本新聞博物館にて、渡邉英徳・東京大学大学院情報学環教授による「人工知能（AI）を使った『記憶の解凍』」という、AIによる白黒写真の自動色付けとその加工や活用を学ぶワークショップに参加させていただきました。渡邉教授も「AIによる色付けは完全ではなく、調べたり、人と話を重ねるこによって、人が知識を加えてモノクロをより記憶に近いカラーにするのが現在の取り組みである」とお話しされていました。また「そのことをきっかけに、消えてしまいかかっている記憶が現代につながる『記憶の解凍』に意味がある。目の前で色が付く、その瞬間に感動し記憶が甦る。どんなにAIが発達しても、感動したり思いを刻んだりするのは人の仕事で、これはずっと変わらない」とも。

　最後に、このお写真の依頼者様からのメッセージをご紹介させていただきます（一部抜粋）。

楽しみに待っていました。
想像していた以上の写真におもわず涙が出てきました。
そうです、あの小学一年生のみんなの顔です！
背景も素敵に仕上げていただきとても嬉しいです。
担任だった先生に連絡がとれるなら、是非見てもらいたいと思いました。
 
本当に、素敵な仕上がりで、明日にでも母親に見せに行きたいと思います。
カラーならではの、記憶呼び起こす力ですね。
一年生の時など、ほとんど覚えてないのに、この写真を見て 『あ、この子は○○ちゃんだ！』と名前が出てきたのですから。（白黒では、ぼんやりしたままの記憶でした）
大きくしていただいた写真は玄関にでも飾り、みんなに見せたいと思います。
私などの年代でも、白黒写真はまだまだ持っているわけですから、こんな風に復元されれば、しまい込むことなく手に取ると思います。
どうか、この素晴らしいお仕事 皆さんが知るようになってほしいものです。
 
 
　色には記憶を呼び覚ます力があります。今後急速に発展すると思われるAI技術との上手な関わりによって、依頼者様が「感動」し、「思いを刻む」ことができるお手伝いを、永く続けられることができれば幸甚です。

2018年6月

株式会社 三木デザイン事務所

グラフィックデザイナー / 画像修復技師

三木 秀記

写真掲載協力：埼玉県 H様

※本ページに掲載されている画像は検証例として加工したものです。混乱を避けるため、無断転載・転用を禁じます。