タイリングによる超高精細画像の生成
CRAPHTOではタイリングと呼ばれる撮影手法とデジタル合成技術を駆使して超高精細画像を生成しています。
被写体が大きくなればなるほど、被写体から距離を置いて撮影する必要があります。1枚の写真から得られるディティールは不足し、必要な情報が得られないことがあります。例えば被写体の大きさが3m×1mにも及べば、カメラの解像度がいくら4億画素(23200×17400ピクセル)あったとしても、糸一本一本を解像させることは難しくなります。近づいて要所ごとに撮影すればよい話ですが、それですと全体を1枚の絵として完結させることはできません。
そこでタイリング撮影と呼ばれる分割撮影を行い、合成処理で1枚の写真に仕上げる方法をとります。
今回、糸一本一本のディティールがわかるよう十分な解像度を持たせるとなると、織密度から計算すると長辺は最低50000ピクセル以上必要となります。画像全体では60000ピクセルは必要ですので、4分割撮影したものを合わせて1枚の写真を作ることになります。
センサーが4:3の比率の長方形ですのでカメラは縦位置にして撮影、少し被らせるようにずらしながら水平に4カット撮影します。
後から4枚を合成しますので、ある程度の余白「のりしろ」が必要になります。カメラスタンドを慎重に水平に動かしながら、カメラの位置をスライドしていきます。
1枚4億画素(23200×17400ピクセル)の画像が4枚、これを画像編集ソフトのPhotoshop(PS)を使って1枚の写真にします。PSには自動整列、自動合成機能があり、複数の画像から自動でパノラマ画像を生成してくれます。この便利機能はCS3(2007年)から実装されており、かなり精度が上がってきました。つなぎ目を違和感なく仕上げるためにはそれなりのコツが必要なのですが、やはり合成元の素材が全てといっても過言ではありません。PSが合成しやすいように合成元の1枚1枚の写真の条件をしっかりと整えてやることが大切です。
完成した画像は60000×17400ピクセル、10億画素もの巨大画像となっています。
4枚を合わせることで解像度が2.5倍(4億→10億画素)になり、通常の撮影では困難だった繊維の様子を読み取ることが可能になりました。
効果の比較画像を以下で確認することができます。
今回は4枚合成でしたが、求められる解像度によってさらに細かくタイルを刻むことも可能です。例えば8面のタイルとすることで解像度がさらに上がります。このケースですと、カメラスタンドを垂直方向に上下させて縦2×横4 合計8枚の画像を撮影、合成処理をすることで18億画素程度の画像を生成することになります。
水平方向と垂直方向が混ざることで合成の難易度が一気に上がります。PSの自動整列、自動合成だけでは完了しないのでかなりマンパワーをかけて、一つずつ修正しながら力技で合成処理を行っていきます。あと数年経てばさらにソフトが進化してこの辺りの処理がだいぶ効率化されそうですが、現状だとかなりの負荷がかかる工程になります。
また、野外のロケにおいてカメラスタンドを使えないケースにおいては、シフトアダプターによるステッチングを行うことでさらなる解像度UPが可能になります。
水平方向または垂直方向にレンズをシフトさせながら3回に分けて撮影、合成を行うことで約2倍の解像度を得ることができます。そしてスライダーなどを組み合わせることで、さらに複数枚の写真を撮影、合成するタイリングを実現します。
CRAPHTOではクライアントが求めるニーズにあわせて解像度を決定、撮影を行っています。
タイリングの極致、7000億画素越えの超高精細画像
タイルを切るように被写体を分割撮影、合成するタイリング撮影は理屈の上では数百億画素という超高精細画像を得ることが可能です。しかしその素材となる各1枚1枚の写真の精度を保つことができなければ合成時の継ぎ目が不自然になり完成度が落ちてしまいます。マンパワーで行うとなると10〜16面くらいのタイリングが限界になってきます。
タイリングは非常に高精度なカメラの位置決めが必要になりますが、場合によっては被写体のほうを動かすシステムを組んだほうが効率が上がるケースもあります。被写体が小さなものの場合、XYステージを動かして撮影、自動でタイリング撮影を行い合成処理まで行ってくれるシステムも工業分野や顕微鏡では存在しています。
タイルの数が増え、高画素になればなるほど作業負荷が上がり、人間の手作業による作業は限界があります。大掛かりなシステムを組んで作業を行うには大きなコストがかかりますから、対費用効果の面で商業写真分野では実用化が困難です。
海外の事例ですが、美術品アーカイブの分野において巨大絵画を100分割を超えるタイリングを行い撮影、合成をすることで400億画素を超える超高精細画像を生成することに成功しています。
対象となったのはレンブラントの世界的名作、「夜警」です。
サイズは横4.37メートル、縦3.63メートルという巨大絵画は350年以上前に描かれており、様々な要因による劣化が問題となっています。そこでこの大作を後世に伝えるためデジタルアーカイブが行われました。
使われた撮影機材はCRAPHTOでも運用しているHasselbladのH6D−400cMSです。
1枚の写真に仕上げるにあたって巨大絵画を24行×22列に及ぶタイリングが行われ、その総数は528面に渡ります。
垂直にそびえる巨大絵画に対して、5軸に及ぶ自動制御でカメラの位置を決めて撮影します。装置全体を上下左右に動かすことが可能な大型ステージが設置されました。マルチショット (4ショット)で得られた1億画素が528枚、合成に必要な「のりしろ」を省いて448億画素という巨大画像が生成されました。
フォトショップで運用することのできる最大画素数が900億画素(30万×30万ピクセル)ですから、ちょうどその半分に抑えられているのは興味深いところです。528枚もの画像を通常の方法で合成することは困難で、AI:ニューラルネットワークが使われています。
顕微鏡撮影の分野ではステージ(被写体)を動かしてスキャン、狭い視野を複数枚撮影つなぎ合わせるWSI(Whole Slide Imaging)とよばれる自動合成システムがすでに確立されていますが、カメラを動かして撮影して繋ぎ合わせる自動合成システムは航空撮影分野の発想です。
後日、カメラの位置決め制御ソフトをさらに最適化して、5.5x 4.1cmの範囲に区切ってタイリング、97行×87列、8439枚のマクロ撮影が行われデータが取得されています。これらは最終的に7000億画素以上に及び、そのデータサイズは5.6TBにおよびました。
その恐ろしいまでの超超高精細画像がこちら。CRAPHTOと同じ仕組みのシステムでシームレスに閲覧することができます。
実は前の448億画素はタイリングのつなぎ目がわかったり、粗探しすれば合成のズレが発見できる等あったのですが、最新の取得画像はそういった粗がほとんどありません。AI支援による画像処理の進化は目覚ましいものがあり、いままでかかっていたマンパワーを一気に削減してくれます。
今後PSの合成分野においてもAI支援を期待したいものです。
以上、超高精細画像生成技術としてタイリング撮影による合成を紹介いたしました。
CRAPHTOでは商用ベースに合わせて最適な解像度を提案しますが、予算が許す限りの超高精細画像の取得につきましてご相談に乗らせていただきます。