スマホ写真を高画質化

スマホのイメージセンサーはとても小さく、明るい場所ではほとんど問題になりません。しかし室内や夜間は、十分な明るさを得るためにカメラが感度（ISO）を上げ、センサーのランダムなノイズも映像と一緒に増幅されます。これが粒子状のザラつきとして、暗部では本来の被写体にはない赤・緑・紫の色ムラとして現れます。

次に、スマホはそのノイズを目立たなくしようとします。内蔵のノイズリダクションは、ノイズと一緒に細かな質感までぼかしてしまいます。夜の写真が塗りつぶしたように見えるのはこのためで、髪はなめらかな塊に、木の葉は緑の水彩画に、レンガは平坦なオレンジ色になります。複数のコマを合成するナイトモードは効果がありますが、動くものがあるとにじみや二重像が出ることがあります。

最後の劣化は、たいてい写真を共有したときに起こります。WhatsAppやMessenger、LINEなど多くのチャットアプリやSNSは、写真を縮小してから圧縮したJPEGとして保存し直します。圧縮によって残っていた細部が失われ、四角いブロックや輪郭のまわりのにじみが加わります。転送するたびに劣化が重なることもあります。この段階についてはLINEで写真の画質が落ちるときの直し方で、カメラ側の原因については夜景写真がザラつく理由で詳しく説明しています。

高画質化は2つのニューラルネットワークを順番に実行します。1つ目は復元モデルです。センサーノイズ、色ムラ、スマホのノイズリダクションによるにじみ、JPEGの圧縮劣化を一度に取り除き、本来のエッジは元の位置に保ちます。2つ目はディテールモデルです。布の織り目や松の葉のように、ノイズや圧縮で消えてしまった細かな質感がある部分に自然な質感を補い、プラスチックのような仕上がりになるのを防ぎます。

ディテールモデルは、写真に必要な部分でだけ働きます。すでにきれいな写真なら、高画質化はほぼそのままの状態で返し、不要なディテールを作り出すことはありません。看板やラベルなど写真内で検出した文字は復元処理だけに任せます。復元処理はノイズと圧縮劣化を取り除きますが、文字を描き直すことはありません。

2つのネットワークは、きれいな写真と、それを実際のスマホを模したシミュレーションに通した写真のペアで学習しています。このシミュレーションは実機の測定値で調整されています。格安スマホや古い機種のノイズ、ナイトモードの合成、メッセージアプリの縮小・圧縮の規則などです。そのため、一般的なノイズ除去フィルターがディテールと見なしてしまうスマホ特有の劣化も、高画質化は見分けられます。

出力される画像の幅と高さは、アップロードした写真とまったく同じです。高画質化は写真を拡大・トリミングしたり、明るさを作り変えたりせず、ホワイトバランスや露出も変えません。暖かい色の夜景は暖かいままです。もっと大きな画像が必要な場合は、高画質化した結果に4倍拡大をかけてください。

高画質化がいちばん効果を発揮するのは、劣化の原因がピンぼけではなく、ノイズや圧縮の場合です。

• 暗い場所や夜、室内で撮ってザラザラ・ベタッと・ぼんやりした写真。街の夜景、レストラン、ライブ、誕生日パーティーなど。
• LINEやWhatsAppなどのチャットアプリで送ったり、何度も保存し直したりして画質が落ち、元の写真が残っていない画像。
• センサーが小さく、室内でもノイズが出やすい古いスマホや格安スマホの写真。
• 薄暗い店内やガレージで撮った、ネットに載せる前の商品写真や出品写真。

高画質化は画像を補修するもので、内容を読み取るものではありません。読めない文字を読めるようにしたり、ナンバープレートを復元したり、書類をくっきりさせたりはできません。非常に小さな文字や密集した文字は文字検出から漏れることがあるため、1文字も間違えられない書類では結果を確認するか、元の画像を使ってください。

補われる細かな質感は「もっともらしい」ものであり、その場の記録ではありません。顔やナンバープレート、シリアル番号などの証拠や本人確認には使わないでください。また、すでにシャープで露出も適切な写真はほとんど変わりません。高画質化は補修ツールであり、どんな写真も違って見せるフィルターではありません。

高画質化は写真のために作られています。スクリーンショットや図版のブロックノイズも取り除きますが、平らな部分にうっすらと質感が出ることがあるので、結果を元の画像と見比べてください。

モデルはファイルに残っている情報しか使えないため、元の画像が良いほど結果も良くなります。

• できるだけ転送回数の少ない写真を使いましょう。3回転送された写真より、送った人のカメラロールにある写真のほうがきれいに仕上がります。
• 写真のスクリーンショットは避けましょう。スクリーンショットでは、元の劣化に加えて縮小と画面表示の拡大縮小が重なります。
• 編集する前の写真をアップロードしましょう。フィルターや強いシャープ処理、明るさの持ち上げは、ノイズとディテールの区別を難しくします。
• 先に高画質化、そのあとで拡大しましょう。ノイズの多い写真を拡大するとノイズも拡大され、多くの画素に広がったノイズは取り除きにくくなります。
• 印刷や公開の前に、顔や文字を100%表示で確認しましょう。

AIによる画質向上ツールの多くは完全な生成型で、肌や目、質感をゼロから描き直します。ぱっと見は見事でも、よく見ると違和感があり、知っている人の写真では特に目立ちます。高画質化は、画素が裏付けている内容を補修するよう調整されています。顔を美化したり、表情を変えたり、物を書き足したりはしません。情報が本当に失われている部分は、作り出すのではなく、すっきり自然な状態にとどめます。違いについては忠実なアップスケールと生成型アップスケールのガイドで説明しています。

このページとギャラリーの例はすべて、モデルが実際に出力したものです。劣化した入力画像は、きれいな写真から当社のスマホシミュレーターで作成したもので、各例にその旨を記載しています。