Xperia Z4のメシウマカメラは信号処理も一新！音や画面のこだわりとは？：開発者インタビュー

2015年07月20日 18時00分更新

文● 石野純也　編集●ゆうこば　撮影●高橋智、編集部



↑Xperia Z4。

　Xperia Z4の秘密に迫る開発者インタビュー。前回のコンセプトやデザイン、機構設計についての話に引き続き、Xperiaならではのファンクションであるカメラ、オーディオ、ディスプレーについて迫ります。

信号処理からブラッシュアップしたカメラ “自撮り”需要にも対応



↑カメラ担当の西本周平氏。

──カメラについてですが、センサーなどのハードウェアは基本的にXperia Z3と同じと考えてよろしいでしょうか。

西本氏：メインカメラのハードウェアはXperia Z3と同じですが、フロントカメラについてはハードウェアから新しくしています。これまでよりも広角で約510万画素と解像力のあるものになっています。“自撮り”がブームですが、そういった撮影にこだわりのある方にも満足していただけるカメラになっていると思います。また、広角なレンズを使用していますので3、4人が集まったグループ撮影でも余裕を持って自撮りをできるようなハードにしました。

──なるほど。では逆に、ハードウェアが同じメインカメラについては、ソフトウェアの違いが大きいのですね。

西本氏：ソニーではお客さまが気軽に、特殊な設定をせずにキレイな写真を撮れることを重視しています。そのために搭載しているのが“プレミアムおまかせオート”で、カメラが自動で状況を認識して、適切な明るさやノイズリダクションをかける機能です。そこに新しく、“料理”を認識・最適化する技術を入れました。

　スマホをお使いのお客さまは料理の写真を撮るユースケースが増えています。料理撮影は物撮りの一種なので、カメラとしては難しい被写体です。料理が撮影される環境も明るい場所から暗い場所までさまざまです。これまでも料理がおいしく撮れることは目指していましたが、まだまだ改善の余地があると感じていました。そこで、Xperia Z4では“おいしい料理”が撮影できることにこれまで以上に力を入れて開発を進め、カメラが自動で料理を認識する技術に加え、おいしく見せるための専用の信号処理まで開発しています。



↑Xperia Z4では“プレミアムおまかせオート”により、自動で“料理”を認識するようになった。

──え。信号処理まで専用のものになっているんですか！？

西本氏：解像感などとは違い、“おいしい”というのは五感によるものです。私たちは世界中に拠点を持っていますので、海外のメンバーの意見も聞きながら、“おいしい写真とは何なのか”をどんどん数値化していきました。料理の質感や、いわゆる“シズル感”などを突き詰め、信号処理を開発しています。

──以前、カメラを開発している方に料理は形状が千差万別なため、認識が非常に難しい、とうかがったことがあります。今回は、どのような手段で料理と見分けているのでしょうか。

西本氏：人の顔を検出する技術がありますが、人間がこれだけの人数がいても、目や口があるのは同じという大きな共通点があります。一方で料理のパターンは非常に多様です。ソニーが培った画像の機械学習のテクノロジーを駆使し、膨大な料理の画像を学習させ、これが料理であるのか、そうでないのかを認識できるようにしました。事前に学習させた内容が反映されるかたちになっています。

──料理撮影に対する意地のようなものが伝わってきました。ちなみに、改善点が料理だけということは、さすがにないですよね。

西本氏：Xperia Z4のハードウェア上での最適化を目指し、ノイズリダクションも一から見直しています。Xperia Z3よりさらに風景や夜景がキレイに撮れるようになっています。

──次に、フロントカメラについてもう少し詳しく教えてください。先ほど、画素数を上げたというお話を聞きましたが、レンズについてはいかがでしょうか。

西本氏：単に広角にするだけだと、魚眼レンズのようなものもありますが、ひずみが出て不自然に曲がった映像になってしまいます。画角の広さ、レンズの解像力、ひずみ、F値など、すべてのバランスを取った光学設計にして、小型のサイズに収めることを実現しています。

──フロントカメラは、最近各社とも工夫をしていて、自分をより美しく補正するモードが搭載されていたりしますが、Xperia Z4ではいかがですか。

西本氏：“プレミアムおまかせオート”では、顔を認識すると自動的に顔に適した信号処理をするようにしています。このときに自然な仕上がりになるような美肌効果もかけています。新搭載の“スタイルポートレート”というアプリもあります。こちらでは美肌効果をはじめ顔にかけるさまざまな効果をリアルタイムで確認しながら撮影することができます。



↑Xperia Z4に採用されたカメラパーツ。写真下では従来モデルまでのフロントカメラのパーツと比較している。

──なるほど。プレミアムおまかせオートはあくまで自然に撮れるようにしたということですね。こういうフロントカメラがフラグシップモデルに入ったのは初だと思いますが、一方で、ソニーモバイルのラインアップの中には自撮りモデルのようなものもありました。なぜ、このタイミングでフラグシップに入ったのでしょうか。

西本氏：それぞれのモデルの技術開発は連携していて、機種に適したフロントカメラを入れるようにしています。自撮り文化はアジアが先行していますので、アジア向けのモデルに先行して導入していました。近年、日本や欧米でも自撮り文化が拡大し、お客様の要望が高くなってきていることから、Xperia Z4にその進化を取り入れました。

オーディオ機能により激安イヤホンの性能が約5倍になる!?



↑オーディオ担当の助川和久氏。

──次に、音楽機能についてうかがいます。Xperia Z4で進化した点を改めて教えてください。

助川氏：イヤホンの自動補正がひとつと、“LDAC”対応がひとつ、ハイレゾがもうひとつ。この3つがポイントで、そのほかデジタルノイズキャンセリングおよび“DSEE HX”の圧縮音源補正機能も引き続き対応しています。なお。ハイレゾは従来も対応していましたが、Z4ではイヤホンで対応するサンプリングレートが96KHzから192KHzに上がっています。

　音に関してもうひとつ。録音がバイノーラル録音に対応しています。Xperia Z3のころからステレオ録音には対応していましたが、そこにさらなるチューニングをかけ、よりリアルな360度のサラウンド録音ができるようになりました。距離感や空間のポジショニングを意識して、ゲイン調整やノイズリダクションの処理をして、空間の再現性を体感いただけるようにしました。

──ハイレゾ再生ではサンプリングレートが上がっていたんですね。

助川氏：ソフトウェアによってそれに対応したものに変わっています。ハードウェアとしてもその音を十分に表現できるよう配慮した設計にしています。

──それはユーザーの声を受けてということでしょうか。

助川氏：どちらかというと、市場に出ている音源に対応するためです。やはり今は192KHzのものが増えてきていて、Xperia Z3だと96KHzにダウンコンバートするかたちになっていました。そこを素のまま楽しんでいただけるよう、改善しています。

──イヤホンの自動補正は、どのように処理されているのでしょうか。

助川氏：見ているのはインピーダンス特性で、音楽再生中にお客さまが耳にヘッドセットをつけた状態のときを測っています。1分間ぐらいかけて測定し、補正して、自動で切り替わるようにしています。特にお客さま側でキャリブレーションのボタンのようなものを押す必要はありません。

──どんなヘッドホンでもいいんですよね。技術的にはどういう測り方をしているのでしょうか。

助川氏：はい。詳細なメカニズムまではお話できませんが、どんなヘッドセットでも最適化がかかるようになっています。マイクがついているわけではありませんが、我々のノウハウとして、出力に対してモニターをかけ、補正をかける技術が組み込まれています。こういう特性がいいというリファレンスのパラメーターがあり、そこから離れていると、補正がかかるようになっています。



↑イヤホンの自動最適化はソニー製以外の製品（有線接続のもの）にも適用される。

──効果はどの程度のものでしょうか。

助川氏：低域だけがモコモコして、ボーカルが聞こえないようなヘッドセットでも、バランスが取れてボーカルが聞きやすくなったりします。違いは明らかにわかると思いますよ。

──つまり、1000円のイヤホンが5000円ぐらいになるような（笑）。

助川氏：そうですね（笑）。ただ、もともと特性がいい高級なイヤホンは、オンにしてもオフにしても差はあまり感じられないかもしれません。

──リファレンスに近いと、補正のかかりも少なくなるということですね。

水滴がついてても動く実用的なディスプレー



↑ディスプレー担当の齋藤裕一氏。

──最後に、ディスプレーについて教えてください。まずは、Xperia Z3からの進化からお願いします。

齋藤氏：Xperia Z3からの大きな違いとしては、高輝度化を目指しました。液晶の中に入っているバックライトのLEDチップを変え、高輝度なものを採用しています。光を高輝度化、最適化した結果、Z3に比べて16％明るくなっていて、マックスまで輝度を上げると目が痛いぐらいです。

　そこまで高輝度にするのは、利用場面として屋外を考えているからです。これはZ3から入っていますが、太陽の反射光で白っちゃけてしまう中で、コントラストを変えてキレイに見えるようにしています。その機能と高輝度化を合わせて、外でもよりキレイに見えるようになりました。

　逆に屋内は高輝度で使うわけではありませんが、消費電力という観点からすると、マックスのときの輝度が違うため、同じ輝度であれば逆に消費電力を低く抑えることができます。あくまで液晶単体の話ですが、消費電力削減にも貢献できています。

──画質面はいかがでしょうか。

齋藤氏：スペックで言えばXperia Z3と同じですが、そのキレイな液晶はきちんと引き継いでいて、広色域を実現する“トリルミナスディスプレイ for mobile”であったり、超解像技術“X-Reality for mobile”であったりは搭載しています。

──タッチパネルにも新しい機能が入っているとうかがいました。

齋藤氏：Xperia Zから防水が入っているにも関わらず、お風呂や雨天時に水滴が当たったとき、うまく動作しないことは問題として認識していました。理想を言えば水の中で動かせるタッチパネルなのですが、そこに近づけるために1歩1歩努力しています。Z3までは水滴が乗っても誤動作しないということをやってきました。具体的には、水滴を検出してタッチを動かなさないようにするということです。ただ、それだと水滴が乗った状態ではキレイには動きません。

　Z4では、水と指の静電容量の違いを検出するためにタッチのセンシング方法を変えています。この方法により、水が乗っている状態でも、指にだけタッチパネルが反応するようになっております。



↑Xperia Z4では水滴がついていても操作できるように進化。

──そういう処理が入っていたんですね。先日アップデートがかかったのも、この部分でしょうか。

齋藤氏：水滴が乗っていても指に反応するエンジンは、液晶等のハードウェアから来るノイズも判断して処理を行っており、感度が高すぎた場合には実際に触っていないのに指があると判断してしまうこともあります。そのためにノイズに対する誤検出を抑制する機能を搭載しています。通常の使用では事象は起こりませんが、細い指などに反応しづらくなる場合があり、ノイズ抑制機能のバランスを再調整いたしました。

──なるほど。そういうことだったんですね。本日はどうもありがとうございました。