自動画像領域分割＆レタッチ技術「Morpho Semantic Filtering™」

AIで進化する画像処理、誰でも手軽に感動の高品質を

「Morpho Semantic Filtering」は、AI技術を活用した画像領域分割およびレタッチ技術です。2020年にはエッジAIの国際業界団体主催のVision Product of the Year Awards 2020で「ベストAIソフトウェア／アルゴリズム賞」を受賞しました。
プロジェクトチームで座談会を開催し、製品開発までの道のりや今後の展望などについて本音で語り合いました。

開発に至った経緯を教えてください。

阿部: Qualcomm主催のTech Summit 2019での発表に向けて新規製品を企画したのがスタートです。
川口: 当時の社内関係者で行ったブレストで、アイディアが生まれました。これまでの画像処理は全体に対して一律の処理を施す事が通例でしたが、写真加工のプロが行うレタッチ技術は基本領域毎に行います。そこで「AIを使って画像内を領域分割した自動レタッチできたら面白いんじゃないか」という発想が生まれました。
阿部: 初版は人物ポートレートを対象に開発していたけど、顧客候補にヒアリングを行うとあらゆるシーンへの対応が求められている事が分かってきました。屋外や屋内、食べ物などの特定被写体への対応が必要になりますが、まずは屋外シーンへの対応ということで現行の開発に着手したんでしたね。
吉田: 趣味でレタッチを行っている立場からすると、AIがマスクを自動生成してくれるのはとても有効と思いましたし、現時点でも思ってたより高精度なマスクが生成できているのでとても期待してます。

開発で大変だったことを教えてください。

川口: やはり学習データのアノテーション仕様策定ですかね。自然界をラベル分けしようとするとかなり複雑になります。しかし、エッジAIをターゲットとすると計算リソースの観点からAIのコンパクト化が必須で、保持できる情報量に限界が生じます。
阿部: AIが学習可能な範囲であるか、レタッチに有効であるか、という両観点からラベルを必要最低限に絞って仕様策定する必要がありましたね。
吉田: あと、学習やレタッチしてみて初めて気づく必要仕様があって、途中から仕様がブレ出すというのもありました。
阿部: 例えば雪や氷などですかね。下手に色調補正すると写真として違和感に繋がるのでラベルの振り直しを行いました。
川口: アノテーションのやり直しは作業負荷が高いので、出来れば回避したいところではありますね。
吉田: これはエッジAIを手掛ける開発者が誰しもが直面する課題と言えますね。
川口: あと、細部のsegmentationで精度を出すのも苦労した点です。学習や推論時は基本画像を縮小して行うため、細部の情報が失われるという問題が生じます。
吉田: 例えば、葉っぱや枝の隙間から見える空領域は一つ一つは小さくても、それらがある程度密集していれば空として判定してほしいというのはありましたね。正確なマスクを生成しないと後段のレタッチ処理が写真の違和感につながります。
阿部: 振り返ってみると、領域別マスクをアルゴリズム的に最適化する機能の開発は必然でしたね。
川口: AIの推論結果は必ずしも完璧ではないですし、そこをrefinement機能のアルゴリズムで最適化するというのは理にかなっていると思います。また、後段のレタッチ処理の都合に合わせられるのも利点ですね。
阿部: refinement機能の実装は画像処理を得意とするモルフォの強みをフルに活かした対策と言えます。
吉田: あとは、レタッチ処理ですね。写真の印象は最終的に主観で決まります。ユーザーに感動を与える絵作りをどのよう達成するか、という点が今後たぶんずっと続く課題になると思います。
阿部: 現状は用意しているフィルタ機能を自由に操作できるよう仕様ですが、同時にモルフォオリジナルのプリセットを設けることも考えてます。
川口: スマートフォンメーカーにプリセットのまま使いたいと言われるレベルまで持っていきたいですね。

プロジェクト体制について教えてください。

阿部: 開発チームは開発系部門に属している7名で構成してます。ただ、このプロジェクトはタスクフォース化されており、他に営業やマーケティングの担当メンバーも属してます。異なる役割を持つメンバーと日々連携しながら、顧客ニーズを加味した製品開発を意識してます。
川口: あとアノテーション作業は外注ですね。
阿部: 余談ですが、データ作成を外注すると、仕様説明とその意図を作業者に理解してもらうという点が一番大変でした。先に話した通り、仕様書もあらゆるシーンを完璧に網羅出来てはいないので、試行錯誤を繰り返しながら仕様のアップデートと説明が必要でした。
川口: 作業スピードとクオリティは流石ですけどね。
阿部: そうですね。国外の業者は特に人的リソースが段違いに豊富なので、国内ではあり得ないスピードで対応してくれます。これは本当に助かりました。

適用事例や今後の進化について教えてください。

阿部: 直近はスマートフォン市場をターゲットとしてます。まずは屋外シーン限定の機能を提供し、例えばカメラアプリで屋外モードが選択された場合でのみ機能させるというような使い方を想定します。
吉田: スマートフォンのようなエッジデバイスで誰もが容易にレタッチされた写真が取得できる世界を作りたいですね。
阿部: あらゆるシーンへの対応という意味ではまだ開発途中段階なので、今後は屋内シーンや食べ物などの特定被写体へも対応していきたいです。
吉田: シーン判定も必要になってきますね。屋外でも昼と夜でレタッチ方法が変わりますし、被写体人物の有無でも変わってきます。
川口: あとは、動画対応ですね。スマートフォン市場に関わらず、カメラ撮影の目的が動画撮影中心になっていく事が想定されます。動画のセグメンテーション精度が向上するとあらゆる市場に対応できるので是非やりたい。
阿部: 医療分野で体内映像から臓器の種別や腫瘍位置を正確に判断するとか、映像制作で特定被写体を切り出して背景を差し替えるなど、いろいろと活用方法が想像できますね。