本ブログでは、現在様々な社会システムやITアプリケーションに利用されている顔認証技術とその基盤となるランドマーク検出についての概要、そしてランドマークの活用例、今後の可能性についてまとめています。
1. 顔認証技術とは
スマートフォンのロック解除やコロナ禍での検温システムなど、顔認証技術は普段の生活の中で多岐に渡り活用されています。顔認証とはカメラなどから取得した画像を元に個人の顔を識別するシステムのことで、個々人の持つ顔の情報からその人個人の特徴を抽出・学習することでその人かどうかを判別します。似たような言葉として顔認識がありますが、こちらは性別や年齢、表情などを識別するシステムを指す場合が多いです。いずれも顔の情報を元に個人や属性を判別しており、セキリュティや身体・心理的負担の少なさから活用の裾野が広がっている技術です。
2. 顔認証技術の活用拡大の背景と活用事例
顔認証技術の活用が広がっている背景の一つに、顔のランドマーク検出が容易になったことが挙げられます。ランドマークとは目や鼻の位置など顔の特徴を抽出する上で重要なキーポイント（特徴点）のことです。例えばdlibというライブラリでは学習済みモデルが用意されており、画像１のように68のランドマークを検出することができます。
画像１：ランドマーク検出後（黄緑の点が顔の特徴点）
検出されたランドマークから顔の特徴を捉え、その情報を元に特定の人物であるか否かなどの判別を下すというのが顔認証の大まかな仕組みです。顔認証技術の活用例としては先に上げたスマホなどの端末のロック解除、入退出管理や本人確認などがあります。
3. ランドマークの具体的な活用事例
ここまで顔認証技術にはランドマークから抽出された顔の情報が基盤にあることを見てきました。次はランドマークの活用例として、顔のモーフィングを実施していきます。
モーフィングとは、ある物体から別の物体へ自然に変形する画像を作成する映像手法で、一時は映画業界で頻繁に用いられていたようです（最も有名なものは映画ターミネーター2でしょうか）。身近な例だと平均顔作成アプリなどでも利用されています。平均顔のようにある画像から別の画像へ少しずつ変化する中間の画像を作成するためには、先ず透過度を操作することを思いつくかもしれません。ただ単純な透過度の操作ではランドマークが異なるため自然な変化には見えません。自然な変化に見えるようにするには、ランドマークの位置も透過度と同時に操作する必要があります。
平均顔の作成を例に、具体的な処理内容を見ていきます。モーフィングを行うためには検出した２つの画像のランドマークを基に、対応するランドマーク同士の平均座標を求めます。次に計算した平均座標を基に、ドロネー図を作成します。画像２はOpenCVライブラリを利用し、画像１の四隅の座標も加えドロネー図を作成したものです。
画像2：ドロネー図作成後
ドロネー図作成後は三角形の各領域にアフィン変換と透過処理を実施していきます。平均顔の場合はランドマークの座標位置が2つの画像の平均座標と一致するよう変換します。画像３は元画像１と２の顔領域を検出し平均顔を作成したものです。服や背景の輪郭はぼやけていますが、顔の部分は比較的綺麗に合成できていることが分かります。
画像３：アフィン変換後の平均顔
モーフィングによる平均顔作成を例に見てきましたが、検出した顔のランドマークは視線推定や表情の分析にも利用することができます。例えばOpenFaceではAction Unitと呼ばれる顔の筋肉の動作単位の推定値を取得することができます。従来Action Unitの分析は人が目視で一つ一つの動作単位を見ていく必要があったため、ほんの数秒程度の動画の分析でも大変手間のかかる作業でした。また正確な分析のためには専門的な訓練を積み認定試験を受ける必要があります。OpenFaceを利用することでそうした作業を自動化できるだけでなく、誰もがAction Unitを分析できるようになります。またSNOWの顔交換機能のようなことも、ランドマークを利用し実装することができます。OpenCVの場合検出したランドマークの凸包からマスク画像を作成し、Seamless Cloningで合成することで顔交換機能をある程度再現することができます。モーフィングは複数の画像間で自然に変化する画像を作成する手法ですが、ランドマークを利用して1つの画像から様々な表情へ変化する画像を作成することも可能であり、CGアニメーションを作成するソフトウェアに実装されています。
4. まとめ
本ブログでは顔認証技術とその活用拡大の背景を概観し、ランドマークの活用例としてモーフィングによる平均顔の作成を行いました。
顔認証はプライバシー保護や認証精度の担保など解決すべき課題が多く残されています。ただ近年では3Dのランドマーク検出も敷居が低くなりつつあり、より高い精度での認証の実現と幅広いサービスへの活用の可能性を秘めていると言えます。
AI、機械学習、画像認識技術に興味をお持ちの方や更に関係知識を習得していきたい方は、当社の技術研修プログラム、Avinton Academyや以下の記事も参考にしてみてください。
是非皆さんも一緒に学びを深めていきましょう！
あなたも、Avintonでこのような最先端技術を習得し活用してみませんか？
社員の成長を導きながら、AIやビッグデータなどの最先端技術をプロジェクトに活用していくことが私たちのビジョンです。Avintonの充実した技術研修でスキルアップを図り、あなたのキャリア目標を一緒に達成しませんか？
