JP7704495B2 - 非接触式方式で獲得される情報に基づいて正確度の高い生体信号を提供するための電子装置、サーバー、システム、その動作方法 - Google Patents

Description

本発明の多様な実施例は、非接触式方式で獲得される情報に基づいて正確度の高い生体信号を提供するための電子装置、サーバー、システムおよびその動作方法に関する。

光を利用して光電容積測定法（Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ、ＰＰＧ）を測定する最も一般的な技術は人体に照射した光に対する透過光の光量を分析する方法を利用し、吸光度が吸収する物質の濃度および吸収層の厚さに比例するというＢｅｅｒ－Ｌａｍｂｅｒｔ法則で説明される。この法則によると、透過光の変化は透過する物質の体積の変化に比例する信号となる結果が導き出されるので、物質の吸収度が分からない場合にもＰＰＧを利用して心臓の状態などを把握することができる。

最近ではＰＰＧを利用した技術から一段階さらに進んでｒＰＰＧ（ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ）を利用した技術が登場している。ＰＰＧを利用して心臓拍動に関する信号を把握する最も大衆化した技術として、スマートフォンのようにカメラと照明が近距離に付着された装置を人体に直接的に接触させて光を照射して直ちに透過光を測定してＰＰＧを獲得する技術があるとすれば、最近ではカメラで撮影した映像で獲得した信号から血管の体積の変化を把握するｒＰＰＧ（ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ）に関する技術が持続的に研究および開発されている状況である。

ｒＰＰＧを利用した技術は対象体と測定装備間の接触が要求されないという点で空港の出入国管理所、遠隔診療などカメラを具備した装置および場所で多様に応用され得る。

ただし、ｒＰＰＧに関する技術はカメラで対象体を撮影する過程で周辺光および対象体の動きにより発生するノイズが信号に及ぼす影響が大きいため、撮影された映像から測定対象体の体積変化に関連した信号のみを抽出する技術がｒＰＰＧを利用して生体信号を測定する技術のうち核心技術と言える。

ｒＰＰＧ（ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ）は、接触式方式のセンサを利用して獲得されるＰＰＧと比較して、低い正確度を有することになる。多様な実施例によると、非接触式方式で獲得される情報に基づいて接触式方式で獲得される生体信号に対応する正確度を有する生体信号に対する情報を提供する電子装置、サーバー、システム、およびその動作方法が提供され得る。

本発明が解決しようとする課題は以上で言及した課題に制限されず、言及されていないさらに他の課題は下記の記載から本発明が属する技術分野で通常の知識を有する者に明確に理解され得るであろう。

多様な実施例によると、電子装置であって、第１通信回路、および少なくとも一つの第１プロセッサ；を含み、前記少なくとも一つの第１プロセッサは：前記通信回路を通じて、第１外部電子装置のカメラを利用して獲得される使用者の顔を含む複数のイメージを獲得し、前記通信回路を通じて、前記複数のイメージを獲得する間、同時に前記使用者の身体の第１一部に接触された前記第１外部電子装置の第１センサに基づいて獲得される第１データおよび前記使用者の身体の第２一部に接触された第２外部電子装置に基づいて獲得される第２データを獲得し、前記複数のイメージに基づいた特定の種類の第１生体信号、前記第１データに基づいた前記特定の種類の第２生体信号、および前記第２データに基づいた第３生体信号を獲得するように設定された、電子装置が提供され得る。

多様な実施例によると、電子装置の動作方法であって、前記通信回路を通じて、第１外部電子装置のカメラを利用して獲得される使用者の顔を含む複数のイメージを獲得する動作；前記通信回路を通じて、前記複数のイメージを獲得する間、同時に前記使用者の身体の第１一部に接触された前記第１外部電子装置の第１センサに基づいて獲得される第１データおよび前記使用者の身体の第２一部に接触された第２外部電子装置に基づいて獲得される第２データを獲得する動作；および前記複数のイメージに基づいた特定の種類の第１生体信号、前記第１データに基づいた前記特定の種類の第２生体信号、および前記第２データに基づいた第３生体信号を獲得する動作；を含む、動作方法が提供され得る。

多様な実施例によると、電子装置、サーバー、システム、およびその動作方法は、非接触式方式で獲得される情報に基づいて接触式方式で獲得される生体信号に対応する正確度を有する生体信号に対する情報を提供することができる。

多様な実施例に係る、生体信号測定システムの構成の例を説明するための図面である。 多様な実施例に係る、電子装置の例を説明するための図面である。 多様な実施例に係る、電子装置、およびサーバー（例：学習サーバーおよび利用サーバーの構成の例を説明するための図面である。 多様な実施例に係る、生体信号測定モジュールの例を説明するための図面である。 多様な実施例に係る、学習サーバーの人工知能モデル学習のための、データを獲得（または収集）する動作の例を示すフローチャートである。 多様な実施例に係る、電子装置の非接触式方式そして、接触式方式で生体信号を同時に収集する動作の例を説明するための図面である。 多様な実施例に係る、学習サーバーで人工知能モデル学習のための、データを蓄積する動作の例を説明するための図面である。 多様な実施例に係る、学習サーバーの非接触式生体信号を獲得する動作の例を示すフローチャートである。 多様な実施例に係る、ノイズ低減のために、色チャネル（例：Ｇ値とＲ値、Ｇ値とＢ値）間の差値を獲得する動作の例を説明するための図面である。 多様な実施例に係る、特性値を獲得する動作の例を説明するための図面である。 多様な実施例に係る、特性値を獲得する動作の例を説明するための図面である。 多様な実施例に係る、学習サーバーの非接触式生体信号を獲得する動作の例を示すフローチャートである。 多様な実施例に係る、生体信号の例を説明するための図面である。 多様な実施例に係る、学習サーバーの生体信号の時間同期化動作の例を説明するための図面である。 多様な実施例に係る、学習サーバーの非接触式方式で獲得された特定の種類の生体信号に基づいて、接触式方式に対応するだけの正確度を有する特定の種類の生体信号に対する情報を提供するように具現される人工知能モデルを生成する動作の例を示すフローチャートである。 多様な実施例に係る、学習サーバーの人工知能モデルを生成する動作の例を説明するための図面である。 多様な実施例に係る、学習サーバーによって生成される少なくとも一つの人工知能モデルの一例を説明するための図面である。 多様な実施例に係る、学習サーバーによって生成される少なくとも一つの人工知能モデルの他の例を説明するための図面である。 多様な実施例に係る、学習サーバーによって生成される少なくとも一つの人工知能モデルのさらに他の例を説明するための図面である。 多様な実施例に係る、学習サーバーの時間同期化なしに人工知能モデルを生成する動作の例を示すフローチャートである。 多様な実施例に係る、学習サーバーのさらに他の人工知能モデルの生成動作の例を示すフローチャートである。 多様な実施例に係る、学習サーバーが人工知能モデルを生成するために、ｒＰＰＧおよびＰＰＧを利用する動作の例を説明するための図面である。 多様な実施例に係る、学習サーバーが人工知能モデルを生成するために、ＭＰＰＧおよびＰＰＧを利用する動作の例を説明するための図面である。 多様な実施例に係る、学習サーバーによって生成される少なくとも一つの人工知能モデルの一例を説明するための図面である。 多様な実施例に係る、電子装置の人工知能モデルを利用して、接触式方式と類似する正確度の生体信号を提供する動作の例を説明するためのフローチャートである。 多様な実施例に係る、電子装置の人工知能モデルを利用して、接触式方式と類似する正確度の生体信号を提供する動作の説明するための図面である。 多様な実施例に係る、電子装置の撮影をガイドする動作を説明するためのフローチャートである。 多様な実施例に係る、電子装置の撮影をガイドする動作の例を説明するための図面である。 多様な実施例に係る、サーバー（例：利用サーバー）の、人工知能モデルを利用する動作の例を説明するためのフローチャートである。 多様な実施例に係る、サーバー（例：利用サーバー）の、人工知能モデルを利用する動作の例を説明するための図面である。

本文書に開示された多様な実施例に係る電子装置は多様な形態の装置となり得る。電子装置は、例えば、携帯用通信装置（例：スマートフォン）、コンピュータ装置、携帯用マルチメディア装置、携帯用医療機器、カメラ、ウェアラブル装置、または家電装置を含むことができる。本文書の実施例に係る電子装置は前述した機器に限定されない。

本文書の多様な実施例およびこれに使われた用語は、本文書に記載された技術的特徴を特定の実施例に限定しようとするものではなく、該当実施例の多様な変更、均等物、または代替物を含むものと理解されるべきである。図面の説明に関連して、類似するまたは関連した構成要素に対しては類似する参照符号が使われ得る。アイテムに対応する名詞の単数形は関連した文脈上明白に異なって指示しない限り、前記アイテム一つまたは複数個を含むことができる。本文書で、「ＡまたはＢ」、「ＡおよびＢのうち少なくとも一つ」、「ＡまたはＢのうち少なくとも一つ」、「Ａ、ＢまたはＣ」、「Ａ、ＢおよびＣのうち少なくとも一つ」、および「Ａ、Ｂ、またはＣのうち少なくとも一つ」のような文面それぞれはその文面のうち該当する文面に共に羅列された項目のうちいずれか一つ、またはそれらのすべての可能な組み合わせを含むことができる。「第１」、「第２」、または「最初」または「二番目」のような用語は単純に該当構成要素を他の該当構成要素と区分するために使われ得、該当構成要素を他の側面（例：重要性または順序）に限定しない。或る（例：第１）構成要素が他の（例：第２）構成要素に、「機能的に」または「通信的に」という用語とともにまたはこのような用語なしに、「カップルド」または「コネクテッド」と言及された場合、それは前記或る構成要素が前記他の構成要素に直接的に（例：有線で）、無線で、または第３構成要素を通じて連結され得るということを意味する。

本文書の多様な実施例で使われた用語「モジュール」はハードウェア、ソフトウェアまたはファームウェアで具現されたユニットを含むことができ、例えば、ロジック、論理ブロック、部品、または回路のような用語と互いに互互換的に使われ得る。モジュールは、一体に構成された部品または一つまたはそれ以上の機能を遂行する、前記部品の最小単位またはその一部となり得る。例えば、一実施例によると、モジュールはＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）の形態で具現され得る。

本文書の多様な実施例は機器（ｍａｃｈｉｎｅ）（例：電子装置）によって読み取り可能な保存媒体（ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）（例：内蔵メモリ）または外装メモリ）に保存された一つ以上の命令語を含むソフトウェア（例：プログラム））で具現され得る。例えば、機器（例：電子装置）のプロセッサ（例：プロセッサ）は、保存媒体から保存された一つ以上の命令語のうち少なくとも一つの命令を呼び出し、それを実行することができる。これは機器が前記呼び出された少なくとも一つの命令語により少なくとも一つの機能を遂行するように運営されることを可能にする。前記一つ以上の命令語はコンパイラによって生成されたコードまたはインタープリタによって実行され得るコードを含むことができる。機器で読み取り可能な保存媒体は、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）保存媒体の形態で提供され得る。ここで、「非一時的」は保存媒体が実在（ｔａｎｇｉｂｌｅ）する装置であり、信号（ｓｉｇｎａｌ）（例：電磁波）を含まないということを意味するだけであり、この用語はデータが保存媒体に半永久的に保存される場合と臨時的に保存される場合を区分しない。

一実施例によると、本文書に開示された多様な実施例に係る方法はコンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含まれて提供され得る。コンピュータプログラム製品は商品として販売者および購買者間で取り引きされ得る。コンピュータプログラム製品は機器で読み取り可能な保存媒体（例：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ））の形態で配布されるか、またはアプリケーションストア（例：プレイストアＴＭ）を通じて、または二つの使用者装置（例：スマートフォン）間で直接、オンラインで配布（例：ダウンロードまたはアップロード）され得る。オンライン配布の場合に、コンピュータプログラム製品の少なくとも一部はメーカーのサーバー、アプリケーションストアのサーバー、または中継サーバーのメモリのような機器で読み取り可能な保存媒体に少なくとも一時保存されたり、臨時的に生成され得る。

多様な実施例によると、前記記述した構成要素のそれぞれの構成要素（例：モジュールまたはプログラム）は単数または複数の個体を含むことができ、複数の個体のうち一部は他の構成要素に分離配置されてもよい。多様な実施例によると、前述した該当構成要素のうち一つ以上の構成要素または動作が省略されたり、または一つ以上の他の構成要素または動作が追加され得る。大まかにまたは追加的に、複数の構成要素（例：モジュールまたはプログラム）は一つの構成要素で統合され得る。このような場合、統合された構成要素は前記複数の構成要素それぞれの構成要素の一つ以上の機能を前記統合以前に前記複数の構成要素のうち該当構成要素によって遂行されるのと同一または類似するように遂行できる。多様な実施例によると、モジュール、プログラムまたは他の構成要素によって遂行される動作は順次、並列的に、繰り返し、またはヒューリスティックに実行されたり、前記動作のうち一つ以上が異なる順序で実行または省略されたり、または一つ以上の他の動作が追加され得る。

多様な実施例によると、電子装置であって、第１通信回路、および少なくとも一つの第１プロセッサ；を含み、前記少なくとも一つの第１プロセッサは：前記通信回路を通じて、第１外部電子装置のカメラを利用して獲得される使用者の顔を含む複数のイメージを獲得し、前記通信回路を通じて、前記複数のイメージを獲得する間、同時に前記使用者の身体の第１一部に接触された前記第１外部電子装置の第１センサに基づいて獲得される第１データおよび前記使用者の身体の第２一部に接触された第２外部電子装置に基づいて獲得される第２データを獲得し、前記複数のイメージに基づいた特定の種類の第１生体信号、前記第１データに基づいた前記特定の種類の第２生体信号、および前記第２データに基づいた第３生体信号を獲得するように設定された、電子装置が提供され得る。

多様な実施例によると、前記少なくとも一つのプロセッサは：前記通信回路を通じて前記複数のイメージを獲得する間前記第１外部電子装置の第２センサによって獲得される前記第１外部電子装置の撮影に関連した情報をさらに獲得するように設定された、電子装置が提供され得る。

多様な実施例によると、前記電子装置の撮影に関連した撮影情報は前記第１外部電子装置の撮影に関連した状態に関連した情報、および前記第１外部電子装置の外部環境に関連した情報を含む、電子装置が提供され得る。

多様な実施例によると、前記少なくとも一つのプロセッサは：前記通信回路を通じて前記第１外部電子装置の前記使用者の個人特性に関連した個人情報をさらに獲得するように設定された、電子装置が提供され得る。

多様な実施例によると、前記少なくとも一つのプロセッサは：前記第１生体信号、前記第２生体信号、前記第３生体信号、前記撮影情報、または前記個人情報のうち少なくとも一部に基づいて学習を遂行することによって、少なくとも一つの人工知能モデルを生成するように設定され、前記少なくとも一つの人工知能モデルは、接触式方式でセンシングされる前記特定の種類の生体信号に対する値を提供するように具現される、電子装置が提供され得る。

多様な実施例によると、前記少なくとも一つの人工知能モデルは、前記第１生体信号、前記第２生体信号、前記撮影情報、または前記個人情報のうち少なくとも一部の入力を受けたことに基づいて、前記第３生体信号を出力するように具現される、電子装置が提供され得る。

多様な実施例によると、前記少なくとも一つのプロセッサは：前記第１生体信号、前記第２生体信号、および前記第３生体信号の時間同期化を遂行するように設定された、電子装置が提供され得る。

多様な実施例によると、前記少なくとも一つのプロセッサは：前記第１生体信号、前記第２生体信号、および前記第３生体信号の中で、心臓と最も近い前記顔に関連した前記第１生体信号を基準として選択し、前記選択された第１生体信号を基準として、残りの前記第２生体信号および前記第２生体信号それぞれを前記第１生体信号に同期化するように設定された、電子装置が提供され得る。

多様な実施例によると、前記少なくとも一つのプロセッサは：前記第１生体信号、前記第２生体信号、および前記第３生体信号に対する時間同期化が遂行されていない状態で、前記少なくとも一つの人工知能モデルを生成するように設定された、電子装置が提供され得る。

多様な実施例によると、電子装置の動作方法であって、前記通信回路を通じて、第１外部電子装置のカメラを利用して獲得される使用者の顔を含む複数のイメージを獲得する動作；前記通信回路を通じて、前記複数のイメージを獲得する間、同時に前記使用者の身体の第１一部に接触された前記第１外部電子装置の第１センサに基づいて獲得される第１データおよび前記使用者の身体の第２一部に接触された第２外部電子装置に基づいて獲得される第２データを獲得する動作；および前記複数のイメージに基づいた特定の種類の第１生体信号、前記第１データに基づいた前記特定の種類の第２生体信号、および前記第２データに基づいた第３生体信号を獲得する動作；を含む、動作方法が提供され得る。

多様な実施例によると、前記通信回路を通じて前記複数のイメージを獲得する間前記第１外部電子装置の第２センサによって獲得される前記第１外部電子装置の撮影に関連した情報を獲得する動作；をさらに含む、動作方法が提供され得る。

多様な実施例によると、前記電子装置の撮影に関連した撮影情報は前記第１外部電子装置の撮影に関連した状態に関連した情報、および前記第１外部電子装置の外部環境に関連した情報を含む、動作方法が提供され得る。

多様な実施例によると、前記通信回路を通じて前記第１外部電子装置の前記使用者の個人特性に関連した個人情報をさらに獲得する動作；をさらに含む、動作方法が提供され得る。

多様な実施例によると、前記第１生体信号、前記第２生体信号、前記第３生体信号、前記撮影情報、または前記個人情報のうち少なくとも一部に基づいて学習を遂行することによって、少なくとも一つの人工知能モデルを生成する動作；をさらに含み、前記少なくとも一つの人工知能モデルは、接触式方式でセンシングされる前記特定の種類の生体信号に対する値を提供するように具現される、動作方法が提供され得る。

多様な実施例によると、前記少なくとも一つの人工知能モデルは、前記第１生体信号、前記第２生体信号、前記撮影情報、または前記個人情報のうち少なくとも一部の入力を受けたことに基づいて、前記第３生体信号を出力するように具現される、動作方法が提供され得る。

以下では、多様な実施例に係る、生体信号測定システム１について説明する。

多様な実施例によると、生体信号測定システム１は、非接触方式で使用者および／または検体（例：顔のような使用者の身体の一部）に対する分析に基づいて、獲得される生体信号を提供するように具現されるシステムであり得る。前記生体信号は、脈波（ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ、ＰＰＧ）、酸素飽和度（ＳＰＯ２）、心拍変移度（ｈｅａｒｔ ｒａｔｅ ｖａｒｉａｂｉｌｉｔｙ、ＨＲＶ）心電図（ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ、ＥＣＧ）、脳電図（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ、ＥＥＧ）、筋電図（ｅｌｅｃｔｒｏｍｙｏｇｒａｍ、ＥＭＧ）、皮膚伝導度（ｇａｌｖａｎｉｃ ｓｋｉｎ ｒｅｓｐｏｎｓｅ、ＧＳＲ）、皮膚温度（ｓｋｉｎ ｔｅｍｐｅｒａｔｕｒｅ、ＳＫＴ）を含むことができるが、記載された例に制限されず多様な種類の生体信号をさらに含んでもよい。前記生体信号測定システム１は、非接触方式で獲得される生体信号の正確度を向上するために、非接触方式そして、前記非接触方式より正確度の高い接触方式で同時に特定の種類の複数の生体信号を収集し、前記収集された複数の生体信号に基づいて学習される人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）モデルを利用できるが、具体的な実施例については以下で記述する。

図１は、多様な実施例に係る、生体信号測定システム１の構成の例を説明するための図面である。以下では、図２を参照して、図１についてさらに説明する。

図２は、多様な実施例に係る、電子装置１０の例を説明するための図面である。

多様な実施例によると、図１を参照すると、前記生体信号測定システム１は、電子装置１０、およびサーバー２０を含むことができる。ただし、図示されたおよび／または記載された例に制限されず、前記生体信号測定システム１はより多くの装置を含むように具現されてもよい。

多様な実施例によると、前記電子装置１０は、生体信号測定システム１を利用して非接触式方式で生体信号（例：ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ、ｒＰＰＧ）を測定することを望む使用者の電子装置であり得る。例えば、前記電子装置２００は図２の（ａ）に図示された通り、スマートフォン、ウェアラブル装置、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）装置などのような使用者端末、および図２の（ｂ）に図示された通り、キオスク、スマートミラー、などのように設置および／または配置された形態で利用される使用者装置を含むことができる。電子装置１０は検体Ｓを非接触式方式で検出し、検出結果に基づいて生体信号を提供するように具現され得る。例えば、図２に図示された通り、電子装置１０は、検体Ｓ（例：使用者Ｕの顔）を撮影したことに基づいて複数のイメージ（または動画、または単一のイメージ）を獲得し、前記サーバー２０から前記複数のイメージに対応する生体信号（例：ＰＰＧ）を受信し、前記受信された生体信号を使用者が認識可能な形態で提供（例：ディスプレイ上に表示、および／またはスピーカーを通じてサウンド形態で出力）することができる。

多様な実施例によると、前記検体ＳはＰＰＧの測定のための場合には顔となり、呼吸数の測定のための場合には胸となり得るが、記載された例に制限されず使用者Ｕの多様な身体部位が非接触方式で測定され得る。

多様な実施例によると、サーバー２０は、非接触式方式で検出された検体Ｓに基づいて生体信号を獲得し、獲得された生体信号に対する情報を電子装置１０に提供することができる。例えば、サーバー２０は学習サーバー２０ａおよび利用サーバー２０ｂを含むことができる。ただし、図示されたおよび／または記載された例に制限されず、前記サーバー２０は学習サーバー２０ａの機能と利用サーバー２０ｂの機能をすべて遂行する単一のサーバーで具現されてもよい。前記学習サーバー２０ａは、生体信号を提供するように学習される少なくとも一つの人工知能モデルを構築することができる。例えば、前記学習サーバー２０ａは、非接触式方式で検出された検体Ｓに基づいて獲得される非接触式生体信号とは異なる少なくとも一つの情報の入力を受けたことに対する応答として、接触式方式の検出正確度と類似する正確度の生体信号を出力するように具現される人工知能モデルを構築することができる。前記学習サーバー２０ａによりラーニングされた人工知能モデルは、前記利用サーバー２０ｂに提供され得る。前記利用サーバー２０ｂは前記電子装置１０と通信の連結を設定し、前記電子装置１０から前記電子装置１０により非接触式方式で獲得された検体Ｓに対する情報を受信することができる。前記利用サーバー２０ｂは前記検体Ｓに対する情報を前記人工知能モデルに入力し、前記人工知能モデルから出力される生体信号に対する情報を獲得し、前記獲得された生体信号に対する情報を前記電子装置１０に伝送することができる。

一方、記載された例に制限されず、前記サーバー２０の動作なしに、電子装置１０が生体信号を提供可能であるように電子装置１０がオン－デバイス（ｏｎ－ｄｅｖｉｃｅ）の形態で具現されてもよい。

以下では、多様な実施例に係る、電子装置１０、およびサーバー２０の構成の例について説明する。

図３は、多様な実施例に係る、電子装置１０、およびサーバー２０（例：学習サーバー２０ａおよび利用サーバー２０ｂの構成の例を説明するための図面である。或る実施例では、図３に図示された例に制限されず、電子装置２０およびサーバー２０からこの構成要素のうち少なくとも一つが省略されたり、電子装置２０およびサーバー２０に一つ以上の他の構成要素が追加され得る。或る実施例では、この構成要素のうち一部は一つの統合された回路で具現され得る。以下では、図４を参照して、図３についてさらに説明する。

図４は、多様な実施例に係る、生体信号測定モジュールの例を説明するための図面である。

以下では、多様な実施例に係る、電子装置１０の構成の例について説明する。

多様な実施例によると、電子装置１０は、ディスプレイ１１、カメラ１２、第１通信回路１３、センサ１４、第１メモリ１７、および第１プロセッサ１８を含むことができる。一方、図示されたおよび／または記載された例に制限されず、電子装置１０は、使用者端末に備えられる多様な電子部品（例：スピーカー）および装置をさらに含むように具現されるか、および／またはさらに少ない構成要素を含むように具現され得る。以下では、各構成の例について説明する。

多様な実施例によると、ディスプレイ１１は電子装置２００の外部（例：使用者）に情報を視覚的に提供することができる。ディスプレイ１１は、例えば、ディスプレイ、ホログラム装置、またはプロジェクタおよび該当装置を制御するための制御回路を含むことができる。一実施例によると、ディスプレイ１１はタッチを感知するように設定されたタッチ回路（ｔｏｕｃｈ ｃｉｒｃｕｉｔｒｙ）、または前記タッチによって発生する力の強さを測定するように設定されたセンサ回路（例：圧力センサ）を含むことができる。

多様な実施例によると、カメラ１２は、撮影のためのイメージセンサを含むことができる。

多様な実施例によると、第１通信回路１３は電子装置１０と外部電子装置（例：サーバー２０）間の無線通信チャネルの樹立および樹立された通信チャネルを通じての通信の遂行を支援することができる。第１通信回路１３は第１プロセッサ１８と独立的に運営され、無線通信を支援する一つ以上のコミュニケーションプロセッサを含むことができる。

多様な実施例によると、センサ１４は生体信号を接触式方式で獲得（またはセンシング）するための測定センサ１５、および撮影に関連した多様な種類の情報（撮影情報）を獲得（またはセンシング）するための環境センサ１６を含むことができる。

例えば、前記測定センサ１５は、ＰＰＧセンサ、ＳＰＯ２センサ、ＨＲＶセンサ、ＥＣＧセンサ、ＥＥＧセンサ、ＥＭＧセンサ、ＧＳＲセンサ、および／またはＳＫＴセンサを含むことができ、記載された例に制限されず、多様な種類のセンサをさらに含むことができる。一例として、前記ＰＰＧセンサは、皮膚に接触した状態で光を発光するので、受信される光の感光量の変化に基づいて、ＰＰＧ信号を測定するように具現されたセンサであり得る。

例えば、前記環境センサ１６により獲得される撮影情報は、撮影される周辺環境（例：光量、照度、温度、など）に関連した情報を測定するための第１環境センサ（例：照度センサ１６Ａ、など）、および撮影時の電子装置１０の状態（例：傾き、動き、位置、高さ、方向）に関連した情報を測定するための第２環境センサ（例：傾きセンサ１６ｂ、モーションセンサ（図示されず）、など）を含むことができる。前記環境センサ１６により獲得されるデータは、データと定義され得る。前記環境センサ１６により獲得される情報のうち少なくとも一部は、環境センサ１６ではなく、カメラ１２により撮影されるイメージを分析するための分析モジュール（図示されず）によって獲得されてもよい。例えば、前記分析モジュール（図示されず）はイメージのピクセルの値（例：明るさ値）に基づいて前記光量、照度などを識別することができる。

多様な実施例によると、第１メモリ１７は、電子装置２１０の少なくとも一つの構成要素（例：第１プロセッサ１８）により使われる多様なデータを保存することができる。例えば、第１メモリ１７は所定のアプリケーションを保存することができる。前記アプリケーションの実行に基づいて、後述される電子装置１０の動作が遂行され得る。

多様な実施例によると、電子装置１０は、アプリケーションは付加情報を獲得するように具現され得る。例えば、前記付加情報は使用者の性別、年、年齢、人種、ＢＭＩ指数などのような個人情報、カメラ１２のパラメータ（例：焦点距離など）に対するカメラ情報、検体との距離、撮影ビデオ解像度、秒当たりフレーム数（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ（ＦＰＳ））などのような撮影状態を示す撮影情報、およびイメージ（または映像）から分析可能な特性（例：検体に照らす光の方向（例：順光、逆光））を示すイメージ情報を含むことができる。この時、前記付加情報のうち一部（例：ＢＭＩ指数）は、これを算出するための人工知能モデルに基づいて、獲得されてもよい。

多様な実施例によると、第１プロセッサ１８は、例えば、ソフトウェアを実行して第１プロセッサ５２０に連結された電子装置２００の少なくとも一つの他の構成要素（例：ハードウェアまたはソフトウェア構成要素）を制御でき、多様なデータ処理または演算を遂行できる。一実施例によると、データ処理または演算の少なくとも一部として、第１プロセッサ５２０は他の構成要素（例：第２通信回路５４０または第３通信回路５５０）から受信された命令またはデータを揮発性メモリにロードし、揮発性メモリに保存された命令またはデータを処理し、結果データを不揮発性メモリに保存することができる。一実施例によると、第１プロセッサ５２０はメインプロセッサ（例：中央処理装置またはアプリケーションプロセッサ）、およびこれとは独立的にまたは共に運営可能な補助プロセッサ（例：グラフィック処理装置、イメージシグナルプロセッサ、センサハブプロセッサ、またはコミュニケーションプロセッサ）を含むことができる。追加的にまたは大まかに、補助プロセッサはメインプロセッサより低電力を使うか、または指定された機能に特化するように設定され得る。補助プロセッサはメインプロセッサとは別個に、またはその一部として具現され得る。

以下では、多様な実施例に係る、サーバー２０の構成の例について説明する。

多様な実施例によると、学習サーバー２０ａは、第２通信回路２１ａ、第２プロセッサ２２ａ、およびメモリ２３ａを含むことができる。前記第２通信回路２１ａは前述した第１通信回路１３、前記第２プロセッサ２２ａは前述した第１プロセッサ１８、そして、前記第２メモリ２３ａは前述した第１メモリ１７とともに具現され得るため、重複する説明は省略する。一方、図示されたおよび／または記載された例に制限されず、学習サーバー２０ａはより多くの構成要素をさらに含むように具現されるか、および／またはさらに少ない構成要素を含むように具現され得る。以下では、各構成の例について説明する。

多様な実施例によると、前記メモリ２３ａは、データベース２４ａ、人工知能モデル生成モジュール２５ａ、および第１生体信号測定モジュール２６ａを含むことができる。前記モジュール２５ａ、２６ａはコンピュータ読み取り可能なコンピュータコード、プログラム、ソフトウェア、アプリケーション、ＡＰＩ、および／またはインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）の形態で具現され、前記モジュール２５ａ、２６ａが実行されることに基づいて学習サーバー２０ａの第２プロセッサ２２ａが特定動作を遂行するように誘発され得る。

多様な実施例によると、前記データベース２４ａは、人工知能モデル生成のための多様な種類の情報を蓄積するように具現され得る。例えば、前記データベース２４ａは、後述される第１生体信号測定モジュール２６ａにより獲得される非接触式方式で測定される生体信号とそれに対応する接触式方式で測定される生体信号、環境センサ１６により測定される環境データ、および付加情報を保存することができる。前記付加情報は、前述した通り、個人情報、カメラ情報、撮影情報、および／またはイメージ情報などを含むことができる。

多様な実施例によると、前記人工知能モデル生成モジュール２５ａは、非接触式方式で測定される生体信号（例：ｒＰＰＧ）に基づいて接触式方式で測定される生体信号（例：ＰＰＧ）の正確度と類似する（または近い）正確度の生体信号を提供可能な人工知能モデルをラーニングすることができる。前記人工知能モデルのラーニングの例については、具体的に後述する。

多様な実施例によると、前記第１生体信号測定モジュール２６ａは、電子装置１０から受信される情報に基づいて非接触式生体信号および接触式生体信号を測定するように具現され得る。例えば、前記第１生体信号測定モジュール２６ａは図４に図示された通り、非接触式方式で収集される情報（例：カメラ１２により撮影される検体Ｓを含む複数のイメージ

）に基づいて生体信号（例：非接触生体信号）を獲得するための非接触獲得モジュール４２１、および接触式方式で収集される情報（例：センサ１４から収集されるセンシング情報）に基づいて生体信号（例：接触生体信号）を獲得するための接触獲得モジュール４２３を含むことができる。

一方、記載された例に制限されず、前記構成のうち少なくとも一部（例：データベース２４ａ、人工知能モデル生成モジュール２５ａ、および第１生体信号測定モジュール２６ａ）は電子装置１０に具現され得る。例えば、第１生体信号測定モジュール２６ａが電子装置１０に具現されることによって、電子装置１０は非接触式生体信号および接触式生体信号を獲得し、前記複数の信号を学習サーバー２０ａに伝送して、前記学習サーバー２０ａが人工知能モデルをラーニングするようにすることができる。

多様な実施例によると、利用サーバー２０ｂは、第３通信回路２１ｂ、第３プロセッサ２２ｂ、およびメモリ２４ｂを含むことができる。前記第３通信回路２１ｂは前述した第１通信回路１３、前記第３プロセッサ２２ｂは前述した第１プロセッサ１８、そして、前記第３メモリ２４ｂは前述した第１メモリ１７とともに具現され得るため、重複する説明は省略する。一方、図示されたおよび／または記載された例に制限されず、利用サーバー２０ｂはより多くの構成要素をさらに含むように具現されるか、および／またはさらに少ない構成要素を含むように具現され得る。以下では、各構成の例について説明する。

多様な実施例によると、第３メモリ２４ｂは、学習サーバー２０ａ（例：人工知能モデル生成モジュール２５ａ）によりラーニングされた少なくとも一つの人工知能モデル２３ｂ、２３ｃ、および前述した第１生体信号測定モジュール２６ａと同一の第２生体信号測定モジュール２４ｂを保存するように具現され得る。前記利用サーバー２０ｂは電子装置１０から受信される非接触方式で検出される検体Ｓに対する複数のイメージ、環境データ（例：環境センサ１４によりセンシングされる情報）、付加情報（例：個人情報、カメラ情報、撮影情報、またはイメージ情報のうち少なくとも一部）、および前記少なくとも一つの人工知能モデル２３ｂ、２３ｃに基づいて、特定の種類の生体信号を獲得し、獲得された特定の種類の生体信号を電子装置１０に伝送することができる。

一方、記載された例に制限されず、前記構成のうち少なくとも一部（例：少なくとも一つの人工知能モデル２３ｂ、２３ｃ、および前述した第２生体信号測定モジュール２４ｂ）は電子装置１０に具現され得る。例えば、第２生体信号測定モジュール２４ｂが電子装置１０に具現されることによって、電子装置１０は非接触式生体信号および接触式生体信号を獲得し、前記複数の信号を利用サーバー２０ｂに伝送することができる。

一方、記載された例に制限されず、利用サーバー２０ｂが具現されず、ラーニングされた少なくとも一つの人工知能モデル２３ｂ、２３ｃは学習サーバー２０ａの機能と利用サーバー２０ｂの機能をすべて遂行する単一のサーバー、および／または電子装置１０に保存された形態で利用されてもよい。

以下では、多様な実施例に係る、学習サーバー２０ａの人工知能モデル学習のための、データを獲得（または収集）する動作の例を説明する。

図５は、多様な実施例に係る、学習サーバー２０ａの人工知能モデル学習のための、データを獲得（または収集）する動作の例を示すフローチャートである。図示されたおよび／または記載された動作の順序とは無関係に動作が遂行され得、さらに多くの動作が遂行されるかおよび／またはさらに少ない動作が遂行されてもよい。以下では、図６～図７を参照して図５についてさらに説明する。

図６は、多様な実施例に係る、電子装置１０の非接触式方式そして、接触式方式で生体信号を同時に収集する動作の例を説明するための図面である。図７は、多様な実施例に係る、学習サーバー２０ａで人工知能モデル学習のための、データを蓄積する動作の例を説明するための図面である。

多様な実施例によると、学習サーバー２０ａ（例：第２プロセッサ２２ａ）は、動作５０１で、電子装置１０のカメラ１２を利用した検体Ｓに対する撮影に基づいて、特定の種類の第１生体信号を獲得し、第１接触センサ１５に基づいて第２生体信号を獲得し、５０３動作で、第２接触センサに基づいて前記特定の種類の第３生体信号を獲得することができる。例えば、図６を参照すると、学習サーバー２０ａは使用者Ｕ、前記使用者Ｕが把持する電子装置１０、および前記使用者Ｕの身体の一部に接触する外部測定センサ６００を利用して、前述した特定の種類の互いに関連した第１生体信号、第２生体信号、および第３生体信号をすべて（または同時に、または特定期間の間に）獲得することができる。前記生体信号が互いに関連するという意味は、互いに関連性が臨界値以上高い特定期間の間獲得されたものであることを意味し得る。例えば、前記生体信号の特定の種類はＰＰＧであり得る。図６に図示された通り、使用者Ｕは生体信号測定装置６００が使用者Ｕの第３検体（例：第１手の指Ｓ３）に具備（または装着）された状態で、電子装置１２のカメラ１０を利用して使用者の第１検体（例：顔Ｓ１）を撮影して電子装置１２の特定領域（例：後面）に配置される接触式センサＳ２に第２検体（例：第２手の指Ｓ２）を接触させることができる。これに伴い、図７を参照すると、学習サーバー２０ａは電子装置１０のカメラ１２により撮影された第１検体Ｓ１に対する複数のイメージ、および測定センサ１５により測定されたセンシングデータ（例：ｍｏｂｉｌｅ ＰＰＧ、ＭＰＰＧ）を受信し、前記外部測定センサ６００から外部測定センサ６００により測定されたセンシングデータ（例：ＰＰＧ）を受信することができる。

例えば、前記学習サーバー２０ａの非接触測定モジュール４２１は、第１検体Ｓ１に対する複数のイメージを分析したことに基づいて、特定の種類の非接触生体信号を獲得することができる。例えば、前記特定の種類の非接触生体信号は、ｒＰＰＧであり得る。前記複数のイメージは、前記カメラの少なくとも一つのパラメータが特定範囲内の値で設定されることに基づいて、獲得されるイメージであり得る。例えば、前記ＦＰＳが秒当たり２０～３０の範囲で、動画が撮影されるように前記カメラパラメータが設定された状態で、獲得されるイメージであり得る。

例えば、前記学習サーバー２０ａの第１接触測定モジュール４２３ａは測定センサ１５から受信されるセンシングデータに基づいて電子装置１０により自体測定された前記特定の種類の第１接触生体信号を獲得することができる。電子装置１０により自体測定された特定の種類の第１接触生体信号はＰＰＧであり、ＭＰＰＧ（ｍｏｂｉｌｅ ＰＰＧ）と定義され得る。前記第１接触測定モジュール４２３ａはすでに電子装置１０により測定されて電子装置１０から学習サーバー２０ａに受信されるＭＰＰＧを獲得できるが、記載された例に制限されず測定センサ１５から受信されるセンシングデータを獲得し、獲得されたセンシングデータを分析することに基づいてＭＰＰＧを測定するように具現されてもよい。

例えば、前記学習サーバー２０ａの第２接触測定モジュール４２３ｂは外部測定装置６００から受信されるセンシングデータに基づいて前記特定の種類の第２接触生体信号を獲得することができる。第２特定の種類の接触生体信号はＰＰＧであり、前述したＭＰＰＧ（ｍｏｂｉｌｅ ＰＰＧ）の正確度と比較して相対的に高い正確度を有することができる。前記第２接触測定モジュール４２３ｂはすでに外部測定装置６００により測定されて外部測定装置６００から学習サーバー２０ａに受信されるＰＰＧを獲得できるが、記載された例に制限されず外部測定装置６００から受信されるセンシングデータを獲得し、獲得されたセンシングデータを分析することに基づいてＰＰＧを測定するように具現されてもよい。

多様な実施例によると、学習サーバー２０ａ（例：データ獲得モジュール７００）は、動作５０５で、追加の学習情報を獲得することができる。前記追加学習情報は環境センサ１６に基づいて獲得される環境データおよびアプリケーション（図示されず）に基づいて獲得される個人情報、カメラ情報、撮影情報、またはイメージ情報のうち少なくとも一部を含む付加情報を含むことができる。例えば、電子装置１０は環境センサ１６を利用して、撮影される周辺環境に関連した情報および撮影時の電子装置１０の状態に関連した情報を獲得し、学習サーバー２０ａに伝送することができる。また、例えば、電子装置１０はアプリケーションの実行に基づいて、実行画面を通じて入力される個人情報を学習サーバー２０ａに伝送することができる。また、例えば、電子装置１０はアプリケーションの実行に基づいて、設定される権限に基づいて獲得されるカメラ情報、およびカメラ１２により撮影される映像および／またはイメージを分析したことに基づいて獲得される撮影情報とイメージ情報のうち少なくとも一部を学習サーバー２０ａに伝送することができる。

多様な実施例によると、データ獲得モジュール７００は前述した特定の種類の生体信号（例：非接触式生体信号、接触式第１生体信号、および接触式第２生体信号）および追加の学習情報を互いに関連した形態で、データベース２４ａに保存することができる。この時、データ獲得モジュール７００は特定の種類の生体信号（例：非接触式生体信号、接触式第１生体信号、および接触式第２生体信号）の時間同期化を遂行するように具現されてもよいが、記載された例に制限されず時間同期化が遂行されなくてもよい。

以下では、多様な実施例に係る、学習サーバー２０ａの５０１動作のうち少なくとも一部として、非接触式生体信号を獲得する動作の例を説明する。

図８は、多様な実施例に係る、学習サーバー２０ａの非接触式生体信号を獲得する動作の例を示すフローチャートである。図示されたおよび／または記載された動作の順序とは無関係に動作が遂行され得、より多くの動作が遂行されるかおよび／またはさらに少ない動作が遂行されてもよい。以下では、図９～図１１を参照して図８についてさらに説明する。

図９は、多様な実施例に係る、ノイズ低減のために、色チャネル（例：Ｇ値とＲ値、Ｇ値とＢ値）間の差値を獲得する動作の例を説明するための図面である。図１０は、多様な実施例に係る、特性値を獲得する動作の例を説明するための図面である。図１１は、多様な実施例に係る、特性値を獲得する動作の例を説明するための図面である。

多様な実施例によると、学習サーバー２０ａ（例：非接触測定モジュール４２１）は、動作８０１で検体を含む複数のイメージを獲得し、動作８０３で、複数のイメージに基づいて第１生体信号を獲得することができる。例えば、学習サーバー２０ａ（例：非接触測定モジュール４２１）は、検体を含む複数のイメージから、色チャネル別値を獲得し、色チャネル別値に基づいてｒＰＰＧを獲得することができる。例えば、前記色チャネルはＲＧＢ色空間のＲチャネル、Ｇチャネル、およびＢチャネルそれぞれを意味し得るが、記載されたおよび／または図示された例に制限されず、他の色空間（例：ＣＭＹ、ＨＳＶなど）のチャネルを意味してもよい。

この時、多様な実施例によると、図９を参照すると、ノイズ低減のために、色チャネル（例：Ｇ値とＲ値、Ｇ値とＢ値）間の差値に基づいて、ｒＰＰＧを獲得する動作が遂行され得る。

図９の（ａ）はＲＧＢ色空間により抽出されたＲｅｄチャネル値を示すグラフであり、図９の（ｂ）はＲＧＢ色空間により抽出されたＧｒｅｅｎチャネル値を示すグラフである。図９の（ａ）および（ｂ）を参照すると、抽出された色チャネル値は時間により変動が発生することが分かる。この時、抽出された色チャネル値は心臓の拍動により変動が発生したりもするが、被測定者の動きや、外部光の強度の変化により変動が発生したりもし得る。より具体的には、色チャネル値の変動が大きくゆっくり発生するのは、被測定者の動きや、外部光の強度の変化にさらに影響を多く受けて変動が発生するのであり、変動が小さく早く発生するのは被測定者の心臓の拍動にさらに影響を多く受けて変動が発生するものであり得る。したがって、心臓の拍動による変動より被測定者の動きや外部光の強度の変化による値の変動がさらに大きいので、これを低減させるために少なくとも二つの色チャネル値の相対的な差を利用することができる。

例示的に、ノイズを低減させるためにＧｒｅｅｎチャネル値とＲｅｄチャネル値の差値を利用することができる。より具体的には、同じイメージフレームで獲得されたＧｒｅｅｎチャネル値とＲｅｄチャネル値は同じ動きおよび同じ外部光の強度を反映することができ、同じフレームのＧｒｅｅｎチャネル値とＲｅｄチャネル値の差値は被測定者の動きおよび外部光の強度の変化などによるノイズを低減させることができるが、これに限定されず、少なくとも二つの色チャネル値の相対的な差を利用してノイズを低減させることができる。

図９の（ｃ）は、前記Ｇｒｅｅｎチャネル値と前記Ｒｅｄチャネル値の差値を示すグラフである。図９の（ｃ）に図示された通り、前記Ｇｒｅｅｎチャネル値と前記Ｒｅｄチャネル値の差値は被測定者の動きおよび外部光の強度の変化などによるノイズを低減させることができる。

また、前述したノイズを低減させる方法は獲得された複数個のイメージフレームのうち少なくとも一つのイメージフレームに対して遂行され得、連続した複数個のイメージフレームそれぞれに対して遂行されてもよい。

また、図９の（ｃ）に図示されてはいないが、前記Ｇｒｅｅｎチャネル値と前記Ｂｌｕｅチャネル値の差値を利用してノイズを低減させることもでき、前記Ｒｅｄチャネル値と前記Ｂｌｕｅチャネル値の差値を利用してノイズを低減させることもできる。

また、前述した通り、少なくとも二つの色チャネル値の相対的な差を利用してノイズを低減させるために差値を求めるために少なくとも二つの色チャネル値が選択され得る。

この時、前記少なくとも二つの色チャネル値は血液の吸光度を考慮して選択され得る。

多様な実施例によると、図１０～図１１を参照すると、学習サーバー２０ａは前記Ｇｒｅｅｎチャネル値と前記Ｒｅｄチャネル値の差値と前記Ｇｒｅｅｎチャネル値と前記Ｂｌｕｅチャネル値の差値それぞれのタイム－シリーズデータ（例：第１特性値、および第２特性値）を獲得し、獲得されたタイム－シリーズデータを併合することによって第３特性値を獲得し、前記第３特性値に基づいてｒＰＰＧを獲得することができる。

図１０の（ａ）は一実施例により獲得された色チャネル値を示すグラフであり、より具体的には、Ｇｒｅｅｎチャネル値とＲｅｄチャネル値の差値を示すグラフである。ただし、これは説明の便宜上Ｇｒｅｅｎチャネル値とＲｅｄチャネル値の差値で特定して示したものに過ぎず、これに限定されず多様な色チャネル値、差値および加工値などになり得る。

図１０の（ａ）を参照すると、Ｇｒｅｅｎチャネル値とＲｅｄチャネル値の差値（以下、「Ｇ－Ｒ値」として叙述する。）は時間により値の変化の大きさが一定でないこともあることが分かる。

この時、Ｇ－Ｒ値は被測定者の動きによって値が一定でないこともある。例えば、被測定者の動きが少ない場合にはＧ－Ｒ値の変化が小さくなり得、被測定者の動きが多い場合はＧ－Ｒ値の変化が大きくなり得るが、これに限定されはしない。

また、Ｇ－Ｒ値は外部光の強度により値が一定でないことがある。例えば、外部光の強度が弱い場合はＧ－Ｒ値の変化が小さくなり得、外部光の強度が強い場合はＧ－Ｒ値の変化が大きくなり得るが、これに限定されはしない。

したがって、このように被測定者の動きや外部光の強度などによるノイズを低減させるために特性値が抽出され得る。

また、前記特性値を抽出するために前記特性値に対するウインドウが設定され得る。

この時、前記特性値に対するウインドウは予め設定された時間区間を意味し得、予め設定されたフレーム個数を意味することもあるが、これに限定されず前記特性値を獲得するために複数個のフレームのうち少なくとも一部のフレームグループを設定するためのウインドウを意味し得る。

図１０の（ｂ）は特性値に対するウインドウを説明するための概略図であり、より具体的には、１８０個のイメージフレームを１０等分した１８個のイメージフレームで設定された特性値に対するウインドウを説明するための概略図である。ただし、これは説明の便宜上１８０個のイメージフレームを１０等分した１８個のイメージフレームで設定された特性値に対するウインドウを示したものに過ぎず、これに限定されず多様な方法と個数で特性値に対するウインドウが設定され得る。

図１０の（ｂ）を参照すると、獲得された複数個のイメージフレームは特性値に対するウインドウによってグループとして設定され得る。例えば、図１９の（ｂ）に図示された通り、１８０個のイメージフレームは特性値に対するウインドウによって各１８個のイメージフレームを含むグループとして設定され得る。より具体的には、第１イメージフレームから第１８イメージフレームまで第１イメージフレームグループ２２１０に含まれ得、第１９イメージフレームから第３６イメージフレームまで第２イメージフレームグループ２２２０に含まれ得るがこれに限定されない。

この時、前記特性値は特性値に対するウインドウによって設定されたイメージフレームグループに対して獲得され得る。例えば、前記特性値は第１イメージフレームグループ２２１０に対する色チャネル値に対して獲得され得、第２イメージフレームグループ２２２０に対する色チャネル値に対して獲得され得る。

また、例えば、前記特性値が平均値である場合、イメージフレームグループに対する色チャネル値の平均値が獲得され得る。より具体的には、第１イメージフレームグループ２２１０に含まれる第１～第１８イメージフレームに対するＧ－Ｒ値の平均値が獲得され得、第２イメージフレームグループ２２２０に含まれる第１９～第３６イメージフレームに対するＧ－Ｒ値の平均値が獲得され得るが、これに限定されはしない。

また、例えば、前記特性値が標準偏差値である場合、イメージフレームグループに対する色チャネル値の標準偏差値が獲得され得る。より具体的には、第１イメージフレームグループ２２１０に含まれる第１～第１８イメージフレームに対するＧ－Ｒ値の標準偏差値が獲得され得、第２イメージフレームグループ２２２０に含まれる第１９～第３６イメージフレームに対するＧ－Ｒ値の標準偏差値が獲得され得るが、これに限定されはしない。

ただし、前述した例示に限定されず、多様な特性値がイメージフレームグループに対して獲得され得る。

また、前記特性値は特性値に対するウインドウによって分けられたイメージフレームグループに含まれる少なくとも一部のイメージフレームに対して獲得され得る。例えば、前記特性値は第１イメージフレームグループ２２１０に含まれる１８個のイメージフレームのうち少なくとも一部のイメージフレームに対する色チャネル値に対して獲得され得、第２イメージフレームグループ２２２０に含まれる１８個のイメージフレームのうち少なくとも一部のイメージフレームに対する色チャネル値に対して獲得され得る。

また、例えば、前記特性値が偏差値である場合、イメージフレームグループに含まれる少なくとも一部のイメージフレームに対する色チャネル値の偏差値が獲得され得る。より具体的には、第１イメージフレームグループ２２１０のＧ－Ｒ値平均に対する第１イメージフレームグループに含まれる第１イメージフレームのＧ－Ｒ値の偏差値が獲得され得、第２イメージフレームグループ２２２０のＧ－Ｒ値平均に対する第２イメージフレームグループに含まれる第１９イメージフレームのＧ－Ｒ値の偏差値が獲得され得るが、これに限定されはしない。

また、例えば、前記特性値が偏差値である場合、イメージフレームグループに含まれる少なくとも一部のイメージフレームに対する色チャネル値の偏差値が獲得され得る。より具体的には、第１イメージフレームグループ２２１０のＧ－Ｒ値平均に対する第１イメージフレームグループに含まれる第１イメージフレームのＧ－Ｒ値の偏差値が獲得され得、第１イメージフレームグループ２２１０に含まれる第２イメージフレームのＧ－Ｒ値の偏差値が獲得され得るが、これに限定されはしない。

また、獲得された特性値は正規化され得る。

例えば、前記特性値が偏差値である場合、前記偏差値は標準偏差値によって正規化され得る。より具体的には、第１イメージフレームグループ２２１０のＧ－Ｒ値平均に対する第１イメージフレームグループ２２１０に含まれる第１イメージフレームのＧ－Ｒ値の偏差値が獲得された場合、前記第１イメージフレームのＧ－Ｒ値の偏差値は前記第１イメージフレームグループ２２１０の標準偏差値によって正規化され得るが、これに限定されず多様な方法で正規化され得る。

また、このように正規化される場合、変化量の大きさが正規化されて心臓拍動による値の変化をさらによく反映することができ、被測定者の動きによるノイズおよび外部光の強度変化などによるノイズを効果的に低減させることができる。

図１１の（ａ）は一実施例により獲得された二つの特性値を示すグラフであり、より具体的には、Ｇ－Ｒ値に基づいて獲得された第１特性値とＧ－Ｂ値に基づいて獲得された第２特性値を示すグラフである。ただし、これは説明の便宜上特定して示したものに過ぎず、これに限定されず多様な色チャネル値、差値および加工値に基づいて獲得された特性値となり得る。

この時、Ｇ－Ｒ値に基づいて獲得された第１特性値はＧ－Ｒ値に影響を受け得る。例えば、外部光がＢｌｕｅチャネルに近い光である場合、Ｇ－Ｒ値は心臓拍動による血液の変化をよく反映できないこともある。

または例えば、Ｇｒｅｅｎチャネルの吸光度およびＲｅｄチャネルの吸光度の差に影響を受けて心臓拍動による血液の変化を反映することができる。

また、Ｇ－Ｂ値に基づいて獲得された第２特性値はＧ－Ｂ値に影響を受け得る。例えば、外部光がＲｅｄチャネルに近い光である場合、Ｇ－Ｂ値は心臓拍動による血液の変化をよく反映できないこともある。

または例えば、Ｇｒｅｅｎチャネルの吸光度およびＢｌｕｅチャネルの吸光度の差に影響を受けて心臓拍動による血液の変化を反映することができる。

また、図１１の（ａ）を参照すると、第１特性値と第２特性値は互いに補完的な関係を有することができる。例えば、第１特性値が心臓拍動による変化をよく反映できない区間で第２特性値が心臓拍動による変化をよく反映することができ、その反対の場合も含まれる。

したがって、外部光の波長の変化によるノイズを低減させたり、心臓拍動による血液の変化をさらによく反映できるように第１特性値および第２特性値が利用され得る。

図１１の（ｂ）は前記第１特性値および前記第２特性値を利用して獲得された第３特性値を示すグラフであり、より具体的には、前記第１特性値および前記第２特性値を合わせて獲得された第３特性値を示すグラフである。ただし、これは説明の便宜上特定して示したものに過ぎず、これに限定されない。

また、前記第３特性値は前記第１特性値および前記第２特性値の演算に基づいて獲得され得る．例えば、前記第３特性値は前記第１特性値および前記第２特性値の和演算に基づいて獲得され得るが、これに限定されず、差演算、積演算などの多様な演算に基づいて獲得され得る。

また、前記第３特性値は前記第１特性値および前記第２特性値に多様な加重値を付与して獲得され得る。例えば、以下の数１に基づいて獲得され得るが、これに限定されない。

（数１）
第３特性値＝ａ・第１特性値＋ｂ・第２特性値

また、図１１の（ａ）および（ｂ）を参照すると、前記第３特性値は前記第１特性値および前記第２特性値より心臓拍動による血液の変化をよく反映することができ、外部光の波長の変化によるノイズを低減させることができる。

以下では、多様な実施例に係る、学習サーバー２０ａの５０５動作のうち少なくとも一部として、複数の生体信号に対する時刻同期化を遂行する動作の例を説明する。

図１２は、多様な実施例に係る、学習サーバー２０ａの非接触式生体信号を獲得する動作の例を示すフローチャートである。図示されたおよび／または記載された動作の順序とは無関係に動作が遂行され得、より多くの動作が遂行されるかおよび／またはさらに少ない動作が遂行されてもよい。以下では、図１３～図１４を参照して、図１２についてさらに説明する。

図１３は、多様な実施例に係る、生体信号の例を説明するための図面である。図１４は、多様な実施例に係る、学習サーバー２０ａの生体信号の時間同期化動作の例を説明するための図面である。

多様な実施例によると、学習サーバー２０ａ（例：データ獲得モジュール７００）は、動作１２０１で、複数の生体信号間の時間同期化を遂行し、動作１２０３で、時間同期化された複数の生体信号を保存することができる。例えば、図１３を参照すると、複数の生体信号１３０１、１３０１が測定される検体Ｓ１、Ｓ２の位置が異なることに基づいて、複数の生体信号１３０１、１３０３それぞれは互いに時間別の大きさ（または強度）が異なり得る（またはパターンが異なり得る）。例えば、使用者Ｕの心臓から近い検体Ｓ１（例：顔）を撮影したことに基づいて獲得される第１生体信号１３０１より、相対的に心臓から遠い検体Ｓ２（例：第１手の指）が接触されることに基づいて測定センサ１５により獲得される第２生体信号１３０３が特定時間ｔｄだけ遅くなり得る。これに伴い、学習サーバー２０ａは、さらに精巧な学習のために、前記特定時間ｔｄに基づいて複数の生体信号１３０１、１３０３の時間を同期化することができる。例えば図１４を参照すると、学習サーバー２０ａは、前記第２生体信号１３０３の特定時間ｔｄに対応するだけの信号１３０３ａを削除（または除外）させるか、前記第２生体信号１３０３の時間を特定時間ｔｄだけ操り上げる動作を遂行できる。また、例えば、学習サーバー２０ａは特定時間ｔｄだけ前記第１生体信号１３０３を後に移動させる動作（例：タイムシフティング）を遂行できる。一方、図示されてはいないが、外部測定センサ６００により測定される第３生体信号に対する時刻同期化も遂行できる。

多様な実施例によると、学習サーバー２０ａは、複数の生体信号１３０１、１３０３の中で、基準生体信号を選択し、前記選択された基準生体信号を基準として識別される前記特定時間ｔｄに基づいて残りの生体信号を時刻同期化することができる。例えば、学習サーバー２０ａは、複数の生体信号１３０１、１３０３の中で心臓から最も近い検体Ｓ１に関連した第１生体信号１３０１を基準信号として選択することができる。学習サーバー２０ａは、残りの第２生体信号１３０３（および／または外部測定センサ６００により測定された生体信号）に関連した検体Ｓ２と第１基準信号１３０１に対応する検体Ｓ２の距離差に基づいて、前記特定時間ｔｄを識別し、前述した時刻同期化動作を遂行できる。一方、図示されてはいないが、外部測定センサ６００により測定される第３生体信号に対する時刻同期化もこのように遂行され得る。

多様な実施例によると、学習サーバー２０ａは、使用者の個人特性情報に基づいて、前記特定時間ｔｄを決定することができる。学習サーバー２０ａは、複数の遅延時間に対する情報を保存し、複数の遅延時間の中で前記使用者の個人特性情報に対応する特定時間ｔｄを識別することができる。一例として、身長が大きいほど、相対的にさらに長い前記特定時間ｔｄが選択され得る。

多様な実施例によると、学習サーバー２０ａは、前記時刻同期化のための人工知能モデルを具現し、具現された人工知能モデルに基づいて時刻同期化を遂行してもよい。

以下では、多様な実施例に係る、学習サーバー２０ａの非接触式方式で獲得された特定の種類の生体信号に基づいて、接触式方式に対応するだけの正確度を有する特定の種類の生体信号に対する情報を提供するように具現される人工知能モデルを生成する動作の例を説明する。以下では、前記特定の種類の生体信号がＰＰＧであるものを例に挙げて説明するが、記載された例に制限されず、多様な種類の生体信号を測定するための人工知能モデルが具現され得る。

図１５は、多様な実施例に係る、学習サーバー２０ａの非接触式方式で獲得された特定の種類の生体信号に基づいて、接触式方式に対応するだけの正確度を有する特定の種類の生体信号に対する情報を提供するように具現される人工知能モデルを生成する動作の例を示すフローチャートである。図示されたおよび／または記載された動作の順序とは無関係に動作が遂行され得、より多くの動作が遂行されるかおよび／またはさらに少ない動作が遂行されてもよい。以下では、図１６～図１８ｂを参照して、図１５についてさらに説明する。

図１６は、多様な実施例に係る、学習サーバー２０ａの人工知能モデルを生成する動作の例を説明するための図面である。図１７は、多様な実施例に係る、学習サーバー２０ａにより生成される少なくとも一つの人工知能モデルの一例を説明するための図面である。図１８ａは、多様な実施例に係る、学習サーバー２０ａにより生成される少なくとも一つの人工知能モデルの他の例を説明するための図面である。図１８ｂは、多様な実施例に係る、学習サーバー２０ａにより生成される少なくとも一つの人工知能モデルのさらに他の例を説明するための図面である。

多様な実施例によると、学習サーバー２０ａは、動作１５０１で、電子装置１０のカメラ１２を利用した検体Ｓに対する撮影に基づいて、特定の種類の第１生体信号を獲得し、第１接触センサ１５に基づいて第２生体信号を獲得し、動作１５０３で、第２接触センサに基づいて前記特定の種類の第３生体信号を獲得し、動作１５０５で、第２接触センサに基づいて、前記特定の種類の第３生体信号を獲得することができる。前記学習サーバー２０ａの動作１５０１～動作１５０５は、前述した学習サーバー２０ａの動作５０１～動作５０５のように具現され得るので重複する説明は省略する。

多様な実施例によると、学習サーバー２０ａは、動作１５０７で、複数の生体信号および前記追加学習情報に基づいて、前記特定の種類の生体信号を獲得するための少なくとも一つの人工知能モデルを獲得することができる。例えば、図１６を参照すると、人工知能モデル生成モジュール２５ａは、データ獲得モジュール７００によりデータベース２４ａに保存された複数の生体信号（ＭＰＰＧ１７２０、ｒＰＰＧ１７４０、ＰＰＧ１７５０）および追加学習情報１７３０（例：付加情報１７３１、および環境データ１７３３）に基づいて、少なくとも一つの人工知能モデル１７００ａ～１７００ｆ、および１８００を生成することができる。この時、データベース２４ａに保存されたＰＰＧデータは互いに時間同期化がされていることもあり得るが、記載された例に制限されず時間同期化がされていないこともあり得る。前記少なくとも一つの人工知能モデル１７００ａ～１７００ｆ、および１８００は、非接触方式で獲得された検体に対する情報（例：顔を含む複数のイメージ）に基づいて、接触方式で獲得されるＰＰＧに対応する正確度のＰＰＧ推定値を提供するように具現され得る。例えば、人工知能モデル生成モジュール２５ａは教師あり学習、教師なし学習、半教師あり学習、強化学習等を通じて人工知能モデルを具現することができる。また、一実施例に係る人工知能モデル生成モジュール２５ａは、人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＡＮＮ）で人工知能モデルを具現することができる。例えば、前記人工知能モデル生成モジュール２５ａは、フィードフォワードニューラルネットワーク（Ｆｅｅｄｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、放射ニューラルネットワーク（ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ ｎｅｔｗｏｒｋ）またはコホネン自己組織化ニューラルネットワーク（ｋｏｈｏｎｅｎ ｓｅｌｆ－ｏｒｇａｎｉｚｉｎｇ ｎｅｔｗｏｒｋ）等を利用することができるが、これに限定されない。また、一実施例に係る人工知能モデル生成モジュール２５ａは深層ニューラルネットワーク（Ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＤＮＮ）で人工知能モデルを具現することができる。例えば、前記人工知能モデル生成モジュール２５ａは畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）、循環人工ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＲＮＮ）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ Ｎｅｔｗｏｒｋ）またはＧＲＵｓ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔｓ）等を利用することができるが、これに限定されない。

多様な実施例によると、学習サーバー２０ａは非接触ＰＰＧ（ｒＰＰＧ）を獲得するためのモデル１７００ａ、１７００ｃ、１７００ｅおよび接触ＰＰＧを獲得するためのモデル１７００ｂ、１７００ｄ、１７００ｆをラーニングするように具現され得る。これに伴い、前記ｒＰＰＧ獲得モデル１７００ａ、１７００ｃ、１７００ｅにイメージ情報１７１０（例：複数のイメージ）が入力されることにより出力されるｒＰＰＧ１７４０が第２ＰＰＧ獲得モデル１７００ｂ、１７００ｄ、１７００ｆに入力されることによって出力される、ＰＰＧ１７５０が獲得され得る。

一実施例で、図１７の（ａ）を参照すると、学習サーバー２０ａは非接触ＰＰＧ（ｒＰＰＧ）を獲得するための人工知能モデル（例：第１ｒＰＰＧ獲得モデル１７００ａ）および接触ＰＰＧを獲得するための人工知能モデル（例：第１ＰＰＧ獲得モデル１７００ｂ）をラーニングするように具現され得る。例えば、学習サーバー２０ａは、データベース２４ａ内に保存された互いに関連した情報の中で、カメラ１２により撮影されたイメージ情報１７１０および追加学習情報１７３０（例：付加情報１７３１、および環境データ１７３３）を入力データとし、ｒＰＰＧ１７４０を出力データとしてラーニングすることで、第１ｒＰＰＧ獲得モデル１７００ａを獲得することができる。前記第１ｒＰＰＧ獲得モデル１７００ａはイメージ情報１７１０および追加学習情報１７３０（例：付加情報１７３１、環境データ１７３３）が入力される場合、ｒＰＰＧ１７４０を出力するように具現され得る。また、例えば、学習サーバー２０ａは、データベース２４ａ内に保存された情報の中で、ｒＰＰＧ１７４０およびＭＰＰＧ１７２０を入力データとし、ＰＰＧ１７５０を出力データとしてラーニングすることで、第１ＰＰＧ獲得モデル１７００ｂを獲得することができる。前記第２ＰＰＧ獲得モデル１７００ｂは、ｒＰＰＧ１７４０およびＭＰＰＧ１７２０が入力される場合、ＰＰＧ１７５０を出力するように具現され得る。前記第１ｒＰＰＧ獲得モデル１７００ａにイメージ情報１７１０および追加学習情報１７３０（例：付加情報１７３１、環境データ１７３３）が入力されることにより出力されるｒＰＰＧ１７４０と電子装置１０により獲得されるＭＰＰＧ１７２０が第２ＰＰＧ獲得モデル１７００ｂに入力されることによって出力される、ＰＰＧ１７５０が獲得され得る。

また、一実施例で、図１７の（ｂ）を参照すると、学習サーバー２０ａは非接触ＰＰＧ（ｒＰＰＧ）を獲得するためのモデル（例：第２ｒＰＰＧ獲得モデル１７００ｃ）および接触ＰＰＧを獲得するための人工知能モデル（例：第２ＰＰＧ獲得モデル１７００ｄ）をラーニングするように具現され得る。例えば、学習サーバー２０ａは、データベース２４ａ内に保存された互いに関連した情報の中で、カメラ１２により撮影されたイメージ情報１７１０を入力データとし、ｒＰＰＧ１７４０を出力データとしてラーニングすることで、第２ｒＰＰＧ獲得モデル１７００ｃを獲得することができる。前記第２ｒＰＰＧ獲得モデル１７００ｃはイメージ情報１７１０が入力される場合、ｒＰＰＧ１７４０を出力するように具現され得る。一方、記載された例に制限されず、第２ｒＰＰＧ獲得モデル１７００ｃは図９で前述した、Ｇ－Ｒ、およびＧ－Ｂに基づいて第３特性値を獲得するソフトウェアおよび／またはアルゴリズムであり得る。また、例えば、学習サーバー２０ａは、データベース２４ａ内に保存された情報の中で、ｒＰＰＧ１７４０、追加学習情報１７３０、およびＭＰＰＧ１７２０を入力データとし、ＰＰＧ１７５０を出力データとしてラーニングすることで、第２ＰＰＧ獲得モデル１７００ｄを獲得することができる。前記第２ＰＰＧ獲得モデル１７００ｄは、ｒＰＰＧ１７４０、追加学習情報１７３０およびＭＰＰＧ１７２０が入力される場合、ＰＰＧ１７５０を出力するように具現され得る。前記第２ｒＰＰＧ獲得モデル１７００ｃにイメージ情報１７１０が入力されることにより出力されるｒＰＰＧ１７４０と電子装置１０により獲得されるＭＰＰＧ１７２０と追加学習情報１７３０（例：付加情報１７３１、環境データ１７３３）が第２ＰＰＧ獲得モデル１７００ｄに入力されることによって出力される、ＰＰＧ１７５０が獲得され得る。

また、一実施例で、図１７の（ｃ）を参照すると、学習サーバー２０ａは非接触ＰＰＧ（ｒＰＰＧ）を獲得するための人工知能モデル（例：第３ｒＰＰＧ獲得モデル１７００ｅ）および接触ＰＰＧを獲得するための人工知能モデル（例：第３ＰＰＧ獲得モデル１７００ｆ）をラーニングするように具現され得る。例えば、学習サーバー２０ａは、データベース２４ａ内に保存された互いに関連した情報の中で、カメラ１２により撮影されたイメージ情報１７１０、ＭＰＰＧ１７２０、および追加学習情報１７３０を入力データとし、ｒＰＰＧ１７４０を出力データとしてラーニングすることで、第３ｒＰＰＧ獲得モデル１７００ｅを獲得することができる。前記第３ｒＰＰＧ獲得モデル１７００ｅはイメージ情報１７１０、ＭＰＰＧ１７２０、および追加学習情報１７３０（例：付加情報１７３１、環境データ１７３３）が入力される場合、ｒＰＰＧ１７４０を出力するように具現され得る。また、例えば、学習サーバー２０ａは、データベース２４ａ内に保存された情報の中で、ｒＰＰＧ１７４０を入力データとし、ＰＰＧ１７５０を出力データとしてラーニングすることで、第３ＰＰＧ獲得モデル１７００ｄを獲得することができる。前記第３ＰＰＧ獲得モデル１７００ｆは、ｒＰＰＧ１７４０が入力される場合、ＰＰＧ１７５０を出力するように具現され得る。前記第３ｒＰＰＧ獲得モデル１７００ｅにイメージ情報１７１０、ＭＰＰＧ１７２０、および追加学習情報１７３０（例：付加情報１７３１、環境データ１７３３）が入力されることにより出力されるｒＰＰＧ１７４０が第３ＰＰＧ獲得モデル１７００ｆに入力されることによって出力される、ＰＰＧ１７５０が獲得され得る。

多様な実施例によると、学習サーバー２０ａは、ＰＰＧを獲得するための単一の統合人工知能モデル（例：第１統合人工知能モデル１８００）をラーニングしてもよい。例えば、図１８ａを参照すると、学習サーバー２０ａはイメージ情報１７１０、ＭＰＰＧ１７２０、および追加学習情報１７３０を入力データとし、ＰＰＧ１７４０を出力データとしてラーニングすることで、第１統合人工知能モデル１８００を獲得することができる。前記第１－１統合人工知能モデル１８００ａは、イメージ情報１７１０、ＭＰＰＧ１７２０、および追加学習情報１７３０（例：付加情報１７３１、環境データ１７３３）が入力される場合、ＰＰＧ１７５０を出力するように具現され得る。一方、記載された例に制限されず、前記第１－１統合人工知能モデル１８００ａは、イメージ情報１７１０、ＭＰＰＧ１７２０、および追加学習情報１７３０（例：付加情報１７３１、環境データ１７３３）が入力される場合、ｒＰＰＧ１７２０を出力するように具現され得る。

多様な実施例によると、学習サーバー２０ａは、ＰＰＧを獲得するための単一の統合人工知能モデル（例：第１統合人工知能モデル１８００）をラーニングしてもよい。例えば、図１８ｂを参照すると、学習サーバー２０ａはイメージ情報１７１０、ＰＰＧ１７５０、および追加学習情報１７３０を入力データとし、ｒＰＰＧ１７４０またはＭＰＰＧ１７２０を出力データとしてラーニングすることで、第１－２統合人工知能モデル１８００ｂを獲得することができる。前記第１－２統合人工知能モデル１８００ｂは、イメージ情報１７１０、ＰＰＧ１７５０、および追加学習情報１７３０（例：付加情報１７３１、環境データ１７３３）が入力される場合、ＭＰＰＧ１７２０またはｒＰＰＧ１７４０を出力するように具現され得る。

以下では、多様な実施例に係る、学習サーバー２０ａの１５０７動作の少なくとも一部として、時間同期化なしに人工知能モデルを生成する動作の例を説明する。

図１９は、多様な実施例に係る、学習サーバー２０ａの時間同期化なしに人工知能モデルを生成する動作の例を示すフローチャートである。図示されたおよび／または記載された動作の順序とは無関係に動作が遂行され得、より多くの動作が遂行されるかおよび／またはさらに少ない動作が遂行されてもよい。

多様な実施例によると、学習サーバー２０ａは、動作１９０１で、互いに異なる複数の生体信号（例：ｒＰＰＧ、ＭＰＰＧ、ＰＰＧ）間の時間同期化の遂行なしに、トレーニングデータとして複数の生体信号（例：ｒＰＰＧ、ＭＰＰＧ、ＰＰＧ）を獲得することができる。これに伴い、学習サーバー２０ａは、時間同期化が遂行されていない複数の生体信号（例：ｒＰＰＧ、ＭＰＰＧ、ＰＰＧ）に基づいて前述した少なくとも一つの人工知能モデル１７００ａ～１７００ｆ、および１８００を学習する動作を遂行できる。これに伴い、具現された少なくとも一つの人工知能モデル１７００ａ～１７００ｆ、および１８００は、今後電子装置１０により獲得された情報が時間同期化されていない状態で入力されても、正確度の高いＰＰＧに対する情報を出力するように具現され得る。

以下では、多様な実施例に係る、学習サーバー２０ａのさらに他の人工知能モデルの生成動作の例を説明するための図面である。以下では、前記特定の種類の生体信号がＰＰＧであるものを例に挙げて説明するが、記載された例に制限されず、多様な種類の生体信号を測定するための人工知能モデルが具現され得る。

多様な実施例によると、前記複数の生体信号（例：ｒＰＰＧ、ＭＰＰＧ、ＰＰＧ）の間の時間差ｔｄは、血圧のような身体情報を測定するのに利用されてもよい。

図２０は、多様な実施例に係る、学習サーバー２０ａのさらに他の人工知能モデルの生成動作の例を示すフローチャートである。図示されたおよび／または記載された動作の順序とは無関係に動作が遂行され得、より多くの動作が遂行されるかおよび／またはさらに少ない動作が遂行されてもよい。以下では、図２１～図２３を参照して、図２０についてさらに説明する。

図２１は、多様な実施例に係る、学習サーバー２０ａが人工知能モデルを生成するために、ｒＰＰＧおよびＰＰＧを利用する動作の例を説明するための図面である。図２２は、多様な実施例に係る、学習サーバー２０ａが人工知能モデルを生成するために、ＭＰＰＧおよびＰＰＧを利用する動作の例を説明するための図面である。図２３は、多様な実施例に係る、学習サーバー２０ａにより生成される少なくとも一つの人工知能モデルの一例を説明するための図面である。

多様な実施例によると、学習サーバー２０ａは、動作２００１で、電子装置１０のカメラ１２を利用した検体Ｓに対する撮影に基づいて、特定の種類の第１生体信号を獲得し、動作２００３で接触センサ（例：外部測定センサ６００、接触センサ１５）に基づいて第２生体信号を獲得し、動作２００５で、前記追加の学習情報を獲得することができる。例えば、学習サーバー２０ａは、人工知能モデルの生成のためにｒＰＰＧ、ＰＰＧ、およびＭＰＰＧをすべて獲得するのではなく、図２１に図示された通り、ｒＰＰＧおよびＰＰＧを獲得したり、または図２２に図示された通り、ｒＰＰＧおよびＭＰＰＧを獲得することができる。その他に重複する説明は省略する。

多様な実施例によると、学習サーバー２０ａは、動作２００７で、複数の生体信号および前記追加学習情報のうち少なくとも一部に基づいて、前記特定の種類の生体信号を獲得するための少なくとも一つのモデル２３００ａ、２３００ｂ、２３００ｃ、２３００ｄ、２３００ｅを獲得することができる。例えば、学習サーバー２０ａは、結果的にＭＰＰＧに対する情報またはＰＰＧに対する情報を出力するように具現される少なくとも一つの人工知能モデルを生成することができる。

また、一実施例で、図２３の（ａ）を参照すると、学習サーバー２０ａは非接触ＰＰＧ（ｒＰＰＧ）を獲得するための人工知能モデル（例：第４ｒＰＰＧ獲得モデル２３００ａ）およびＰＰＧ２３０１（例：ＭＰＰＧ、またはＰＰＧ）を獲得するための人工知能モデル（例：第４ＰＰＧ獲得モデル２３００ｂ）をラーニングするように具現され得る。例えば、学習サーバー２０ａは、データベース２４ａ内に保存された互いに関連した情報の中で、カメラ１２により撮影されたイメージ情報１７１０を入力データとし、ｒＰＰＧ１７４０を出力データとしてラーニングすることで、第４ｒＰＰＧ獲得モデル２３００ａを獲得することができる。前記第４ｒＰＰＧ獲得モデル２３００ａはイメージ情報１７１０が入力される場合、ｒＰＰＧ１７４０を出力するように具現され得る。一方、記載された例に制限されず、第４ｒＰＰＧ獲得モデル２３００ａは図９で前述した、Ｇ－Ｒ、およびＧ－Ｂに基づいて第３特性値を獲得するソフトウェアおよび／またはアルゴリズムであり得る。また、例えば、学習サーバー２０ａは、データベース２４ａ内に保存された情報の中で、ｒＰＰＧ１７４０および追加学習情報１７３０を入力データとし、ＰＰＧ２３０１（例：ＭＰＰＧ、またはＰＰＧ）を出力データとしてラーニングすることで、第４ＰＰＧ獲得モデル２３００ｂを獲得することができる。前記第４ＰＰＧ獲得モデル２３００ｂは、ｒＰＰＧ１７４０および追加学習情報１７３０（例：付加情報１７３１、環境データ１７３３）が入力される場合、ＰＰＧ２３０１（例：ＭＰＰＧ、またはＰＰＧ）を出力するように具現され得る。前記第４ｒＰＰＧ獲得モデル２３００ａにイメージ情報１７１０が入力されることにより出力されるｒＰＰＧ１７４０とともに追加学習情報１７３０（例：付加情報１７３１、環境データ１７３３）が第４ＰＰＧ獲得モデル２３００ｂに入力されることによって出力される、ＰＰＧ２３０１（例：ＭＰＰＧ、またはＰＰＧ）が獲得され得る。

また、一実施例で、図２３の（ａ）を参照すると、学習サーバー２０ａは非接触ＰＰＧ（ｒＰＰＧ）を獲得するための人工知能モデル（例：第４ｒＰＰＧ獲得モデル２３００ａ）およびＰＰＧ２３０１（例：ＭＰＰＧ、またはＰＰＧ）を獲得するための人工知能モデル（例：第４ＰＰＧ獲得モデル２３００ｂ）をラーニングするように具現され得る。例えば、学習サーバー２０ａは、データベース２４ａ内に保存された互いに関連した情報の中で、カメラ１２により撮影されたイメージ情報１７１０を入力データとし、ｒＰＰＧ１７４０を出力データとしてラーニングすることで、第４ｒＰＰＧ獲得モデル２３００ａを獲得することができる。前記第４ｒＰＰＧ獲得モデル２３００ａはイメージ情報１７１０が入力される場合、ｒＰＰＧ１７４０を出力するように具現され得る。また、例えば、学習サーバー２０ａは、データベース２４ａ内に保存された情報の中で、ｒＰＰＧ１７４０および追加学習情報１７３０を入力データとし、ＰＰＧ２３０１（例：ＭＰＰＧ、またはＰＰＧ）を出力データとしてラーニングすることで、第４ＰＰＧ獲得モデル２３００ｂを獲得することができる。前記第４ＰＰＧ獲得モデル２３００ｂは、ｒＰＰＧ１７４０が入力される場合、ＰＰＧ２３０１（例：ＭＰＰＧ、またはＰＰＧ）を出力するように具現され得る。前記第４ｒＰＰＧ獲得モデル２３００ａにイメージ情報１７１０が入力されることにより出力されるｒＰＰＧ１７４０が第４ＰＰＧ獲得モデル２３００ｂに入力されることによって出力される、ＰＰＧ２３０１（例：ＭＰＰＧ、またはＰＰＧ）が獲得され得る。

また、一実施例で、図２３の（ｂ）を参照すると、学習サーバー２０ａは非接触ＰＰＧ（ｒＰＰＧ）を獲得するための人工知能モデル（例：第５ｒＰＰＧ獲得モデル２３００ｃ）およびＰＰＧ２３０１（例：ＭＰＰＧ、またはＰＰＧ）を獲得するための人工知能モデル（例：第５ＰＰＧ獲得モデル２３００ｄ）をラーニングするように具現され得る。例えば、学習サーバー２０ａは、データベース２４ａ内に保存された互いに関連した情報の中で、カメラ１２により撮影されたイメージ情報１７１０および追加学習情報１７３０を入力データとし、ｒＰＰＧ１７４０を出力データとしてラーニングすることで、第５ｒＰＰＧ獲得モデル２３００ｃを獲得することができる。前記第５ｒＰＰＧ獲得モデル２３００ｃはイメージ情報１７１０および追加学習情報１７３０（例：付加情報１７３１、環境データ１７３３）が入力される場合、ｒＰＰＧ１７４０を出力するように具現され得る。また、例えば、学習サーバー２０ａは、データベース２４ａ内に保存された情報の中で、ｒＰＰＧ１７４０を入力データとし、ＰＰＧ２３０１（例：ＭＰＰＧ、またはＰＰＧ）を出力データとしてラーニングすることで、第５ＰＰＧ獲得モデル２３００ｄを獲得することができる。前記第５ＰＰＧ獲得モデル２３００ｄは、ｒＰＰＧ１７４０が入力される場合、ＰＰＧ２３０１（例：ＭＰＰＧ、またはＰＰＧ）を出力するように具現され得る。前記第５ｒＰＰＧ獲得モデル２３００ｃにイメージ情報１７１０が入力されることにより出力されるｒＰＰＧ１７４０が第５ＰＰＧ獲得モデル２３００ｄに入力されることによって出力される、ＰＰＧ２３０１（例：ＭＰＰＧ、またはＰＰＧ）が獲得され得る。

多様な実施例によると、学習サーバー２０ａは、ＰＰＧを獲得するための単一の統合人工知能モデル（例：第２統合人工知能モデル２３００ｅ）をラーニングしてもよい。例えば、図２３の（ｃ）を参照すると、学習サーバー２０ａはイメージ情報１７１０、ＭＰＰＧ１７２０、および追加学習情報１７３０を入力データとし、ＰＰＧ２３０１（例：ＭＰＰＧ、またはＰＰＧ）を出力データとしてラーニングすることで、第２統合人工知能モデル２３００ｅを獲得することができる。前記第２統合人工知能モデル２３００ｅは、イメージ情報１７１０、ＭＰＰＧ１７２０、および追加学習情報１７３０（例：付加情報１７３１、環境データ１７３３）が入力される場合、ＰＰＧ２３０１（例：ＭＰＰＧ、またはＰＰＧ）を出力するように具現され得る。

以下では、多様な実施例に係る、電子装置１０の人工知能モデルを利用して、非接触式方式で獲得された情報に基づいて接触式方式と類似する正確度の生体信号を提供する動作の例を説明するための図面である。以下では、前記特定の種類の生体信号がＰＰＧであるものを例に挙げて説明するが、記載された例に制限されず、多様な種類の生体信号を測定するための人工知能モデルが具現され得る。

図２４は、多様な実施例に係る、電子装置１０の人工知能モデルを利用して、接触式方式と類似する正確度の生体信号を提供する動作の例を説明するためのフローチャートである。図示されたおよび／または記載された動作の順序とは無関係に動作が遂行され得、より多くの動作が遂行されるかおよび／またはさらに少ない動作が遂行されてもよい。以下では、図２５を参照して、図２４についてさらに説明する。

図２５は、多様な実施例に係る、電子装置１０の人工知能モデルを利用して、接触式方式と類似する正確度の生体信号を提供する動作の説明するための図面である。

多様な実施例によると、電子装置１０は、動作２４０１で、アプリケーションを実行することができる。例えば、前記アプリケーションは、非接触式方式で使用者Ｕの身体の一部（すなわち、検体）に対する情報を獲得したことに基づいて、接触式方式の正確度を有する生体信号に対する情報および／または前記生体信号に基づいて分析される生体情報（例：血圧、血糖など）を提供するように具現されたアプリケーションであり得る。

多様な実施例によると、電子装置１０は、動作２４０３で、追加の学習情報を獲得することができる。例えば、前記電子装置１０は追加学習情報として、個人情報を獲得することができる。前記個人情報（例：性別、年、年齢、人種など）に対する情報を入力するためのアプリケーションの実行画面を表示し、前記実行画面を通じて入力される使用者の特性情報を保存し、および／またはサーバー２０（例：利用サーバー２０ｂ）に伝送することができる。前記アプリケーションの実行画面は、使用者の加入時に提供される実行画面、および／または使用者の個人情報を入力するための実行画面であり得る。一方、記載された例に制限されず、前記電子装置１０は、追加学習情報としてカメラ情報、撮影情報、および／またはイメージ情報を獲得することができる。

多様な実施例によると、電子装置１０は、動作２４０５で、電子装置１０のカメラ１２を利用して複数のイメージを獲得し、動作２４０７で電子装置１０の接触センサ１５を利用してセンシングデータを獲得することができる。例えば、図２１に図示された通り、電子装置１０は、使用者に、カメラ１２を利用して使用者の顔を撮影しながら、接触センサ１５に身体の一部（例：指）を接触させるようにガイドするためのアプリケーションの実行画面２５０１を表示することができる。前記実行画面２５０１は、使用者の顔が表示される領域２５０１ａ、ガイドするためのテキスト（例：「センサに指を接触して顔を撮影します。」）が表示される領域２５０１ｂ、および使用者の撮影環境に対する情報（例：電子装置１０と顔との距離、位置、傾き、照度など）が表示される領域２５０１ｃを含むことができる。これに伴い、電子装置１０は、カメラ１２を利用して使用者の顔を含む複数のイメージを獲得し、後面に配置される接触センサ１５を利用してセンシングデータを獲得し、撮影時に追加学習情報（例：環境センサ１６により獲得される環境データ、および付加情報）を獲得することができる。一方、前述した通り、前記付加情報は個人情報、カメラ情報、撮影情報、および／またはイメージ情報を含むことができる。電子装置１０は、前記獲得された情報をサーバー２０（例：利用サーバー２０ｂ）に伝送することができる。

多様な実施例によると、アプリケーションは、実行時、電子装置１０のカメラ１２、接触センサ１５、および環境センサ１４を駆動し、それぞれに対する権限を有するように具現され得る。

多様な実施例によると、電子装置１０は、動作２４０９で、前記複数のイメージ、前記センシングデータ、および前記追加学習情報に基づいて、特定の種類の生体信号を獲得し、動作２４１１で、前記特定の種類の生体信号に対応する少なくとも一つの生体情報を獲得することができる。例えば、利用サーバー２０ｂは、前述した通り、ラーニングされた少なくとも一つの人工知能モデル（例：図１７の人工知能モデル１７００ａ～１７００ｆ、図１８ａ～図１８ｂの人工知能モデル１８００ａ～１８００ｂ、図２３の人工知能モデル２３００ａ～２３００ｅ）に、受信された情報を入力したことに対する応答として、最終的に出力されるＰＰＧを獲得することができる。結果的に、前記ＰＰＧは、接触式方式の正確度を有することができる。また、前記利用サーバー２０ｂは、前記ＰＰＧに基づいて、使用者の身体情報（例：血圧、心拍数情報）を獲得することができる。結果的に、前記電子装置１０は、前記利用サーバー２０ｂから、前記ＰＰＧに対する情報、および／または前記使用者の身体情報（例：血圧）を受信し、アプリケーションの実行画面２５０３に表示することができる。例えば、前記実行画面２５０３は、心拍数に対する情報２５０３ａ、および血圧に対する情報２５０３ｂを含むことができる。

以下では、多様な実施例に係る、電子装置１０の、２４０３動作のうち少なくとも一部で、撮影をガイドする動作の例を説明するための図面である。

図２６は、多様な実施例に係る、電子装置１０の撮影をガイドする動作を説明するためのフローチャートである。図示されたおよび／または記載された動作の順序とは無関係に動作が遂行され得、より多くの動作が遂行されるかおよび／またはさらに少ない動作が遂行されてもよい。以下では、図２７を参照して、図２６についてさらに説明する。

図２７は、多様な実施例に係る、電子装置１０の撮影をガイドする動作の例を説明するための図面である。

多様な実施例によると、電子装置１０は、動作２６０１で、撮影のためのアプリケーションの実行画面を表示することができる。例えば、図２７に図示された通り、電子装置１０は、撮影のためのアプリケーションの実行画面２７０１を提供することができる。

多様な実施例によると、電子装置１０は、動作２６０３で、特定条件が満足されるかどうかを判断し、特定条件が満足される場合（２６０３－Ｙ）、動作２６０５で少なくとも一つのカメラパラメータ（例：シャッタースピード、ＦＰＳ、撮影解像度など）が特定値で設定された状態で、撮影を遂行できる。例えば、電子装置１０は、特定条件を満足するかどうかを判断する動作の少なくとも一部で、電子装置１０の環境センサ１６を利用して、撮影される周辺環境に関連した情報（例：照度など）および／または撮影時の電子装置１０の状態に関連した情報（例：位置、気鬱期など）が特定条件を満足するかどうかを判断することができる。一例として、図２７に図示された通り、電子装置１０は、電子装置１０の位置が特定位置（例：第２位置）を満足するかどうかを判断することができる。電子装置１０は、前記電子装置１０の位置が特定位置（例：第２位置）である場合に、カメラ１２を利用して撮影を遂行できる。これに伴い、非接触式方式で獲得されるイメージの偏差が減少して、ＰＰＧの正確度がより向上し得る。

多様な実施例によると、図２７に図示された通り、電子装置１０は、撮影のためのアプリケーションの実行画面２７０１上に、位置に対する情報（例：第１位置、および第２位置）を更新して提供することによって、使用者が認知するようにすることができる。

多様な実施例によると、前記撮影時に少なくとも一つのカメラパラメータ（例：シャッタースピード、ＦＰＳなど）が特定値として設定され得る。例えば、前記ＦＰＳが秒当たり２０～３０の範囲で、動画が撮影されるように前記カメラパラメータが設定され得る。

以下では、多様な実施例に係る、サーバー２０（例：利用サーバー２０ｂ）の、人工知能モデルを利用する動作の例を説明するための図面である。

図２８は、多様な実施例に係る、サーバー２０（例：利用サーバー２０ｂ）の、人工知能モデルを利用する動作の例を説明するためのフローチャートである。図示されたおよび／または記載された動作の順序とは無関係に動作が遂行され得、より多くの動作が遂行されるかおよび／またはさらに少ない動作が遂行されてもよい。以下では、図２９を参照して、図２８についてさらに説明する。

図２９は、多様な実施例に係る、サーバー２０（例：利用サーバー２０ｂ）の、人工知能モデルを利用する動作の例を説明するための図面である。

多様な実施例によると、利用サーバー２０ｂは、動作２８０１で、複数の人工知能モデルそれぞれに対応する少なくとも一つの入力データを獲得し、動作２８０３で、少なくとも一つの入力データを複数の人工知能モデルそれぞれに入力したことに対する応答として、特定の種類の複数の生体信号を獲得することができる。例えば、利用サーバー２０ｂは、前述したラーニングされた少なくとも一つの人工知能モデル（例：図１７の人工知能モデル１７００ａ～１７００ｆ、図１８ａ～図１８ｂの人工知能モデル１８００ａ～１８００ｂ、図２３の人工知能モデル２３００ａ～２３００ｅ）を保存することができる。この時、利用サーバー２０ｂは、電子装置１０から受信されたイメージ情報１７１０、ＭＰＰＧ１７２０、および／または追加学習情報１７３０を基盤として、各人工知能モデル（例：図１７の人工知能モデル１７００ａ～１７００ｆ、図１８ａ～図１８ｂの人工知能モデル１８００ａ～１８００ｂ、図２３の人工知能モデル２３００ａ～２３００ｅ）に関連した入力データを入力することによって、出力される複数のＰＰＧを獲得することができる。

多様な実施例によると、利用サーバー２０ｂは、動作２８０５で、前記特定の種類の前記複数の生体信号に基づいて、前記特定の種類の特定生体信号を獲得することができる。一実施例で、利用サーバー２０ｂは、前記複数のＰＰＧの中で最も信頼度が高いものとして決定される、特定ＰＰＧを選択し、前記特定ＰＰＧに対する情報および／または身体情報を電子装置１０に提供することができる。また、一実施例で、利用サーバー２０ｂは、前記複数のＰＰＧに基づいて所定の計算（例：平均）を遂行することによって、特定ＰＰＧに対する情報を獲得し、前記特定ＰＰＧに対する情報および／または身体情報を電子装置１０に提供することができる。また、一実施例で、利用サーバー２０ｂは、前記複数のＰＰＧのうち使用者に最も適合した人工知能モデルで出力される特定ＰＰＧを選択し、前記特定ＰＰＧに対する情報および／または身体情報を電子装置１０に提供することができる。

Claims (7)

1. 電子装置であって、
   通信回路；および
   少なくとも一つのプロセッサ；を含み、
   前記少なくとも一つのプロセッサは：
   前記通信回路を通じて、第１外部電子装置のカメラを利用して獲得される使用者の顔を含む複数のイメージを獲得し、
   前記通信回路を通じて、前記複数のイメージを獲得する間前記第１外部電子装置によって獲得された撮影に関連した撮影情報を獲得し、
   前記通信回路を通じて、前記複数のイメージを獲得する間、同時に獲得される前記使用者の第１手の第１指に接触された前記第１外部電子装置の第１センサに基づいて獲得される特定の種類の第１生体信号および前記使用者の第２手の前記第１指に対応する第２指に接触された第２外部電子装置に基づいて獲得される前記特定の種類の第２生体信号を獲得し、
   前記通信回路を通じて、前記使用者の個人特性に関連した個人情報を獲得し、
   前記複数のイメージ、前記撮影に関連した情報、前記第１生体信号、前記第２生体信号、および前記個人情報をトレーニングデータとしてラーニングを遂行することによって、少なくとも一つの人工知能モデルを獲得するように設定され、
   前記少なくとも一つの人工知能モデルは、前記第１外部電子装置のカメラを利用して獲得される前記複数のイメージ、前記撮影に関連した情報、前記第１外部電子装置の前記第１センサに基づいて獲得される前記第１生体信号に対する情報、および前記個人情報の入力を受けたことに対する応答として、前記第２生体信号に対する情報を提供するように具現される、電子装置。
2. 前記撮影情報は前記第１外部電子装置の撮影に関連した状態に関連した情報、および前記第１外部電子装置の外部環境に関連した情報を含む、請求項１に記載の電子装置。
3. 前記少なくとも一つのプロセッサは：
   前記第１生体信号、および前記第２生体信号の時間同期化を遂行するように設定された、請求項１または２に記載の電子装置。
4. 前記少なくとも一つのプロセッサは：
   前記複数のイメージに基づいて識別される生体信号を基準として、前記第１生体信号および前記第２生体信号の時間同期化を遂行するように設定された、請求項３に記載の電子装置。
5. 前記少なくとも一つのプロセッサは：
   前記時間同期化が遂行されていない状態で、前記少なくとも一つの人工知能モデルを生成するように設定された、請求項３に記載の電子装置。
6. 電子装置の動作方法であって、
   前記電子装置の通信回路を通じて、第１外部電子装置のカメラを利用して獲得される使用者の顔を含む複数のイメージを獲得する動作；
   前記通信回路を通じて、前記複数のイメージを獲得する間前記第１外部電子装置によって獲得された撮影に関連した撮影情報を獲得する動作；
   前記通信回路を通じて、前記複数のイメージを獲得する間、同時に獲得される前記使用者の第１手の第１指に接触された前記第１外部電子装置の第１センサに基づいて獲得される特定の種類の第１生体信号および前記使用者の第２手の前記第１指に対応する第２指に接触された第２外部電子装置に基づいて獲得される前記特定の種類の第２生体信号を獲得する動作；
   前記通信回路を通じて、前記使用者の個人特性に関連した個人情報を獲得する動作；および
   前記複数のイメージ、前記撮影に関連した情報、前記第１生体信号、前記第２生体信号、および前記個人情報をトレーニングデータとしてラーニングを遂行することによって、少なくとも一つの人工知能モデルを獲得する動作；を含み、
   前記少なくとも一つの人工知能モデルは、前記第１外部電子装置のカメラを利用して獲得される前記複数のイメージ、前記撮影に関連した情報、前記第１外部電子装置の前記第１センサに基づいて獲得される前記第１生体信号に対する情報、および前記個人情報の入力を受けたことに対する応答として、前記第２生体信号に対する情報を提供するように具現される、動作方法。
7. 前記電子装置の撮影に関連した撮影情報は前記第１外部電子装置の撮影に関連した状態に関連した情報、および前記第１外部電子装置の外部環境に関連した情報を含む、請求項６に記載の動作方法。

Images