JP7613388B2 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents
情報処理装置、情報処理方法、及び情報処理プログラム Download PDFInfo
- Publication number
- JP7613388B2 JP7613388B2 JP2022009692A JP2022009692A JP7613388B2 JP 7613388 B2 JP7613388 B2 JP 7613388B2 JP 2022009692 A JP2022009692 A JP 2022009692A JP 2022009692 A JP2022009692 A JP 2022009692A JP 7613388 B2 JP7613388 B2 JP 7613388B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- information processing
- control unit
- avatar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—Three-dimensional [3D] animation
- G06T13/40—Three-dimensional [3D] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three-dimensional [3D] modelling for computer graphics
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1に示されるように、一実施形態に係る情報処理システム1は、サーバ10と、端末装置20とを備える。端末装置20は、ユーザによって所持されているとする。端末装置20は、第1端末装置20Aを含むとする。第1端末装置20Aは、第1ユーザによって所持されているとする。端末装置20は、必須ではないが第2端末装置20Bを更に含んでもよい。第2端末装置20Bは、第2ユーザによって所持されているとする。サーバ10と端末装置20とは、ネットワーク30を介して互いに有線又は無線で通信可能に接続されるとする。サーバ10と端末装置20とは、ネットワーク30を介さない有線又は無線の通信によって互いに通信可能に接続されてもよい。
サーバ10は、サーバ制御部12と、サーバインタフェース14とを備える。サーバインタフェース14は、サーバI/F14とも称される。
端末装置20は、端末制御部22と、端末I/F24とを備える。端末制御部22は、1つ以上のプロセッサ又は1つ以上の専用回路を含んで構成されてよい。端末装置20は、記憶部を更に含んで構成されてよい。端末装置20の記憶部は、サーバ10の記憶部と同一又は類似に構成されてよい。
本実施形態に係る情報処理システム1において、サーバ10又は端末装置20の少なくとも一方がユーザのアバターを生成したり更新したりしてよい。ユーザのアバターを生成するサーバ10又は端末装置20は、情報処理装置とも総称される。以下、サーバ10のサーバ制御部12又は端末装置20の端末制御部22は、単に制御部と称される。サーバ10のサーバI/F14又は端末装置20の端末I/F24は、単にI/Fと称される。以下、情報処理装置がアバターを生成及び更新する動作例が説明される。
制御部は、ユーザを撮影した画像をユーザ画像として取得する。制御部は、ユーザを少なくとも2方向から撮影した画像をユーザ画像として取得してもよい。図2に例示されるように、制御部は、ユーザを左側面から撮影した部分画像50Lと、ユーザを正面から撮影した部分画像50Cと、ユーザを右側面から撮影した部分画像50Rとをユーザ画像として取得してよい。本実施形態において、制御部は、ユーザ画像としてユーザのRGB画像及びデプス画像を両方とも取得する。図2に例示される画像は、RGB画像であってよいし、デプス画像であってもよい。制御部は、ユーザ画像としてRGB画像だけを取得してもよい。制御部は、ユーザが所持する端末装置20の端末I/F24又は表示部28によって、端末装置20の撮影部26を操作してユーザ自身を少なくとも2方向から撮影させる指示をユーザに対して出力してよい。制御部は、外部装置のカメラ又は測距センサ等によってユーザを少なくとも2方向から撮影させるように、カメラ又は測距センサに対するユーザの向きを調整するためにユーザに動いてもらう指示をユーザに対して出力してもよい。
サーバ10がアバターを生成した場合、サーバ10は、端末装置20にアバターの情報を出力して端末装置20の表示部28にアバターを表示させてよい。端末装置20がアバターを生成した場合、端末装置20は、端末装置20自身の表示部28でアバターを表示してもよいし、他の端末装置20にアバターの情報を出力して他の端末装置20の表示部28にアバターを表示させてもよい。
制御部は、図5に例示されるように、新たなユーザ画像70を取得する。新たなユーザ画像70は、アバターを生成する際に用いられた部分画像50L、50C又は50R等と同じ方向から撮影された画像を含んでよいし、異なる方向から撮影された画像を含んでもよい。制御部は、新たなユーザ画像70に含まれる第1ランドマーク52又は第2ランドマーク54等のユーザの外観の特徴に関する情報を取得する。図5において、新たなユーザ画像70は、第1ランドマーク52を含むとする。制御部は、新たなユーザ画像70とともに、新たなユーザ画像70に含まれるユーザの外観の特徴に関する情報を取得してもよい。制御部は、新たなユーザ画像70から、ユーザの外観の特徴を検出してもよい。新たなユーザ画像70においてユーザの外観の特徴とみなされない部分は、通常点76と称される。
以上述べてきたように、本実施形態に係る情報処理システム1において、サーバ10又は端末装置20を含む情報処理装置は、ユーザ画像に基づいてユーザのアバターを3次元オブジェクト40として生成する。情報処理装置の制御部は、例えば図9に例示されるフローチャートの手順を含む情報処理方法を実行してよい。情報処理方法は、情報処理装置の制御部に実行させる情報処理プログラムとして実現されてもよい。
以上述べてきたように本実施形態に係る情報処理システム1、サーバ10及び端末装置20、並びに情報処理方法によれば、ユーザ画像に基づいてアバターが生成される。また、新たなユーザ画像70に基づいてアバターを更新する際に、アバターに反映させる情報から、ユーザによって指定された情報が除外される。このようにすることで、不要な情報が反映されないようにアバターが生成される。その結果、ユーザの要望がかなえられる。
情報処理装置の制御部は、アバターを表示させる複数のアプリケーションが存在する場合、各アプリケーションと連携して各アプリケーションで用いられる態様のアバターを別々に生成してよい。制御部は、端末装置20で各アプリケーションにログインしたユーザのアバターを生成するために必要なユーザ画像を特定してよい。例えば、制御部は、ユーザの側面又は背面から撮影した画像が必要か決定してよい。制御部は、ユーザの顔を撮影した画像が必要か決定してよい。制御部は、ユーザの全身を撮影した画像が必要か決定してよい。
10 サーバ(12:サーバ制御部、14:サーバI/F)
20 端末装置(20A:第1端末装置、20B:第2端末装置、22:端末制御部、24:端末I/F、26:撮影部、28:表示部)
30 ネットワーク
40 3次元オブジェクト(42:正面、44:側面)
50L、50C、50R 左側面、正面、右側面のユーザ画像
52、54 第1ランドマーク、第2ランドマーク
56 通常点
60 合成画像
70 新たな画像(76:通常点、78:除外対象点)
80 除外画像(82:除外範囲)
Claims (6)
- ユーザを撮影したユーザ画像を3次元オブジェクトの外面に描画することによって前記ユーザのアバターを生成する制御部を備え、
前記制御部は、
前記ユーザを撮影した新たな画像を取得し、
前記新たな画像から一部を除外した除外画像を生成し、
前記除外画像を前記ユーザ画像の少なくとも一部に重ねて前記3次元オブジェクトの外面に描画することによって前記ユーザのアバターを更新する、情報処理装置。 - 前記制御部は、前記新たな画像から除外する部分を指定する入力を前記ユーザから受け付け、前記ユーザから受け付けた入力に基づいて前記除外画像を生成する、請求項1に記載の情報処理装置。
- 前記制御部は、前記ユーザを複数の方向から撮影した複数の部分画像を取得し、前記各部分画像をつなぐことによって前記ユーザ画像を生成する、請求項1又は2に記載の情報処理装置。
- 前記制御部は、前記ユーザ画像及び前記新たな画像に共通に含まれる前記ユーザの特徴を検出し、前記ユーザの特徴に基づいて前記除外画像を生成し、前記ユーザの特徴が前記ユーザ画像と前記除外画像とで重なるように前記除外画像を前記ユーザ画像の少なくとも一部に重ねて描画する、請求項1から3までのいずれか一項に記載の情報処理装置。
- ユーザを撮影したユーザ画像を3次元オブジェクトの外面に描画することによって前記ユーザのアバターを生成する情報処理方法であって、
前記ユーザを撮影した新たな画像を取得することと、
前記新たな画像から一部を除外した除外画像を生成することと、
前記除外画像を前記ユーザ画像の少なくとも一部に重ねて前記3次元オブジェクトの外面に描画することによって前記ユーザのアバターを更新することと
を含む情報処理方法。 - 情報処理装置に、ユーザを撮影したユーザ画像を3次元オブジェクトの外面に描画することによって前記ユーザのアバターを生成させる情報処理プログラムであって、
前記情報処理装置に、前記ユーザを撮影した新たな画像を取得させることと、
前記情報処理装置に、前記新たな画像から一部を除外した除外画像を生成させることと、
前記情報処理装置に、前記除外画像を前記ユーザ画像の少なくとも一部に重ねて前記3次元オブジェクトの外面に描画することによって前記ユーザのアバターを更新させることと
を含む情報処理プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022009692A JP7613388B2 (ja) | 2022-01-25 | 2022-01-25 | 情報処理装置、情報処理方法、及び情報処理プログラム |
| US18/157,441 US20230237839A1 (en) | 2022-01-25 | 2023-01-20 | Information processing apparatus, information processing method, and non-transitory computer readable medium |
| CN202310040963.3A CN116503523A (zh) | 2022-01-25 | 2023-01-27 | 信息处理装置、信息处理方法及非暂时性计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022009692A JP7613388B2 (ja) | 2022-01-25 | 2022-01-25 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023108528A JP2023108528A (ja) | 2023-08-04 |
| JP7613388B2 true JP7613388B2 (ja) | 2025-01-15 |
Family
ID=87314316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022009692A Active JP7613388B2 (ja) | 2022-01-25 | 2022-01-25 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230237839A1 (ja) |
| JP (1) | JP7613388B2 (ja) |
| CN (1) | CN116503523A (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014149712A (ja) | 2013-02-01 | 2014-08-21 | Sony Corp | 情報処理装置、端末装置、情報処理方法及びプログラム |
| JP2019197519A (ja) | 2018-05-07 | 2019-11-14 | アップル インコーポレイテッドApple Inc. | クリエイティブカメラ |
-
2022
- 2022-01-25 JP JP2022009692A patent/JP7613388B2/ja active Active
-
2023
- 2023-01-20 US US18/157,441 patent/US20230237839A1/en active Pending
- 2023-01-27 CN CN202310040963.3A patent/CN116503523A/zh not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014149712A (ja) | 2013-02-01 | 2014-08-21 | Sony Corp | 情報処理装置、端末装置、情報処理方法及びプログラム |
| JP2019197519A (ja) | 2018-05-07 | 2019-11-14 | アップル インコーポレイテッドApple Inc. | クリエイティブカメラ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023108528A (ja) | 2023-08-04 |
| US20230237839A1 (en) | 2023-07-27 |
| CN116503523A (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112926428B (zh) | 使用合成图像训练对象检测算法的方法和系统和存储介质 | |
| CN112334869B (zh) | 电子设备及其控制方法 | |
| US11195341B1 (en) | Augmented reality eyewear with 3D costumes | |
| US11580652B2 (en) | Object detection using multiple three dimensional scans | |
| US9778464B2 (en) | Shape recognition device, shape recognition program, and shape recognition method | |
| JP2022537614A (ja) | マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム | |
| KR102746351B1 (ko) | 분리가능한 왜곡 불일치 결정 | |
| JP7405083B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| US11557086B2 (en) | Three-dimensional (3D) shape modeling based on two-dimensional (2D) warping | |
| KR102159767B1 (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
| US12260015B2 (en) | Augmented reality with eyewear triggered IoT | |
| US20240169568A1 (en) | Method, device, and computer program product for room layout | |
| CN111680758A (zh) | 图像训练样本生成方法和装置 | |
| CN113706678A (zh) | 获取虚拟形象的方法、装置、设备及计算机可读存储介质 | |
| CN112150560A (zh) | 确定消失点的方法、装置及计算机存储介质 | |
| KR102473669B1 (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
| US11682234B2 (en) | Texture map generation using multi-viewpoint color images | |
| KR102646684B1 (ko) | 전자 장치 및 컨텐츠를 생성하는 방법 | |
| JP7613388B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
| JP7715095B2 (ja) | 情報処理方法及び情報処理装置 | |
| CN116609789A (zh) | 可穿戴设备的定位方法、穿戴设备及电子设备 | |
| KR102296820B1 (ko) | 얼굴 영상의 2차원 텍스쳐 맵 형성 방법 및 장치 | |
| KR20250098563A (ko) | 촬영 이미지로부터 실물 객체를 추적하는 방법 및 촬영 이미지에서 검출된 실물 객체에 가상 콘텐츠를 증강하는 시스템 | |
| WO2021075113A1 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240903 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7613388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |