Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7639817B2 - 情報処理装置、情報処理方法、撮像装置、画像転送システム - Google Patents
[go: Go Back, main page]

JP7639817B2 - 情報処理装置、情報処理方法、撮像装置、画像転送システム - Google Patents

情報処理装置、情報処理方法、撮像装置、画像転送システム Download PDF

Info

Publication number
JP7639817B2
JP7639817B2 JP2022530108A JP2022530108A JP7639817B2 JP 7639817 B2 JP7639817 B2 JP 7639817B2 JP 2022530108 A JP2022530108 A JP 2022530108A JP 2022530108 A JP2022530108 A JP 2022530108A JP 7639817 B2 JP7639817 B2 JP 7639817B2
Authority
JP
Japan
Prior art keywords
information
image
client terminal
imaging device
related information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022530108A
Other languages
English (en)
Other versions
JPWO2021251127A1 (ja
Inventor
嶺 陣内
寛 合間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021251127A1 publication Critical patent/JPWO2021251127A1/ja
Application granted granted Critical
Publication of JP7639817B2 publication Critical patent/JP7639817B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169Digital image input
    • H04N1/00172Digital image input directly from a still digital camera or from a storage medium mounted in a still digital camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2125Display of information relating to the still picture recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32117Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate transmission or protocol signal prior to or subsequent to the image data transmission, e.g. in digital identification signal [DIS], in non standard setup [NSS] or in non standard field [NSF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227Providing Remote input by a user located remotely from the client device, e.g. at work
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for programme selection
    • H04N21/4821End-user interface for programme selection using a grid, e.g. sorted out by channel and broadcast time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Description

本技術は情報処理装置、情報処理方法、撮像装置、画像転送システムに関し、特に撮像装置で撮像した画像を他の装置に転送する場合に好適な技術に関する。
撮像装置で撮像した画像(静止画や動画)を他の装置、例えばコンピュータ装置に送信することは一般に行われている。
下記特許文献1では、画像データに関して、よりデータ量の少ない関連データを先に送信する技術が開示されている。
特開2007-150781号公報
テレビジョン放送やウェブ配信等による報道目的などでは、カメラマンが現地で撮影した直後に、撮影した静止画や動画を即納することが求められる場合がある。
この場合カメラマンは、撮影現場において、撮像装置をネットワークに接続し、撮像画像をネットワーク送信して納品する。納品先の装置(例えば放送局の装置などであり「クライアント端末」と表記する)では、別途待機する選別の担当者が納品された画像を選別し、選別した画像を報道記事に用いる、といったことが行われている。
このような場合、サイズの大きい画像(報道に用いる品質/データ量の画像データ)を、撮像装置から外部装置(例えば中継するクラウドサーバやクライアント端末)に送信するのはネットワーク負荷も大きくなって時間がかかることもあり、またそれに伴い画像選別作業を行うまでに時間がかかることがある。
また、撮像装置から、撮像した全ての画像を外部装置に送信すると、送信先の装置に必要な記憶容量を大きくする必要もあり、システム負担が増える。
そこで本開示では、ネットワーク通信やシステムへの負荷をあまり増大させずに、適切な画像の送信ができるようにする技術を提案する。
本技術に係る情報処理装置は、撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、前記関連情報及び前記付加情報をクライアント端末に送信する初期情報転送処理と、前記関連情報又は前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、を行う制御部を備える。
例えば撮像装置との間で情報転送を行うことができ、またクライアント端末との間でも情報転送を行うことができる情報処理装置を想定する。この情報処理装置は、まず撮像画像としての画像データ(本画)を転送する前に、関連情報及び付加情報をクライアント端末に送信する。そして関連情報及び付加情報に基づく選択処理の結果で得られる要求情報に応じて、本画が撮像装置からクライアント端末に転送されるようにする。
上記した本技術に係る情報処理装置においては、前記制御部は、前記初期情報転送処理において、前記関連情報に基づいてデータベース検索を行うことで前記付加情報を得ることが考えられる。
撮像装置から供給された関連情報に基づいてデータベース検索を行うことで、関連情報から、画像(被写体)に関するより詳細な情報を取得することができる。これを付加情報とする。
上記した本技術に係る情報処理装置においては、前記関連情報には、撮像装置で撮像された画像を表す、よりデータ量が少ない画像が含まれており、前記制御部は、前記初期情報転送処理において、前記関連情報に含まれる画像に対する画像認識処理により前記付加情報を得ることが考えられる。
撮像装置から供給された関連情報がサムネイル画像やスクリーンネイル画像などの画像を含む場合、その画像解析により、被写体についての情報を取得することができる。これを付加情報とする。
上記した本技術に係る情報処理装置においては、前記制御部は、前記初期情報転送処理として、前記付加情報を加えた送信パターンと前記付加情報を加えない送信パターンを含む、複数の送信パターンの切り替え処理を行うことが考えられる。
送信パターンとして、例えば撮像装置から供給された関連情報に基づいて付加情報を得、関連情報と付加情報をクライアント端末に送信するパターンや、撮像装置から供給された関連情報をそのままクライアント端末に転送するパターン、あるいは関連情報の内容が異なるパターンなど、複数の送信パターンを変更できるようにする。
上記した本技術に係る情報処理装置においては、前記制御部は、複数の送信パターンの内の1つである所定の送信パターンの送信として、前記関連情報に含まれる音声情報を前記クライアント端末に送信する処理を行うことが考えられる。
例えば静止画としての画像に関連づけられた音声情報が撮像装置から転送されてくる場合、その音声情報をそのままクライアント端末に送信する。
上記した本技術に係る情報処理装置においては、前記制御部は、複数の送信パターンの内の1つである所定の送信パターンの送信として、前記関連情報に含まれる音声情報をテキストデータ化したテキストデータを前記クライアント端末に送信する処理を行うことが考えられる。
例えば静止画としての画像に関連づけられた音声情報が撮像装置から転送されてくる場合、その音声情報をテキストデータに変換してからクライアント端末に送信する。
上記した本技術に係る情報処理装置においては、前記制御部は、通信状況の判定結果に応じて前記切り替え処理を行うことが考えられる。
初期情報転送処理として各種の送信パターンを、通信状況に応じて使い分けるようにする。
上記した本技術に係る情報処理装置においては、前記制御部は、前記撮像装置から通知される撮影対象の情報に基づいて前記切り替え処理を行うことが考えられる。
撮影対象としての、例えばイベント種別、競技種別などに応じて、初期情報転送処理において付加情報の取得を行う第1処理と、それを行わない第2処理とを使い分けるようにする。
上記した本技術に係る情報処理装置においては、前記制御部は、前記撮像装置による撮影対象の推定処理を行い、推定した撮影対象の情報に基づいて前記切り替え処理を行うことが考えられる。
撮像装置における撮影対象を推定可能であれば、その推定結果に基づいて、初期情報転送処理として付加情報の取得を行う第1処理と、それを行わない第2処理とを使い分けることができる。
上記した本技術に係る情報処理装置においては、前記制御部は、前記切り替え処理により設定される前記初期情報転送処理の送信パターンを、前記クライアント端末又は前記撮像装置に通知する処理を行うことが考えられる。
情報処理装置で第1処理と第2処理の切り替えを行う場合、その結果実行されることになる送信パターンを撮像装置やクライアント端末に通知する。
上記した本技術に係る情報処理装置においては、前記関連情報は、前記撮像装置で撮像された画像に関連付けられたメタ情報であることが考えられる。
つまり撮像装置側で画像に関連づけられ、情報処理装置に送信されてきた情報である。例えば撮像装置の情報、カメラマンの情報、撮像場所や時刻の情報、撮像装置側での画像の解析情報、撮像動作や処理に関する各種パラメータ、撮像時の撮像装置における各種センサのセンシング情報、画像データ/ファイルに関する情報、サムネイル画像、スクリーンネイル画像、カメラマンが画像に関連づけたテキスト情報や音声メモ情報など、多様な情報が想定される。
上記した本技術に係る情報処理装置においては、前記関連情報は、前記撮像装置で撮像された画像を表す、よりデータ量が少ない画像であることが考えられる。
よりデータ量が少ない画像としては例えばサムネイル画像、スクリーンネイル画像、プロキシ動画などが該当する。
上記した本技術に係る情報処理装置においては、前記関連情報は、前記撮像装置で連写撮像された複数画像であるグルーピング画像を表す画像であることが考えられる。
連写撮像による一連の画像をグルーピング画像としたとき、その全体を一枚で表現する画像、例えば先頭画像のサムネイル画像などを関連情報とする。
上記した本技術に係る情報処理装置においては、前記関連情報は、前記撮像装置での動画撮像により動画と共に収録された音声情報であることが考えられる。
例えば情報処理装置は初期情報転送処理で、動画記録時に同時に記録された音声情報を関連情報として受信し、クライアント端末に送信する。
上記した本技術に係る情報処理装置においては、前記関連情報は、前記撮像装置で撮像された動画についての撮像時の時系列データであることが考えられる。
時系列データとは、例えば撮像時の時刻毎の位置情報など、撮像の経過が表現される情報である。
上記した本技術に係る情報処理装置においては、前記制御部は、前記初期情報転送処理として、前記付加情報と共に、又は前記付加情報を伴わずに、第1の関連情報を前記クライアント端末に送信する処理と、前記第1の関連情報を含む送信に基づいた前記クライアント端末における選択処理により生成された要求情報を前記撮像装置に転送する処理と、前記要求情報に応じて、前記撮像装置から送信されてくる第2の関連情報を前記クライアント端末に送信する処理と、を行うことが考えられる。
つまり初期情報転送処理として、クライアント端末3への本画の送信に至る前に、複数回、情報送信を行う。
上記した本技術に係る情報処理装置においては、前記第1の関連情報は、前記第2の関連情報よりもデータ量の少ない情報であることが考えられる。
例えば第1の関連情報は、撮影時刻や撮影場所などを示すメタ情報、第2の関連情報はサムネイル画像などとしての例が考えられる。
本技術に係る撮像装置は、撮像した画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を外部の情報処理装置に送信する関連情報送信処理と、前記情報処理装置から受信した要求情報に応じて、当該要求情報で示される画像を前記情報処理装置に送信する本画送信処理と、を行う制御部を備える。
これにより、撮像画像の送信に先だって関連情報を送信する撮像装置とする。
本技術に係る画像転送システムは、撮像装置と情報処理装置の間で情報通信が可能とされ、前記情報処理装置とクライアント端末の間で情報通信が可能とされる。そして撮像装置は上記の構成とされ、情報処理装置も上記の構成とされる。
撮像装置と情報処理装置の間は直接又は他の機器や伝送路を介して情報転送が可能とされ、また情報処理装置とクライアント端末の間は直接又は他の機器や伝送路を介して情報転送が可能とされる。このような機器間で、まず撮像画像よりもデータ量の少ない関連情報の転送を行ってクライアント端末側で選択を行う。その後、選択に応じて撮像装置からクライアント端末に本画を送信するようにする。
本技術の実施の形態の画像転送システムの構成例の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の情報処理装置のブロック図である。 実施の形態の第1送信パターンの説明図である。 実施の形態の第1送信パターンでのUI画面等の説明図である。 実施の形態の第1、第2、第3、第4の送信パターンに適用できる撮像装置の撮影時の処理のフローチャートである。 実施の形態の第1の送信パターンに適用できるサーバ装置のメタ情報受信時の処理のフローチャートである。 実施の形態の第1から第7の送信パターンに適用できるサーバ装置の画要求受信時の処理のフローチャートである。 実施の形態の第1から第6の送信パターンに適用できる撮像装置の画要求受信時の処理のフローチャートである。 実施の形態の第1、第3から第7の送信パターンに適用できるサーバ装置の画像受信時の処理のフローチャートである。 実施の形態の第2送信パターンの説明図である。 実施の形態の第2送信パターンでのUI画面等の説明図である。 実施の形態の第2、第3、第4の送信パターンに適用できるサーバ装置のメタ情報受信時の処理のフローチャートである。 実施の形態の第2の送信パターンに適用できるサーバ装置の画像受信時の処理のフローチャートである。 実施の形態の第3送信パターンの説明図である。 実施の形態の第3、第4送信パターンでのUI画面等の説明図である。 実施の形態の第4の送信パターンに適用できる撮像装置の撮影時の処理のフローチャートである。 実施の形態の第5送信パターンの説明図である。 実施の形態の第5送信パターンでのUI画面等の説明図である。 実施の形態の第5、第6の送信パターンに適用できる撮像装置の撮影時の処理のフローチャートである。 実施の形態の第5の送信パターンに適用できるサーバ装置のメタ情報受信時の処理のフローチャートである。 実施の形態の第6送信パターンの説明図である。 実施の形態の第6送信パターンでのUI画面等の説明図である。 実施の形態の第6の送信パターンに適用できるサーバ装置のメタ情報受信時の処理のフローチャートである。 実施の形態の第7送信パターンの説明図である。 実施の形態の第7送信パターンでのUI画面等の説明図である。 実施の形態の第7の送信パターンに適用できる撮像装置の撮影時の処理のフローチャートである。 実施の形態の第7の送信パターンに適用できる撮像装置の画要求受信時の処理のフローチャートである。 実施の形態の切り替え処理例Iの説明図である。 実施の形態のサーバ装置の切り替え処理のフローチャートである。 実施の形態の切り替えに係るUI表示の説明図である。 実施の形態の切り替え指示を求めるUI表示の説明図である。 実施の形態の状況判定処理のフローチャートである。 実施の形態の切り替え処理例IIの説明図である。 実施の形態のサーバ装置の切り替え処理のフローチャートである。 実施の形態の切り替え処理例IIIの説明図である。 実施の形態のサーバ装置のプロジェクト情報受信時の処理のフローチャートである。 実施の形態のサーバ装置の切り替え処理のフローチャートである。 実施の形態の第8送信パターンの説明図である。 実施の形態の第8送信パターンでのUI画面等の説明図である。 実施の形態の第8の送信パターンに適用できる撮像装置の動画録画時の処理のフローチャートである。 実施の形態の第8の送信パターンに適用できるサーバ装置のプロキシ動画受信時の処理のフローチャートである。 実施の形態の第8、第9、第10の送信パターンに適用できる撮像装置の動画クリップ要求受信時の処理のフローチャートである。 実施の形態の第8、第9、第10の送信パターンに適用できるサーバ装置の本動画クリップ受信時の処理のフローチャートである。 実施の形態の第9送信パターンの説明図である。 実施の形態の第9送信パターンでのUI画面等の説明図である。 実施の形態の第9の送信パターンに適用できる撮像装置の動画録画時の処理のフローチャートである。 実施の形態の第9の送信パターンに適用できるサーバ装置の音のみファイル受信時の処理のフローチャートである。 実施の形態の第10送信パターンの説明図である。 実施の形態の第10送信パターンでのUI画面等の説明図である。 実施の形態の第10の送信パターンに適用できる撮像装置の動画録画時の処理のフローチャートである。 実施の形態の第10の送信パターンに適用できるサーバ装置の時系列ファイル受信時の処理のフローチャートである。
以下、実施の形態を次の順序で説明する。
<1.システム構成>
<2.撮像装置、サーバ装置、クライアント端末の構成>
<3.第1送信パターン>
<4.第2送信パターン>
<5.第3、第4送信パターン>
<6.第5送信パターン>
<7.第6送信パターン>
<8.第7送信パターン>
<9.切り替え処理例I>
<10.切り替え処理例II>
<11.切り替え処理例III>
<12.第8送信パターン>
<13.第9送信パターン>
<14.第10送信パターン>
<15.まとめ及び変形例>
最初に各種用語の定義を記載しておく。
「画像」とは、静止画、動画の両方を含む各種の画像データを指す用語とする。
「本画」とは、図1に示す撮像装置1からクライアント端末3に納品しようとする目的の画像を指す。本画としては静止画、動画を含む。特に動画であることを示す場合は「本動画」と表記する。
「関連情報」とは、情報内容は問わず、撮像装置1側で撮影した画像に関連づけられた情報を指す。例えば画像についての撮影者情報、日時、場所、撮像装置での各種センシングデータなどを含むいわゆるメタ情報、音声メモの情報、本画よりも低データ量の画像(静止画や動画に関するサムネイル画像、スクリーンネイル画像、動画に関するプロキシ動画など)がある。
「付加情報」とは、情報内容は問わず、関連情報に基づいてサーバ装置2が検索、抽出、又は生成した情報を指す。
「初期情報転送処理」とは、本画の送信の前に関連情報や付加情報を転送する処理を指す。複数回行われることもある。
「本画転送処理」とは、本画を転送する処理を指す。
「送信パターン」とは、撮像装置1、サーバ装置2、クライアント端末3の間の本画転送に至るまでの手順や転送する情報内容のバリエーションとなるパターンである。実施の形態では、情報内容の種別、本画が静止画/連写画像/動画のいずれであるか、などに応じた転送情報内容の別として、第1送信パターンから第10送信パターンを示すが、例えば各送信パターンにおいて、初期情報転送処理を行うか行わないかのパターンや、初期情報転送処理として、撮像装置1からサーバ装置2を介してクライアント端末3へ、1回の情報転送を行うパターンや、複数回の情報転送を行うパターンなど、多様なパターンが想定される。
<1.システム構成>
図1に実施の形態の画像転送システムの構成例を示している。画像転送システムは、1又は複数の撮像装置1、サーバ装置2、クライアント端末3を基本に構成され、これらがネットワーク6を介して通信可能とされる。
撮像装置1としては、ビデオカメラやスチルカメラとしての各種の撮像装置がある。図示する撮像装置1は、カメラマンや記者がスポーツやイベントの会場や取材現場などで用いるカメラを想定している。
サーバ装置2とクライアント端末3は、共にコンピュータ機器により形成される情報処理装置であるが、サーバ装置2が画像転送のためのサービスを提供し、クライアント端末3は、サーバ装置2による転送サービスを利用する顧客の情報処理装置であるため、本開示では区別のために「サーバ装置」「クライアント端末」と呼ぶこととしている。
サーバ装置2は、いわゆるクラウドサーバとして機能する装置であることが想定される。もちろんクラウドサーバとしての態様に限定されるものではない。
サーバ装置2では制御部2aを示しているが、制御部2aが後述するように初期情報転送処理や本画転送処理を実行する。
またサーバ装置2は、データベース7(以下、データベースを「DB」と表記する)を参照して各種の情報を得ることや、テキスト変換エンジン8により音声データのテキストデータ化を実行させてテキストデータを得ることができる。
DB7は、サーバ装置2がローカルに用いることのできる記憶装置に構成されたDBでもよいし、各種のネットワークを介して情報検索可能な記憶装置に構成されたDBでもよい。すなわちDB7は、サーバ装置2(制御部2a)がアクセス可能で情報を取得することができるDBであればどのような形態のDBであってもよい。
クライアント端末3は、例えば放送局、新聞社、通信社など、カメラマンが画像を納品する先の情報処理装置を示している。放送局等は一例であり、納品先が限られるものではない。
ネットワーク6は、例えばインターネット、ホームネットワーク、LAN(Local Area Network)、衛星通信網、その他の各種のネットワークが想定される。
この図1の例では、撮像装置1は基地局4を介してサーバ装置2と通信を行う。基地局4は、例えば4G通信(第4世代移動通信システム)及び5G通信(第5世代移動通信システム)の基地局である。
基地局4にはMEC(Mobile Edge Computing)5が配置される場合がある。各撮像装置1の通信はMEC5の処理を介して行わる場合や、またサーバ装置2の一部の機能がMEC5により実行される場合もある。
この図1のような画像転送システムが構築されることで、例えば撮像装置1のユーザが放送局や新聞社等の仕事を行うカメラマンである場合、そのカメラマンがイベント会場で撮像した画像を、サーバ装置2を介して放送局等に設置されたクライアント端末3に転送することができる。クライアント端末3側では、担当者が、送られてきた画像を選別し、報道に使用する。
このように報道等のための撮影後の即納が求められる現場においては、高精細で大量の画像が転送されることが想定されるが、これによりネットワーク負荷や各部の処理負担が増大することがある。
また、クライアント端末3側でも大量の本画が納品されてしまうと、記憶容量負担も大きくなるとともに、担当者の選別作業にも時間がかかるようになって、報道等に求められる迅速性を損なう恐れもある。
そこで本実施の形態では、サーバ装置2が、本画の納品までの転送を、初期情報転送処理と本画転送処理に分けるようにし、ネットワーク通信の負荷、記憶容量負担の減少、選別作業の容易化等を実現する。
さらに状況等により転送のパターン(手順や情報内容)の切り替えも行うことで、その時点に適した画像転送が行われるようにする。
<2.撮像装置、サーバ装置、クライアント端末の構成>
以下、撮像装置1、サーバ装置2、クライアント端末3の構成例を説明する。
まず撮像装置1の構成例を図2で説明する。
撮像装置1は、例えばレンズ系11、撮像素子部12、カメラ信号処理部13、記録制御部14、表示部15、通信部16、操作部17、カメラ制御部18、メモリ部19、ドライバ部22、センサ部23、音声入力部25、音声処理部26を有する。
レンズ系11は、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系11により、被写体からの光(入射光)が導かれ撮像素子部12に集光される。
撮像素子部12は、例えば、CMOS(Complementary Metal Oxide Semiconductor)型やCCD(Charge Coupled Device)型などのイメージセンサ12a(撮像素子)を有して構成される。
この撮像素子部12では、イメージセンサ12aで受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部13やカメラ制御部18に出力する。
カメラ信号処理部13は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。このカメラ信号処理部13は、撮像素子部12からのデジタル信号(撮像画像信号)に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部13は、前処理、同時化処理、YC生成処理、解像度変換処理、ファイル形成処理等を行う。
前処理では、撮像素子部12からの撮像画像信号に対して、R,G,Bの黒レベルを所定のレベルにクランプするクランプ処理や、R,G,Bの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、R,G,B全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
YC生成処理では、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
ファイル形成処理では、例えば以上の各種処理が施された画像データについて、例えば記録用や通信用の圧縮符号化、フォーマティング、メタ情報の生成や付加などを行って記録用や通信用のファイル生成を行う。
例えば静止画ファイルとしてJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の形式の画像ファイルの生成を行う。またMPEG-4準拠の動画・音声の記録に用いられているMP4フォーマットなどとしての画像ファイルの生成を行うことも考えられる。
なおロー(RAW)画像データとして画像ファイルを生成することも考えられる。
カメラ信号処理部13は、メタ情報については、カメラ信号処理部13内の処理パラメータの情報や、カメラ制御部18から取得する各種制御パラメータ、レンズ系11や撮像素子部12の動作状態を示す情報、モード設定情報、撮像環境情報(日時や場所など)、撮像装置自体の識別情報、装着レンズの情報、あらかじめ登録されたカメラマンの情報(氏名、識別情報)、IPTC(International Press Telecommunications Council)メタデータなどを含むものとして生成する。
なおIPTCメタデータは、メディア企業団体が策定したフォーマットによるメタ情報であり、例えば「ディスクリプション/キャプション」「ディスクリプションライター」「ヘッドライン」「キーワード」など、多様な情報を記述可能とされる。
記録制御部14は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部14は例えば記録媒体に対し動画データや静止画データ等の画像ファイルやサムネイル画像やスクリーンネイル画像等を記録する処理を行う。
記録制御部14の実際の形態は多様に考えられる。例えば記録制御部14は、撮像装置1に内蔵されるフラッシュメモリとその書込/読出回路として構成されてもよい。また記録制御部14は、撮像装置1に着脱できる記録媒体、例えばメモリカード(可搬型のフラッシュメモリ等)に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記録制御部14は、撮像装置1に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
表示部15は撮像者に対して各種表示を行う表示部であり、例えば撮像装置1の筐体に配置される液晶パネル(LCD:Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
表示部15は、カメラ制御部18の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部15は、記録制御部14において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部15にはカメラ信号処理部13で表示用に解像度変換された撮像画像の画像データが供給され、表示部15はカメラ制御部18の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中や動画記録中などの撮像画像である、いわゆるスルー画(被写体のモニタリング画像)が表示される。
また表示部15はカメラ制御部18の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
通信部16は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ(静止画ファイルや動画ファイル)やメタ情報の送信出力を行う。
また通信部16はネットワーク通信部として、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワーク6による通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うことができる。例えば本実施の形態の場合、通信部16は、撮像した画像データ(上述の画像ファイル等)やメタ情報をサーバ装置2に送信する通信処理を行う。
また撮像装置1は、通信部16により、例えばカメラマン等が有するスマートフォン、タブレット端末などとの間で、例えばブルートゥース(Bluetooth:登録商標)、WI-FI(登録商標)通信、NFC(Near Field Communication)等の近距離無線通信、赤外線通信により、相互に情報通信を行うことも可能とされてもよい。その場合、スマートフォン等を介して画像の転送を行うようにすることもできる。
また撮像装置1と他の機器が有線接続通信によって相互に通信可能とされてもよい。
操作部17は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部17は撮像装置1の筐体に設けられた各種の操作子(キー、ダイヤル、タッチパネル、タッチパッド等)を示している。
操作部17によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部18へ送られる。
カメラ制御部18はCPU(Central Processing Unit)を備えたマイクロコンピュータ(演算処理装置)により構成される。
メモリ部19は、カメラ制御部18が処理に用いる情報等を記憶する。図示するメモリ部19としては、例えばROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを包括的に示している。
メモリ部19はカメラ制御部18としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部18はメモリ部19のROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置1の全体を制御する。
例えばカメラ制御部18は、撮像素子部12のシャッタースピードの制御、カメラ信号処理部13における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系11の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
メモリ部19におけるRAMは、カメラ制御部18のCPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部19におけるROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア、各種の設定情報等の記憶に用いられる。
各種の設定情報としては、通信設定情報や、撮像動作に関する設定情報としての露出設定、シャッタースピード設定、モード設定や、画像処理に係る設定情報としてのホワイトバランス設定、色設定、画像エフェクトに関する設定や、操作性に係る設定情報としてのカスタムキー設定や表示設定などがある。
ドライバ部22には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはカメラ制御部18からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
センサ部23は、撮像装置に搭載される各種のセンサを包括的に示している。
センサ部23としては例えばIMU(inertial measurement unit:慣性計測装置)が搭載されており、例えばピッチ、ヨー、ロールの3軸の角速度(ジャイロ)センサで角速度を検出し、加速度センサで加速度を検出することができる。
またセンサ部23としては、例えば位置情報センサ、照度センサ等が搭載される場合もある。
音声入力部25は例えばマイクロホン及びマイクアンプ等を有し、周囲音声を集音した音声信号を出力する。
音声処理部26は、音声入力部25で得られた音声信号についてデジタル音声信号に変換する処理や、AGC処理、音質処理、ノイズリダクション処理などを行う。これらの処理を経た音声データはカメラ信号処理部13やカメラ制御部18に出力される。
例えば音声データは、動画撮像時にはカメラ制御部18において動画に付随する音声データとして処理される。
また音声データは、撮像時などにおける、いわゆるボイスメモとしての音声メモデータとして、カメラ信号処理部13或いはカメラ制御部18において音声ファイルとしてファイル化されるようにすることもできる。
音声ファイルは、記録制御部14において画像ファイルに対応づけられて記録媒体に記録されたり、通信部16から画像ファイルとともに送信出力されたりすることができる。
次にサーバ装置2やクライアント端末3としての情報処理装置70の構成例を図3に示す。
情報処理装置70のCPU71は、ROM72や例えばEEP-ROM(Electrically Erasable Programmable Read-Only Memory)などの不揮発性メモリ部74に記憶されているプログラム、または記憶部79からRAM73にロードされたプログラムに従って各種の処理を実行する。RAM73にはまた、CPU71が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU71、ROM72、RAM73、不揮発性メモリ部74は、バス83を介して相互に接続されている。このバス83にはまた、入出力インタフェース75も接続されている。
入出力インタフェース75には、操作子や操作デバイスよりなる入力部76が接続される。
例えば入力部76としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部76によりユーザの操作が検知され、入力された操作に応じた信号はCPU71によって解釈される。
また入出力インタフェース75には、LCD或いは有機ELパネルなどよりなる表示部77や、スピーカなどよりなる音声出力部78が一体又は別体として接続される。
表示部77は各種表示を行う表示部であり、例えば情報処理装置70の筐体に設けられるディスプレイデバイスや、情報処理装置70に接続される別体のディスプレイデバイス等により構成される。
表示部77は、CPU71の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部77はCPU71の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
入出力インタフェース75には、ハードディスクや固体メモリなどより構成される記憶部79や、モデムなどより構成される通信部80が接続される場合もある。
通信部80は、インターネット等の伝送路を介しての通信処理や、各種機器との有線/無線通信、バス通信などによる通信を行う。
入出力インタフェース75にはまた、必要に応じてドライブ81が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体82が適宜装着される。
ドライブ81により、リムーバブル記録媒体82からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部79に記憶されたり、データファイルに含まれる画像や音声が表示部77や音声出力部78で出力されたりする。またリムーバブル記録媒体82から読み出されたコンピュータプログラム等は必要に応じて記憶部79にインストールされる。
この情報処理装置70では、例えば本実施の形態の処理のためのソフトウェアを、通信部80によるネットワーク通信やリムーバブル記録媒体82を介してインストールすることができる。或いは当該ソフトウェアは予めROM72や記憶部79等に記憶されていてもよい。
例えば情報処理装置70がサーバ装置2とされる場合、以下説明していく初期情報転送処理及び本画転送処理を含む転送処理や、転送処理における送信パターンの切り替え処理等のためのソフトウェアがインストールされることになる。その場合、CPU71が図1の制御部2aとして機能し、必要な処理を行う。また以降説明する各種通信は、通信部80を介して行われることになる。
また情報処理装置70がクライアント端末3とされる場合、以下説明していく転送処理の課程で、入力部76や表示部77等を用いたインタフェース処理が、CPU71の制御により実行される。また各種通信は、通信部80を介して行われることになる。
<3.第1送信パターン>
撮像装置1からサーバ装置2を介してクライアント端末3に対して行われる画像転送処理としての送信パターンについて各種説明していく。
図4に画像転送の第1送信パターンとしての、通信手順及び情報内容を示している。
なお、以降説明する第1送信パターンから第10送信パターンの図は、図4のように、撮像装置1、サーバ装置2、クライアント端末3の間の送受信を符号TP**(「**」は数値)付した矢印で示し、各装置の処理を符号PS**で示して表記する。図の縦方向(上から下)が時間の進行に対応する。
図4に示す第1送信パターンは次の手順で行われる。
・通信TP1
撮像装置1から撮像画像についての関連情報としてメタ情報をサーバ装置2に送信する。この時点では本画については送信しない。
撮像装置1は例えばカメラマンの操作に応じて、1又は複数の画像についてのメタ情報を送信する。
・処理PS1
サーバ装置2は、受信した各画像のメタ情報に基づいてDB7の検索を行い、付加情報を導出する。例えばメタ情報として、撮影場所と時刻が得られる場合、撮影場所と時刻を用いたDB7の検索により、競技内容や選手名が特定できる場合がある。このように得られる競技名や選手名などが、付加情報の一例となる。
このように撮像装置1から送信されてきた何らかの内容のメタ情報に基づいて、サーバ装置2がDB検索で得られる各種の情報を付加情報とする。
またこの処理PS1では、撮像装置1から送信されてきた複数の画像についてのメタ情報のそれぞれについて、DB検索を行って付加情報を得ることが想定される。
・通信TP2
サーバ装置2は、各画像についてのメタ情報と付加情報のペアを、クライアント端末3に送信する。
・処理PS2
クライアント端末3は、受信したメタ情報と付加情報を用いたUI(User Interface)処理を行う。
例えばクライアント端末3は図5Aのような表示を表示部77において実行する。この例では、メタ情報にカメラマン(撮影者)の情報、撮影時刻、撮影場所が含まれており、撮影時刻、撮影場所に基づいて付加情報として競技名と選手名が抽出されていたとする。このようなメタ情報、付加情報に基づいて、各画像に対応する情報内容一覧30が表示される。図5Aでは、6枚の画像に対応する情報として、例えばメタ情報に含まれる撮影者の情報と、付加情報として得られた競技名及び選手名を一覧表示する例を示している。
また、各情報に対応してチェックボックス31を配置し、クライアント端末3側の担当者が選択操作を行うことができるようにする。
さらにサムネイル要求ボタン32が表示され、担当者が操作できるようにしている。
このようなUI画面は、クライアント端末3の担当者が、まず画像に対応する情報内容のみを確認して、大まかに必要な画像を選別するために行われる。
図5Aでは、情報内容一覧30における1つめ、2つめ、6つめの情報について、担当者がチェックボックス31にチェックを入れた状態を示している。
またその状態でサムネイル要求ボタン32を操作すると、担当者が1つめ、2つめ、6つめの情報に対応する画像のサムネイル画像を要求したものとされる。
このような操作は、担当者が、メタ情報や付加情報を確認して、それらが実際にどのような画像内容であるかをサムネイルによって確認しようとする場合の操作となる。
処理PS2では、クライアント端末3のCPU71は、このようなUI画面の表示制御と、それに応じた担当者の入力の検知を行うことになる。
なお、例えば画像内容を低解像度の少ないデータ量で示すものとしてサムネイル/スクリーンネイルが知られているが、本開示でいう「サムネイル」は一般にサムネイル/スクリーンネイルといわれる画像のように本画(静止画や動画)を低解像度の静止画で示すものを広く指すものとする。
・通信TP3
クライアント端末3はサーバ装置2に対してサムネイル画要求リストを送信する。すなわちクライアント端末3は、処理PS2のUI処理で担当者がチェックボックス31へのチェック及びサムネイル要求ボタン32の操作を行うことに応じて、チェックされた情報に対応する画像のリスト情報と、それらのサムネイルを要求する情報を含むサムネイル画要求リストを生成し、それを送信する。
・通信TP4
サーバ装置2は、クライアント端末3から受信したサムネイル画要求リストを、撮像装置1に転送する。
・通信TP5
撮像装置1は、サムネイル画要求リストを受信することに応じて、サムネイル画要求リストに挙げられた1又は複数の画像のサムネイル画をサーバ装置2に送信する。
・通信TP6
サーバ装置2は、撮像装置1から受信したサムネイル画を、クライアント端末3に転送する。
・処理PS3
クライアント端末3は、受信したサムネイル画を用いたUI処理を行う。
例えばクライアント端末3は図5Bのようなサムネイル一覧34の表示を表示部77において実行する。すなわち受信したサムネイル画38を一覧表示する。
また図の例のように各サムネイル画38についてのメタ情報や付加情報の全部又は一部を、関連/付加情報39として表示させるとよい。
また各サムネイル画38に対応してチェックボックス31を配置し、クライアント端末3側の担当者が選択操作を行うことができるようにする。
さらに本画要求ボタン33を表示させ、担当者が操作できるようにする。
このようなUI画面は、クライアント端末3の担当者が、先の図5Aの画面で大まかに選別した画像について、その画像内容をサムネイル画38により確認しながら、最終的に必要な画像を選別するために表示される。
図5Bでは、中央のサムネイル画38について、担当者がチェックボックス31にチェックを入れた状態を示している。
その状態で本画要求ボタン33が操作されると、担当者が当該サムネイル画に対応する本画を要求したものとされる。
処理PS3では、クライアント端末3のCPU71は、このようなUI画面の表示制御と、それに応じた担当者の入力の検知を行うことになる。
・通信TP7
クライアント端末3はサーバ装置2に対して本画要求リストを送信する。すなわちクライアント端末3は、処理PS3のUI処理で担当者がチェックボックス31へのチェック及び本画要求ボタン33の操作を行うことに応じて、チェックされたサムネイルに対応する画像のリスト情報と、それらの本画を要求する情報を含む本画要求リストを生成し、それを送信する。
・通信TP8
サーバ装置2は、クライアント端末3から受信した本画要求リストを、撮像装置1に転送する。
・通信TP9
撮像装置1は、本画要求リストを受信することに応じて、本画要求リストに挙げられた1又は複数の画像の本画をサーバ装置2に送信する。
・通信TP10
サーバ装置2は、撮像装置1から受信した本画を、クライアント端末3に転送する。
これによりクライアント端末3に、図5Cの本画35が納品されることになる。
以上のように、はじめから本画35を転送するのではなく、まず1往復目としてメタ情報や付加情報に基づく大まかな画像選別が行われるようにし、続いて2往復目としてサムネイル画38による画像選別が行われるようにする。ここまでの処理の中継をサーバ装置2が初期情報転送処理として実行する。
そして最終的にサーバ装置2は、本画転送処理により、初期情報転送処理における選別で本画要求リストに挙げられた本画について、撮像装置1からクライアント端末3に転送されるようにする。
このようにすることで、撮像装置1で撮像された大量の本画を全てクライアント端末3に転送するのではなく、クライアント端末3の担当者が必要とする本画を選別して転送することができ、一連の転送は極めて効率化される。
図4に挙げた各通信TPや処理PSを実現するための撮像装置1及びサーバ装置2の処理例を説明していく。
通信TP1のための処理として、図6に撮像装置1の撮影時の処理を示す。撮像装置1の処理とは、主にカメラ制御部18の制御処理を示す。
撮像装置1のカメラ制御部18は図6のステップS101で撮像処理の制御を行う。すなわちカメラ制御部18は、カメラマンの操作に応じて画像の撮像/記録が行われるように、図2の必要各部を制御する。例えばカメラ制御部18は、撮像素子部12、カメラ信号処理部13により静止画の画像信号処理、関連するメタ情報生成などを実行させる。
ステップS102でカメラ制御部18は、サムネイル画及び本画のエンコード処理をカメラ信号処理部13に実行させる。
ステップS103でカメラ制御部18は、記録制御部14にサムネイル画及び本画(メタ情報を含む)を記録媒体に記録させる。
ステップS104でカメラ制御部18は、通信部16による撮影画像のメタ情報の送信処理を実行させる。
このステップS104の処理は、例えばカメラマンの送信操作に応じて実行する。例えばカメラ制御部18は、カメラマンが、撮影し記録媒体に記録した画像の中で、送信する(クライアント端末3に納品する)ために個々の画像や画像フォルダを選択し、送信操作を行うことに応じて実行する。カメラ制御部18はカメラマンが送信するものとして選択した1又は複数の画像について、それぞれ対応するメタ情報を、通信部16から送信させる。
以上の処理で図4の通信TP1が行われる。
図4の処理PS1、通信TP2のためのサーバ装置2の処理を図7に示す。なおサーバ装置2の処理として制御部2aの制御処理を示している。
制御部2aは、ステップS201で撮像装置1からのメタ情報の受信を確認する。
そしてメタ情報の受信があったときに、制御部2aはループ処理LP1を実行する。
ループ処理LP1では、撮像装置1から送信されてきた各画像のメタ情報について、それぞれステップS202,S203を行う。例えば10枚の画像についてのメタ情報を受信した場合は、各画像についてこれらの処理を行うことになる。
ステップS202で制御部2aは、メタ情報に基づいてDB検索処理を行い、付加情報を取得する。例えば1枚の画像について上述のように撮影位置と撮影時刻の情報がメタ情報として送られてきた場合、制御部2aは撮影位置と撮影時刻の情報に基づいてDB検索を行い、例えば競技名や選手名などの付加情報を得る。
ステップS203で制御部2aは、当該画像についてのメタ情報と付加情報をクライアント端末3に送信する処理を行う。
制御部2aが、ループ処理LP1で、このステップS202,S203の処理を各画像について行うことで、撮像装置1が各画像について送信したメタ情報と、それに対応する付加情報がクライアント端末3に送信されることになる。
これに応じてクライアント端末3側では上述のように処理PS2としてのUI処理を行い、通信TP3としてサムネイル画要求リストを送信する。
サムネイル画要求リストに応じた通信TP4のためのサーバ装置2の処理を図8に示す。
サーバ装置2の制御部2aは、ステップS220で画要求リストの受信を確認する。ここでいう画要求リストとは、例えばサムネイル画要求リストや本画要求リストのことである。後述の送信パターンでは、グルーピング画像の要求情報や、本動画の一部クリップの要求、プロキシ動画の一部クリップ要求などの情報の場合もある。
図4の第1送信パターンの場合、サムネイル画要求リスト又は本画要求リストの受信があったときに、制御部2aはステップS221の処理を実行する。
ステップS221で制御部2aは、受信した画要求リストを撮像装置1に転送する処理を行う。これにより通信TP4としてはサムネイル画要求リストが転送されることになる。
通信TP5のための撮像装置1の処理を図9に示す。
カメラ制御部18はステップS120で、サーバ装置2からの画要求リストの受信を確認する。
そして画要求リストの受信があったときに、カメラ制御部18はループ処理LP20を実行する。
ループ処理LP20では、カメラ制御部18は、画要求リストに挙げられた要求に係る画像の数だけ、ステップS121からステップS125の処理を繰り返す。
まずステップS121でカメラ制御部18は、画要求リストがサムネイル画要求リストか本画要求リストかを判定して処理を分岐する。
画要求リストがサムネイル画要求リストであった場合は、カメラ制御部18はステップS122で、記録制御部14により記録媒体から、要求に含まれる1つの画像についてのサムネイル画の読出を実行させる。
そしてカメラ制御部18はステップS123で、記録媒体から読み出したサムネイル画を、通信部16を介してサーバ装置2に送信する処理を行う。
画要求リストが本画要求リストであった場合は、カメラ制御部18はステップS124で、記録制御部14により記録媒体から、要求に含まれる1つの画像についての本画の読出を実行させる。
そしてカメラ制御部18はステップS125で、記録媒体から読み出した本画を、通信部16を介してサーバ装置2に送信する処理を行う。
以上の処理が画要求リストに挙げられた要求に係る画像についてそれぞれ行われることで、画要求リストにかかるサムネイル画又は本画の送信が実行される。
通信TP5に関していえば、サムネイル画要求リストに応じてサムネイル画が送信されることになる。
通信TP6のためのサーバ装置2の処理を図10に示す。
サーバ装置2の制御部2aは、ステップS230で、撮像装置1からの画像の受信を確認する。ここでいう画像とは、例えばサムネイル画又は本画である。
そして画像の受信があったときに、制御部2aは、ループ処理LP10を実行する。
ループ処理LP10では、制御部2aは、受信した画像の数だけ、ステップS231の処理を繰り返す。
ステップS231で制御部2aは、受信した画像をクライアント端末3に送信する処理を行う。
従って通信TP6としては、サーバ装置2は、撮像装置1から1又は複数のサムネイル画を受信した場合、それらをクライアント端末3に転送することになる。
これに応じてクライアント端末3側では上述のように処理PS3としてのUI処理を行い、通信TP7として本画要求リストを送信する。
本画要求リストに応じた通信TP8のためのサーバ装置2の処理は上述の図8のようになる。
また通信TP8により本画要求リストを受信した撮像装置1の処理は図9のようになる。つまり本画要求リストに挙げられた要求に係る画像についてそれぞれ図9のステップS124,S125が行われることで、通信TP9としての本画要求リストにかかる本画の送信が実行される。
また通信TP10のためのサーバ装置2の処理は図10のとおりとなる。サーバ装置2は、撮像装置1から1又は複数の本画を受信した場合、それらをステップS231の処理でクライアント端末3に転送することになる。
なお、通信TP5や通信TP7で撮像装置1に送信される画要求リストには送信優先度の情報を載せても良い。例えば複数の画像を要求するときに、優先順位の高低を担当者が設定できるようにする。そしてその順番を画要求リストに設定し、撮像装置1はその優先順位に応じた順序で画像送信を行うようにする。これにより、必要性の高い画像をなるべく早く納品できるようになる。これは以下の各送信パターンの場合にも適用できる。
<4.第2送信パターン>
第2通信パターンを説明する。なお以下では、各通信パターンについては既述の通信パターンと異なる点を主に説明し、同様の部分の詳述は避ける。
図11に第2送信パターンを示している。
通信TP1は図4と同様であり、撮像装置1からメタ情報がサーバ装置2に送信される。
但し第2送信パターンでは、サーバ装置2は、この時点で上述の処理PS1としての付加情報の導出を行うことなく、通信TP2では、受信したメタ情報をそのままクライアント端末3に送信する。
クライアント端末3は処理PS2としてUI処理を行うが、この場合、付加情報を受信していないため、表示内容は図12Aに示すようなメタ情報のみに基づいたものとなる。
例えばメタ情報として、撮影者と撮影場所と時刻が送信されてきた場合、各画像に対応するカメラマン(撮影者)の情報、撮影場所、撮影時刻が、情報内容一覧30として表示される。
また、各情報に対応するチェックボックス31やサムネイル要求ボタン32が表示され、担当者が操作できるようにされる。
通信TP3では図12Aの画面に対する操作に応じてクライアント端末3からサムネイル画要求リストが送信される。
通信TP4ではサーバ装置2がサムネイル画要求リストを撮像装置1に転送する。
通信TP5では、撮像装置1が、サムネイル画要求リストで要求されたサムネイル画を送信する。
当該第2送信パターンでは、通信TP5により、撮像した本画の関連情報としてのサムネイル画を受信したサーバ装置2は、このときの処理PS4として付加情報を得る処理を行う。この場合、サムネイル画についての画像解析、物体認識処理を行い、その結果により付加情報を生成する。例えば顔認識、個人識別、背番号の識別などを行って、選手名を得ることができる。また被写体についての物体認識により競技種別を判別し、競技名を付加情報として生成することもできる。これらの例により、サムネイル画を用いた認識処理により、何らかの情報を取得し、それを付加情報とする。
通信TP6でサーバ装置2は、サムネイル画と、サムネイル画から判定した付加情報をクライアント端末3に送信する。
クライアント端末3は、処理PS3として受信したサムネイル画を用いたUI処理を行う。この場合、付加情報も受信することになるため、クライアント端末3では、サムネイル画とともに付加情報に基づく表示も行うことができる。
例えばクライアント端末3は図12Bのようなサムネイル一覧34の表示として、受信したサムネイル画38の表示を表示部77において実行する。また各サムネイル画38についてのメタ情報や付加情報の全部又は一部として、関連/付加情報39も表示させる。この例ではメタ情報として得られる撮影者の情報とともに、付加情報として得られた競技名や選手名が表示されている。
また各サムネイル画38に対応するチェックボックス31や本画要求ボタン33が表示され、担当者が操作できるようにしている。
通信TP7では図12Bの画面に対する操作に応じてクライアント端末3から本画要求リストが送信される。
通信TP8ではサーバ装置2が本画要求リストを撮像装置1に転送する。
通信TP9では、撮像装置1が、本画要求リストで要求された本画を送信する。
通信TP10では、サーバ装置2が、図12Cのような本画をクライアント端末3に転送する。
以上のように図11の第2送信パターンは、サーバ装置2が付加情報を得るための処理を、処理PS4としてサムネイル画に基づく点が図4の第1送信パターンと異なる。
第2送信パターンのための撮像装置1やサーバ装置2の処理は次のようになる。
通信TP1のための撮像装置1の処理は前述の図6の通りとなる。
通信TP2のためのサーバ装置2の処理は図13のようになる。
制御部2aは、ステップS201で撮像装置1からのメタ情報の受信を確認する。
そしてメタ情報の受信があったときに、制御部2aはループ処理LP2を実行する。
ループ処理LP2としては、ステップS205で制御部2aが、撮像装置1から送信されてきたメタ情報をクライアント端末3に送信する処理を行う。
制御部2aが、ループ処理LP2で、このステップS205の処理を各画像について行うことで、撮像装置1が各画像について送信したメタ情報がクライアント端末3に送信されることになる。
これに応じてクライアント端末3側では上述のように処理PS2としてのUI処理を行い、通信TP3としてサムネイル画要求リストを送信する。
サムネイル画要求リストに応じた通信TP4のためのサーバ装置2の処理は前述の図8の通りとなる。
また通信TP5のための撮像装置1の処理は前述の図9の通りとなる。
通信TP5でサムネイル画38を受信した場合の、通信TP6のためのサーバ装置2の処理は図14のようになる。
サーバ装置2の制御部2aは、ステップS230で、撮像装置1からの画像の受信を確認する。ここでいう画像とは、例えばサムネイル画又は本画である。
ステップS240で制御部2aは、受信した画像がサムネイル画であるか本画であるかにより処理を分岐する。
そして制御部2aは、サムネイル画の受信があったときにはループ処理LP11を実行し、本画の受信があったときにはループ処理LP11を実行する。
ループ処理LP11では、制御部2aは、受信したサムネイル画像の数だけ、ステップS241,S242,S243の処理を繰り返す。
ステップS241で制御部2aは、画像認識処理を行う。そしてステップS242で画像認識処理の結果に基づいて付加情報を生成する。
なお、この場合に、画像認識結果に基づいてDB検索を行って付加情報を生成してもよい。さらに画像認識結果に基づく付加情報と、メタ情報に基づくDB検索結果として得られる付加情報の両方を導出するようにしてもよい。
ステップS243で制御部2aは、受信した画像をクライアント端末3に送信する処理を行う。
従って通信TP6としては、サーバ装置2は、撮像装置1から1又は複数のサムネイル画を受信した場合、それらとともに付加情報をクライアント端末3に転送することになる。
これに応じてクライアント端末3側では上述のように処理PS3としてのUI処理を行い、通信TP7として本画要求リストを送信する。
本画要求リストに応じた通信TP8のためのサーバ装置2の処理は上述の図8のようになる。
また通信TP8により本画要求リストを受信した撮像装置1の処理は図9のようになる。つまり本画要求リストに挙げられた要求に係る画像についてそれぞれ図9のステップS124,S125が行われることで、通信TP9としての画要求リストにかかる本画の送信が実行される。
また通信TP10のためのサーバ装置2の処理は図14のとおりとなる。サーバ装置2は、撮像装置1から1又は複数の本画を受信した場合、図14のステップS240からループ処理LP12に進む。
ループ処理LP12では、制御部2aは、受信した本画の数だけ、ステップS244の処理を繰り返す。
ステップS244で制御部2aは、受信した本画をクライアント端末3に送信する処理を行う。
従って通信TP10としては、サーバ装置2は、撮像装置1から1又は複数の本画を受信した場合、それらをクライアント端末3に転送することになる。
<5.第3、第4送信パターン>
第3、第4送信パターンとして付加情報の取得/転送が行われない例を説明する。
図15は第3送信パターンを示している。
通信TP1として撮像装置1からメタ情報がサーバ装置2に送信される。
通信TP2として、サーバ装置2は、受信したメタ情報をそのままクライアント端末3に送信する。
クライアント端末3は処理PS2としてUI処理を行うが、この場合、付加情報を受信していないため、表示内容は図16Aに示すようなメタ情報のみに基づいたものとなる。例えば図12Aと同様の内容となる。
通信TP3では図16Aの画面に対する操作に応じてクライアント端末3からサムネイル画要求リストが送信される。
通信TP4ではサーバ装置2がサムネイル画要求リストを撮像装置1に転送する。
通信TP5では、撮像装置1が、サムネイル画要求リストで要求されたサムネイル画を送信する。
通信TP6でサーバ装置2は、サムネイル画をクライアント端末3に送信する。
クライアント端末3は、処理PS3として受信したサムネイル画を用いたUI処理を行う。例えばクライアント端末3は図16Bのようなサムネイル一覧34の表示として、受信したサムネイル画38の表示を表示部77において実行する。この場合、付加情報は送信されてこないため、関連/付加情報39としてはメタ情報に基づく情報のみ、例えば撮影場所と撮影時刻などが表示されている。
また各サムネイル画38に対応するチェックボックス31や本画要求ボタン33が表示され、担当者が操作できるようにしている。
通信TP7では図16Bの画面に対する操作に応じてクライアント端末3から本画要求リストが送信される。
通信TP8ではサーバ装置2が本画要求リストを撮像装置1に転送する。
通信TP9では、撮像装置1が、本画要求リストで要求された本画を送信する。
通信TP10では、サーバ装置2が、図16Cのような本画をクライアント端末3に転送する。
以上のように図15の第3送信パターンは、サーバ装置2が付加情報を得る処理を行わない点が、上述の第1送信パターン、第2送信パターンと異なる。
第3送信パターンのための撮像装置1やサーバ装置2の処理は次のようになる。
撮像装置1の、撮影時の処理は図6のとおりとなり、画要求受信時の処理は図9のとおりとなる。
サーバ装置2のメタ情報受信時の処理は図13のとおりとなり、画要求受信時の処理は図8のとおりとなり、画像受信時の処理は図10のとおりとなる。
次に第4送信パターンを説明する。
全体の手順は図15の第3送信パターンと同様となるが、撮像装置1が個人顔登録機能を有している場合の例となる。
撮像装置1が例えば競技の選手の個々の顔と所属チーム、氏名等を登録していれば、画像認識により被写体とされた選手を識別し、その情報をメタ情報に含めることができる。
そこで撮像装置1は、例えば図17の処理を行うようにする。
カメラ制御部18の処理として図17のステップS101,S102,S103,S104の処理は図6と同様である。
カメラ制御部18は図17のステップS180として、個人顔認識処理を行う。例えばステップS103で記録した各画像について、個人顔認識処理を行い、被写体となっている選手を特定し、その情報をメタ情報に追加する。
これにより、ステップS104でのメタ情報の送信を行うと、そのメタ情報には選手情報も含まれることになる。
そのため、図15の通信TP1,通信TP2によりメタ情報がクライアント端末3に送信された場合、クライアント端末3では、メタ情報に基づいて、図16Dのような情報内容一覧30を表示することができる。すなわち選手の情報を表示できる。
これにより、例えば担当者が特定の選手の画像を選択したい場合などに非常に有用となる。
<6.第5送信パターン>
第5通信パターンを図18で説明する。
通信TP1では、撮像装置1から音声メモデータを含むメタ情報がサーバ装置2に送信される。
音声メモデータとは、画像撮像時(例えばレリーズ操作直後)や、あるいは記録媒体への記録後に画像をしたうえで、メモとなる言葉を発することで、その音声がメモとして画像に関連づけられてメタ情報の1つとして保存されるデータである。この第5通信パターンは、撮像装置1に音声メモ機能がある場合に適用できるものとなる。
サーバ装置2は、音声メモデータを含むメタ情報を受信したら、通信TP2として、それをクライアント端末3に送信する。
クライアント端末3は処理PS2としてUI処理を行うが、この場合、表示内容としては図19Aに示すようにメタ情報のみに基づいた情報内容一覧30となる。但し音声メモデータを含むメタ情報を受信しているため、音声メモデータを含む情報内容に対して音声再生アイコン40を表示させる。図の例では全ての画像に対して音声メモデータが存在する場合として、各情報内容に対応して音声再生アイコン40が表示されている。
音声再生アイコン40を操作することで、クライアント端末3においては例えば音声出力部78により音声メモが再生される。カメラマンが適切に音声メモを録音しておくことで、クライアント端末3の担当者は、音声メモを参考にして画像選別を行うことができるようになる。
以降の通信TP3から通信TP10、及び処理PS3は、第3通信パターンと同様となるため重複説明を避ける。
音声メモデータを記録できる撮像装置の撮影時の処理は図20のようになる。
なお図20においてステップS101,S102,S103,S104は図6と同様である。
撮像した画像については、カメラマンは任意に音声メモを付加することができる。
カメラマンが、撮像した画像に音声メモを録音する操作を行わない場合、処理はステップS110からステップS104に進み、図6と同様となる。
音声メモを録音する操作を行った場合、図20の処理はステップS110からステップS111に進み、カメラ制御部18は録音処理を行う。すなわち所定の操作に応じて、例えば10秒から20秒程度の期間、音声入力部25から入力する音声を録音する処理となる。
ステップS112でカメラ制御部18は入力された音声メモデータのエンコード処理を、カメラ信号処理部13に実行させる。
ステップS113でカメラ制御部18はエンコードした音声メモデータの記録媒体への記録処理を、記録制御部14に実行させる。
そしてステップS114でカメラ制御部18は、画像のメタ情報に音声メモデータを加えた状態で、サーバ装置2への送信処理を通信部16に実行させる。
音声メモデータを含むメタ情報を受信したときの、通信TP2のためのサーバ装置2の処理は図21のようになる。
制御部2aは、ステップS201で撮像装置1からのメタ情報の受信を確認する。
そしてメタ情報の受信があったときに、制御部2aはループ処理LP3を実行する。
ループ処理LP3としては、ステップS206で制御部2aは、メタ情報に音声メモデータが含まれているか否かを判定して処理を分岐する。
メタ情報に音声メモデータが含まれていなければ、制御部2aはステップS205で、撮像装置1から送信されてきたメタ情報をクライアント端末3に送信する処理を行う。
メタ情報に音声メモデータが含まれていれば、制御部2aはステップS207で、撮像装置1から送信されてきた音声メモデータを含むメタ情報をクライアント端末3に送信する処理を行う。
制御部2aが、ループ処理LP3で、このステップS206とS205、又はステップS206とS207の処理を各画像について行うことで、撮像装置1が各画像について送信したメタ情報がクライアント端末3に送信されることになり、音声メモデータが付加されていれば、それも送信される。
この第5送信パターンについての他の処理は、次のようになる。
撮像装置1の画要求受信時の処理は図9のとおりとなる。
サーバ装置2の画要求受信時の処理は図8のとおりとなり、画像受信時の処理は図10のとおりとなる。
<7.第6送信パターン>
第6通信パターンを図22で説明する。
通信TP1では、撮像装置1から音声メモデータを含むメタ情報がサーバ装置2に送信される。
サーバ装置2は、音声メモデータを含むメタ情報を受信したら、処理PS5として音声メモの文字起こし処理を行う。つまり音声メモデータをテキストデータに文字起こしした情報を生成する。そして通信TP2として、メタ情報と、音声メモデータに基づくテキスト情報をクライアント端末3に送信する。
クライアント端末3は処理PS2としてUI処理を行うが、この場合、表示内容としては図23Aに示すように、情報内容一覧30として、メタ情報の内容とともに、音声メモデータをテキスト化した音声メモテキスト41が表示できることになる。
なお、テキスト情報は、サーバ装置2で発生させるという意味で、本開示でいう付加情報の1つとしてとらえても良いが、内容的にあくまで音声メモデータと同じであるため本開示でいう関連情報としてとらえてもよい。
音声メモテキスト41の表示により。クライアント端末3の担当者は、音声メモの内容を参考にして画像選別を行うことができるようになる。このときに音声メモを再生させる必要もないので、より効率よく選択操作ができるようになる。
以降の通信TP3から通信TP10、及び処理PS3は、第3通信パターンと同様となる。
音声メモデータを記録できる撮像装置の撮影時の処理は上述の図20のとおりである。
音声メモデータを含むメタ情報を受信したときの、通信TP2のためのサーバ装置2の処理は図24のようになる。
制御部2aは、ステップS201で撮像装置1からのメタ情報の受信を確認する。
そしてメタ情報の受信があったときに、制御部2aはループ処理LP4を実行する。
ループ処理LP4としては、ステップS206で制御部2aは、メタ情報に音声メモデータが含まれているか否かを判定して処理を分岐する。
メタ情報に音声メモデータが含まれていなければ、制御部2aはステップS205で、撮像装置1から送信されてきたメタ情報をクライアント端末3に送信する処理を行う。
メタ情報に音声メモデータが含まれていれば、制御部2aはステップS208で音声メモデータのテキスト化処理を行う。そして制御部2aはステップS209で、撮像装置1から送信されてきた音声メモデータのテキスト化データと、他のメタ情報をクライアント端末3に送信する処理を行う。
なお、この際、音声メモデータ自体は送信しないようにすることで、送信データ量を削減することができる。
但し、音声メモデータのテキスト化データと共に、元の音声メモデータをクライアント端末3に送信し、クライアント端末3側で音声再生もできるようにしてもよい。
制御部2aが、ループ処理LP4で、このステップS206とS205、又はステップS206、S208,S209の処理を各画像について行うことで、撮像装置1が各画像について送信したメタ情報がクライアント端末3に送信されることになり、音声メモデータが付加されていれば、それがテキスト化されて送信される。
この第6送信パターンについての他の処理は、次のようになる。
撮像装置1の画要求受信時の処理は図9のとおりとなる。
サーバ装置2の画要求受信時の処理は図8のとおりとなり、画像受信時の処理は図10のとおりとなる。
<8.第7送信パターン>
図25で第7送信パターンとして、撮像装置で連写が行われ、一連の画像がグルーピング画像として管理される場合の例を説明する。
・通信TP21
撮像装置1は、撮像画像についての関連情報として、連写グルーピング画像の先頭画のサムネイル画を含むメタ情報をサーバ装置2に送信する。
この場合、撮像装置1は、1又は複数の連写グルーピング画像について、それぞれ先頭画のサムネイル画を送信するが、先頭に限らず、連写グルーピング画像に含まれるある画像が選択されて、その画像のサムネイル画が送信されれば良い。
・通信TP22
サーバ装置2は、各連写グルーピング画像についてのサムネイル画を含むメタ情報をクライアント端末3に送信する。
・処理PS6
クライアント端末3は、受信した各連写グルーピング画像のサムネイル画を用いたUI処理を行う。
例えばクライアント端末3では図26Aのようなサムネイル一覧34を表示させる。この場合、連写グルーピング画像については連写グルーピング画像のサムネイル画(連写サムネイル画42)が表示される。
また送信されてきた内容に、連写ではない通常の1枚撮像により得られた画像のサムネイル画が含まれる場合、そのサムネイル画38が表示される。
また、連写サムネイル画42やサムネイル画38に対応して、メタ情報に基づく関連/付加情報39として、カメラマン(撮影者)の情報、撮影時刻、撮影場所などが表示される。
また連写サムネイル画42やサムネイル画38に対応して、チェックボックス31を配置し、クライアント端末3側の担当者が選択操作を行うことができるようにする。
さらに本画要求ボタン33や展開ボタン36が表示され、担当者が操作できるようにされる。
このようなUI画面は、クライアント端末3の担当者が、サムネイル画像から本画を要求する画像を選別するための画面となるが、連写グルーピング画像については、個々の画像を選択できるようにもされている。
例えば連写サムネイル画42をチェックボックス31で選択して展開ボタン36を操作することで、図26Bのように、連写を構成する各画像のサムネイル画が閲覧できる状態となる。
・通信TP23
クライアント端末3はサーバ装置2に対してグルーピング画像全体の要求を送信する。すなわちクライアント端末3は、処理PS2のUI処理で担当者が、ある連写サムネイル画42についてチェックボックス31へチェックし、展開ボタン36を操作することに応じて、チェックされた連写グルーピング画像の全部の画像のリスト情報と、それらのサムネイルを要求する情報を含むグルーピング画像全体の要求の情報を生成し、それを送信する。
・通信TP24
サーバ装置2は、クライアント端末3から受信したグルーピング画像全体の要求を、撮像装置1に転送する。
・通信TP25
撮像装置1は、グルーピング画像全体の要求を受信することに応じて、要求された連写グルーピング画像に含まれる個々の画像のサムネイル画をサーバ装置2に送信する。
・通信TP26
サーバ装置2は、撮像装置1から受信したサムネイル画を、クライアント端末3に転送する。
・処理PS7
クライアント端末3は、受信したグルーピング画像の全てのサムネイル画を用いたUI処理を行う。
例えばクライアント端末3は図26Bのような展開一覧37として、連写グルーピング画像の各サムネイル画43の表示を表示部77において実行する。
また連写グルーピング画像全体に対応して、関連/付加情報39も表示させるとよい。
また各サムネイル画43に対応してチェックボックス31を配置し、クライアント端末3側の担当者が選択操作を行うことができるようにする。
さらに本画要求ボタン33を表示させ、担当者が操作できるようにする。
このようなUI画面により、クライアント端末3の担当者が、連写画像について、その一部の画像を選択するということも可能となる。
・通信TP27
クライアント端末3はサーバ装置2に対して本画要求リストを送信する。すなわちクライアント端末3は、処理PS6又は処理PS7のUI処理で担当者がチェックボックス31へのチェック及び本画要求ボタン33の操作を行うことに応じて、チェックされたサムネイルに対応する画像のリスト情報と、それらの本画を要求する情報を含む本画要求リストを生成し、それを送信する。
・通信TP28
サーバ装置2は、クライアント端末3から受信した本画要求リストを、撮像装置1に転送する。
・通信TP29
撮像装置1は、本画要求リストを受信することに応じて、本画要求リストに挙げられた1又は複数の画像の本画をサーバ装置2に送信する。
・通信TP30
サーバ装置2は、撮像装置1から受信した本画を、クライアント端末3に転送する。
これによりクライアント端末3に、図26Cの本画35が納品されることになる。
以上のように、連写グルーピング画像を想定する場合には、その連写グルーピング画像を代表するサムネイル画を送信し、それにより連写グルーピング画像を選択できるようにする。さらには連写グルーピング画像の個々の画像を選択できるようにする。
このようにすることで、撮像装置1で連写撮像された大量の本画を全てクライアント端末3に転送するのではなく、クライアント端末3の担当者が必要とする連写グルーピング画像や個々の画像についての本画を選別して転送することができ、一連の転送は極めて効率化される。
なお、図25は、撮像装置1で連写撮影が行われた場合を想定して通信TP21から通信TP30を示したものであるが、撮像装置1で連写撮像が行われていないときは、例えば上述の第1送信パターンから第6送信パターンのいずれかにより通信TP1から通信TP10が行われることになる。
また連写が行われた場合でも、図25の通信TP21より前の時点で、例えば図4に示した通信TP1、処理PS1、通信TP2、処理PS2、通信TP3、通信TP4が行われ、通信TP4のサムネイル画要求リストにより要求された画像について、図25の通信TP21以降の処理が行われるようにすることも考えられる。
この第7送信パターンに関する撮像装置1の撮影時の処理としては図27の例が考えられる。
カメラ制御部18は、ステップS140で連写撮影か否か(連写撮影モードとされているか否か)により処理を分岐する。
連写撮影でなければカメラ制御部18はステップS101からステップS104の処理を行う。これは図6と同様の処理となる。
連写撮影時には、カメラ制御部18はループ処理LP30として、連写による撮像回数の数だけ、ステップS141からステップS144までの処理を繰り返す。
ステップS141でカメラ制御部18は連写内の1枚の撮像処理の制御を行う。例えばカメラ制御部18は、撮像素子部12、カメラ信号処理部13により静止画の画像信号処理などを実行させる。
ステップS142でカメラ制御部18は、サムネイル画及び本画のエンコード処理をカメラ信号処理部13に実行させる。
ステップS143でカメラ制御部18は、記録制御部14にサムネイル画及び本画を記録媒体に記録させる。
ステップS144でカメラ制御部18は、グループ情報管理ファイルを更新する。これは連写グルーピング画像の管理するファイルについて、その連写グルーピング画像に関連づけるメタ情報を更新する処理である。
以上の処理を連写枚数だけ行った後に、カメラ制御部18はステップS145に進み、連写グルーピング画像の先頭の1枚のサムネイル画を含むメタ情報の送信処理を通信部16に実行させる。
以上の処理で図4の通信TP1が行われる。
撮像装置1の画像要求受信時の処理は図28のようになる。
通信TP25でグルーピング画像全体のサムネイル画の要求の受信時、通信TP28での本画要求リストの受信時、さらには図4の通信TP5のようにサムネイル画要求リストの受信時の処理である。
カメラ制御部18はステップS120で、サーバ装置2からの画要求リストの受信を確認する。
そして画要求リストの受信があったときに、カメラ制御部18はループ処理LP21を実行する。
ループ処理LP21では、カメラ制御部18は、画要求リストに挙げられた要求に係る画像の数だけ、以下の処理を繰り返す。
まずステップS131でカメラ制御部18は、画要求リストがサムネイル画要求リストであるか否かを判定する。
画要求リストがサムネイル画要求リストであった場合は、カメラ制御部18はステップS122で、記録制御部14により記録媒体から、要求に含まれる1つの画像についてのサムネイル画の読出を実行させる。
そしてカメラ制御部18はステップS123で、記録媒体から読み出したサムネイル画を、通信部16を介してサーバ装置2に送信する処理を行う。
これを要求された画像の数だけ繰り返す。
受信した要求情報が、サムネイル画要求リストではない場合は、カメラ制御部18はステップS132で、画要求リストが本画要求リストであったか否かを判定する。本画要求リストであった場合は、カメラ制御部18はステップS124で、記録制御部14により記録媒体から、要求に含まれる1つの画像についての本画の読出を実行させる。
そしてカメラ制御部18はステップS125で、記録媒体から読み出した本画を、通信部16を介してサーバ装置2に送信する処理を行う。
これを要求された画像の数だけ繰り返す。
受信した要求情報が、サムネイル画要求リストでも本画要求リストでもない場合は、カメラ制御部18はステップS133で、グルーピング画像全体要求であったか否かを判定する。その場合、カメラ制御部18はループ処理LP22を行う。
ループ処理LP22では、ステップS126,S127を、該当の連写グルーピング画像を構成する画像数に応じて繰り返す。正確には先頭画像のサムネイル画はすでに送信済みであるので、2枚目以降の画像について処理を繰り返し行えば良い。
ステップS126では、記録制御部14により記録媒体から、連写グルーピング画像のうちの未送信画のサムネイル画の読出を実行させる。
そしてカメラ制御部18はステップS127で、記録媒体から読み出したサムネイル画を、通信部16を介してサーバ装置2に送信する処理を行う。
以上の処理が行われることで、画要求リストにかかるサムネイル画又は本画の送信が実行される。
通信TP25、通信TP29(又は通信TP9)、通信TP5としての画像送信が行われることになる。
なお、サーバ装置2のメタ情報受信時の処理は図13のとおりとなり、画要求受信時の処理は図8のとおりとなり、画像受信時の処理は図10のとおりとなる。
<9.切り替え処理例I>
ここまで、主に画像として静止画を想定して第1送信パターンから第7送信パターンを説明してきたが、これらの送信パターンは、サーバ装置2が適宜切り替えることで、状況や撮影対象に応じて適切な通信が実現できる。
以下で述べる切り替えとしては、例えば状況に応じて第1送信パターンと第4送信パターンの切り替えや、第5送信パターンと第6送信パターンの切り替えを行うことや、例えば撮像装置で連写が行われた場合に、自動的に第1送信パターンから第7送信パターンに切り替えるといったような、送信パターン自体を切り替えることが挙げられるが、それだけではない。
例えば第1送信パターンでは、1往復目でメタ情報と付加情報を送信してクライアント端末3での選択を実行させ、2往復目でサムネイル画を送信してクライアント端末3での選択を実行させるというように、初期情報転送処理を2往復行うものとしたが、これを1往復のみを経て本画転送処理を行うといった例や、初期情報転送処理を行わないで最初から本画転送処理を行うといった例もあり、これらのように、送信パターンの手順の削減又は追加を行うといった切り替えも含まれる。
以下の説明では、主に送信パターンの切り替えに着目して説明するが、送信パターン内での手順の切り替えにも適用できるものとして理解されたい。
図29は切り替え処理例Iを示している。
・処理PS10
サーバ装置2が状況判定を行い、状況に応じて実行する送信パターンを決定する。なお上述のように、ある送信パターンにおいて手順を変更する(例えば初期情報転送処理を省略したり、初期情報転送処理を1往復のみにしたりするなど)といった決定を行うこともできる。
・通信TP40
サーバ装置2は、決定した送信パターンを撮像装置1に通知する。
・処理PS11
撮像装置1は、通知された送信パターンに応じて画像納品のための設定処理を行う。
例えばカメラ制御部18は次のような設定を行う。第1送信パターンから第4送信パターンの場合は、画像転送時にメタ情報のみを送信する設定を行う。第5、第6送信パターンの場合は画像転送時に音声メモデータを含むメタ情報を送信する設定を行う。第7送信パターンの場合は、連写グルーピング画像について先頭画像のサムネイル画を送信する設定を行う。
あるいは、ある送信パターンにおいて初期情報転送処理を省略するという設定を行うような場合もあり得る。
・通信TP41
サーバ装置2は、決定した送信パターンをクライアント端末3に通知する。
・処理PS12
クライアント端末3は、通知された送信パターンに応じて、それを示すUI処理を行う。
なお、上記の通信TP40と通信TP41の順序は逆でも良い。また通信TP40と通信TP41の一方又は両方、及びそれに応じた処理PS11,処理PS12は行われないということも考えられる。
このような切り替え処理を行うためのサーバ装置2の処理例を図30に示す。
ステップS300で制御部2aは状況判定を行う。例えば現在の転送レートやパケットエラー率などの通信状況、接続されている撮像装置1の数、サーバ装置2自身の処理負荷、などの状況を判定する。
ステップS301で制御部2aは、状況判定の結果、切り替えを行うべきか否かで処理を分岐する。制御部2aは、切り替えを行わない場合は図30の処理を終了するが、切り替えを行う場合はステップS302に進む。
ステップS302で制御部2aは、判定した状況に応じて送信パターンを決定する。例えば撮像装置1側との通信状況が良好であれば第1送信パターン、悪化している場合は第3送信パターンとする例や、サーバ装置2自身の処理負荷が軽い状態では第1又は第2送信パターン、処理負荷が重くなっている時は第3送信パターンとするなどが考えられる。
ステップS303で制御部2aは、撮像装置1に送信パターンを通知する処理を行い、ステップS304でクライアント端末3に送信パターンを通知する処理を行う。
このような処理で送信パターンの切り替えが実行されることで、通信状況や処理負荷の状況などに応じて適切な送信パターンが選択されることになる。
各種の状況判定に応じた切り替えの具体例を挙げる。
まずタイミングに関する状況判定がある。
・第1,第2送信パターンについてはサーバ装置2が付加情報生成の必要がある。また第6送信パターンではテキスト化処理が必要である。そこで、付加情報生成のための情報が未作成、又はDBアクセスができない状態の場合、又はテキスト化処理が不能な場合では第3,第4,第5送信パターンを設定し、これら付加情報生成等が可能な状態であれば第1,第2,第6送信パターンに設定する。
サーバ装置2の処理負荷に関する状況判定も考えられる。
多数のクライアント端末3側から画リストを要求された場合、サーバ装置2側のネットワーク負荷を下げるために、送信するデータ量を少なくしたい。例えば音声データよりテキストデータを送りたい。そこでサーバ装置2のネットワーク負荷が高い場合、第3送信パターンに切り替え、サーバ装置2のネットワーク負荷が低い場合、第5送信パターンに切り替えることが考えられる。
また、多数のカメラ側から画を受信した場合、サーバ装置2側のネットワーク負荷を下げるために、送信するデータ量を少なくしたい。例えば連写画像の場合は先頭画を送ることでデータ量をすくなくしたい。そこでサーバ装置2側のネットワーク負荷が高い場合、第7送信パターンに切り替え、サーバ装置2側のネットワーク負荷が低い場合、第3送信パターンに切り替えることが考えられる。
また、多数の撮像装置1側から多数のメタ情報を受信した場合、サーバ装置2側のデータ作成処理負荷が上がる。そこでサーバ装置2側のインタフェース処理やCPU71の処理負荷が高い場合、第3,第4送信パターンに処理を切り替え、サーバ装置2側のインタフェース処理やCPU71の処理負荷が低い場合、第1,第2,第5送信パターンに処理を切り替えることが考えられる。
ユースケースの観点での状況判定も考えられる。
ネットワーク環境が貧弱な可能性がある屋外スポーツ、ネットワーク環境が充実した屋内/スタジアム内のスポーツという撮像場所の環境の差がある。例えばネットワーク環境が貧弱な場合は第3送信パターン、ネットワーク環境が充実している場合は第5送信パターンに処理を切り替えるという例が考えられる。
また、ネットワーク環境が貧弱な場合は、メタ情報送信、サムネイル画送信、本画送信というように第1から第6送信パターンで説明した送信を行うが、ネットワーク環境が充実した状況では、サムネイル画送信、本画送信とすること(つまり初期情報転送処理を1往復にする)、最初から本画送信をする(初期情報転送処理を行わない)ことなど、送信段階を減らすことが考えられる。
陸上/水泳等、競技プログラムから時間・場所・競技選手のDBが作成可能なスポーツ、マラソンやトライアスロンなどそうではないスポーツがある。被写体イベントがDB作成可能なスポーツの場合は、第1送信パターンを用い、被写体イベントがDB作成可能なスポーツではない場合は第3,第4,第5,第6送信パターンに切り替えるといったことが考えられる。
なお撮影対象となるスポーツの種別によって送信パターンを切り替える処理については、切り替え処理例II、IIIとして後述する。
5G環境か4G環境かという観点での状況判定も考えられる。
ネットワーク環境によって送信するデータ量を少なくしたい。そこで4G環境の場合、第3,第4送信パターンに切り替え、5G環境の場合第1,第2,第5,第6送信パターンに切り替えるといった例が考えられる。
ところで、図29、図30の例では、サーバ装置2がクライアント端末3に送信パターンを通知することとしているが、これによりクライアント端末3側では例えば図31A、図31Bのようにパターン情報44を表示し、担当者に、どのような送信パターンで画像転送が行われるかを提示することができる。図31Aは処理PS12の転送開始前の表示状態、図31Bは、例えば図16の処理PS2などでの表示状態の例である。
このパターン情報44としては、例えば図31Cに各例を示すように、クライアント端末3に送信されてくる情報の内容と順序を示すようにすることが考えられる。
また、図29、図30の例では、サーバ装置2が状況判定処理により切り替えを自動的に行うものとしたが、クライアント端末3の担当者に切り替えの可否を求めるようにしてもよい。
例えば図32に示すように、クライアント端末3において確認ダイアログ45を表示させ、担当者が切り替えを了承したときに送信パターンの切り替えを行うようにする。図ではネットワーク環境に応じて切り替えを行う場合に、担当者に了解を求める例としている。
このためには、サーバ装置2が、図30のステップS301において例えば図33のような処理を行うようにする。
ステップS310において制御部2aは、ネットワーク状況判定処理を行う。
例えば転送レートが低くなり、情報転送が低下したと判定したときは、制御部2aはステップS311からステップS313に進み、クライアント端末3に対して切り替え推奨通知を送信する。これに応じてクライアント端末3では図32のような確認ダイアログ45を表示させる。そしてステップS314でクライアント端末3側からの回答通知を待機する。
担当者が切り替えを了承する操作を行い、その旨がクライアント端末3から通知されてきたら、ステップS314から図30のステップS301、S302と進み、送信パターンの切り替えを行う。
担当者が切り替えを了承しない操作を行い、その旨がクライアント端末3から通知されてきたら、ステップS314から図30のステップS301に進み、送信パターンの切り替えを行わないとして図30の処理を終了する。
ステップS310のネットワーク状況判定処理で、例えば転送レートが高くなり、情報転送が高速に行われる状態に回復したと判定したときは、制御部2aはステップS312からステップS315に進み、クライアント端末3に対して切り替え推奨通知を送信する。これに応じてクライアント端末3では通信が良好な状況下での送信パターンへの切り替えを促す確認ダイアログ45を表示させる。そして制御部2aはステップS316でクライアント端末3側からの回答通知を待機する。
担当者が切り替えを了承する操作を行い、その旨がクライアント端末3から通知されてきたら、ステップS316から図30のステップS301、S302と進み、送信パターンの切り替えを行う。
担当者が切り替えを了承しない操作を行い、その旨がクライアント端末3から通知されてきたら、ステップS316から図30のステップS301に進み、送信パターンの切り替えを行わないとして図30の処理を終了する。
このように、状況判定の結果と、クライアント端末3の担当者の意思の両方に基づいて送信パターンの切り替え処理を行うようにしてもよい。
これによりクライアント端末3側の事情に応じて、不適切な切り替えが行われないようにすることができる。
<10.切り替え処理例II>
切り替え処理例IIを図34で説明する。
まず、処理PS20として、例えばカメラマンの操作により、撮影対象のスポーツ情報(競技種別の情報)が入力され、撮像装置1においてメタ情報として競技種別が含まれるようにする。
通信TP50として、撮像装置1は何らかのタイミングで、撮影対象のスポーツ情報を含むメタ情報をサーバ装置2に送信する。送信するタイミングは、処理PS20の直後でもよいし、第1送信パターンなどで最初にメタ情報を送信するときなどでもよい。
処理PS21として、サーバ装置2は、受信したメタ情報に含まれているスポーツ情報に基づいて、送信パターンを決定する。
以降、通信TP40,通信TP41として設定した送信パターンの通知を、上述の切り替え処理例Iと同様に行う。撮像装置1における処理PS11、クライアント端末3における処理PS12も同様に行われる。
このような切り替え処理例IIのためのサーバ装置2の処理は図35のようになる。
ステップS320で制御部2aは、撮像装置1からの撮影対象の通知、つまりスポーツ情報の受信があったか否かを確認する。
スポーツ情報の受信があった場合は、制御部2aはステップS321に進み、その撮影対象の競技が、付加情報取得が可能な競技であるか否かを判定する。例えばスケジュール(タイムテーブル)が決まっている陸上競技などでは、付加情報として、画像の被写体となっている選手の情報などをDB検索で得ることが可能であるが、マラソンやサッカーなどでは、画像のメタ情報(例えば時刻や場所)から、画像に写っている選手を特定することは、DB検索では困難である。
そこでDB検索により付加情報取得が可能な競技であった場合、制御部2aはステップS322に進み、第1送信パターンを選択する。
一方、DB検索による付加情報取得が困難な競技であった場合、制御部2aはステップS323に進み、第3送信パターンを選択する。
そして制御部2aはステップS322又はステップS323からステップS324に進み、撮像装置1への送信パターンの通知を行い、またステップS325でクライアント端末3への送信パターンの通知を行う。
<11.切り替え処理例III>
切り替え処理例IIIを図36で説明する。
通信TP50として、クライアント端末3からプロジェクト情報が通知される。プロジェクト情報とは、例えば撮像装置1を識別するカメラIDと、その撮像装置1が何の競技をいつ撮影するかを対応づけた情報である。あるいはカメラマン情報とそのカメラマンが何の競技をいつ撮影するかを対応づけた情報であってもよい。
サーバ装置2は処理PS30として、受信したプロジェクト情報を登録する処理を行う。
撮像装置1からは何らかのタイミングで、通信TP51として、時刻情報、カメラID、あるいはカメラマン情報を含むメタ情報をサーバ装置2に送信する。送信するタイミングは、例えば第1送信パターンなどで最初にメタ情報を送信するときなどであればよい。
処理PS31として、サーバ装置2は、受信したメタ情報に含まれている時刻情報、カメラID、あるいはカメラマン情報から、登録したプロジェクト情報を参照し、その撮像装置1が撮影対象とする競技種別を推定する。そしてその競技種別が、付加情報付与可能な競技であるか否かにより送信パターンを決定する。
以降、通信TP40,通信TP41として設定した送信パターンの通知を切り替え処理例Iと同様に行う。撮像装置1における処理PS11、クライアント端末3における処理PS12も同様に行われる。
このような切り替え処理例IIIのためのサーバ装置2の処理は図37、図38のようになる。
図37のステップS330で制御部2aは、クライアント端末3からのプロジェクト情報の受信を確認する。受信があった場合は、ステップS331に進み、プロジェクト情報の登録処理を行う。つまりその後、プロジェクト情報を参照できるように所定の記憶部(例えば記憶部79)に記憶させる。
図38のステップS332で制御部2aは、撮像装置1からのメタ情報の受信があったか否かを確認する。この場合、時刻情報、カメラID、あるいはカメラマン情報が含まれるメタ情報の受信を確認することになる。
該当するメタ情報の受信があった場合は、制御部2aはステップS333に進み、撮影対象の競技種別を推定する。すなわちメタ情報とプロジェクト情報を照合して競技種別を推定する。
ステップS321で制御部2aは、推定した撮影対象の競技が、付加情報取得が可能な競技であるか否かを判定する。そしてDB検索により付加情報取得が可能な競技であった場合、制御部2aはステップS322に進み、第1送信パターンを選択する。一方、DB検索による付加情報取得が困難な競技であった場合、制御部2aはステップS323に進み、第3送信パターンを選択する。そして制御部2aはステップS322又はステップS323からステップS324に進み、撮像装置1への送信パターンの通知を行い、またステップS325でクライアント端末3への送信パターンの通知を行う。
<12.第8送信パターン>
ここまで主に第1から第7送信パターン及びその切り替えについて説明してきたが、特に転送画像が動画である場合は、それに適した送信パターンもある。また上述の切り替え処理では、それらの動画に適した送信パターンへの切り替えも想定される。
以下では、第8、第9、第10送信パターンとして、動画に適した送信パターンを説明する。
図39は第8送信パターンを示している。
・通信TP71
撮像装置1はプロキシ動画をサーバ装置2に送信する。プロキシ動画とは、納品目的の本動画に比較して低解像度などとしてデータ量を少なくした動画である。
・通信TP72
サーバ装置2は、受信したプロキシ動画をクライアント端末3に送信する。
・処理PS40
クライアント端末3は、受信したプロキシ動画を用いたUI処理を行う。
例えばクライアント端末3は図40のような表示を表示部77において実行する。すなわちプロキシ動画再生画像46や、動画のタイムライン47を表示させる。タイムライン47では、プロキシ動画から抽出される各時点の代表画像や音声波形が表示される。またタイムライン47上では、担当者が、必要な区間DKを指定できるようにする。
さらに本動画要求ボタン48が表示され、担当者が操作できるようにされる。
このようなUI画面は、クライアント端末3の担当者が、まずプロキシ動画の再生画像を確認して、本動画として必要な区間を指定するために行われる。
担当者は区間DKを指定した上で本動画要求ボタン48を操作する。
処理PS40では、クライアント端末3のCPU71は、このようなUI画面の表示制御と、それに応じた担当者の入力の検知を行うことになる。
・通信TP73
クライアント端末3はサーバ装置2に対して本動画の一部クリップ要求を送信する。すなわちクライアント端末3は、処理PS40のUI処理で担当者が指定した区間DKの動画を要求する情報を生成し、それを送信する。
・通信TP74
サーバ装置2は、クライアント端末3から受信した本動画の一部クリップ要求を、撮像装置1に転送する。
・処理PS41
撮像装置1は本動画の一部クリップ要求を受信することに応じて、本動画から、指定された区間を切り出したクリップを作成する処理を行う。
・通信TP75
撮像装置1は、処理PS41で生成した本動画の一部クリップをサーバ装置2に送信する。
・通信TP76
サーバ装置2は、撮像装置1から受信した本動画の一部クリップをクライアント端末3に転送する。
これによりクライアント端末3に、担当者が必要としたシーンの本動画が納品されることになる。
以上のように、はじめから本動画全体を転送するのではなく、初期情報転送処理としてプロキシ動画を転送し、クライアント端末3側で必要な区間を指定する。それに応じて本画転送処理として、必要とされる区間の本動画の一部クリップの転送が行われるようにする。
この第8送信パターンのための撮像装置1の動画録画時の処理例を図41に示す。
撮像装置1のカメラ制御部18は、図41のループ処理LP50として動画録画処理を行う。すなわちステップS401で、録画停止要求が検知されるまでの間、フレーム毎にステップS402、S403の制御を行う。
ステップS402でカメラ制御部18は、カメラ信号処理部13に、フレーム画像データ及び音声データのエンコード処理を実行させる。
ステップS403でカメラ制御部18は、記録制御部14にフレーム画像データ及び音声データ及びメタ情報を記録媒体に記録させる。
例えばカメラマンの操作などにより録画停止が要求されると、カメラ制御部18はステップS405に進み、記録した動画についてのプロキシ動画の読出制御を行う。たとえば記録制御部14によって動画読出を実行させ、カメラ信号処理部13に低解像度変換を行うなどしてプロキシ動画が生成されるようにする。
そしてステップS406でカメラ制御部18は、通信部16によりプロキシ動画の送信が行われるように制御する。
以上の処理で図39の通信TP71が行われる。
図39の通信TP72のためのサーバ装置2の処理を図42に示す。
サーバ装置2の制御部2aは、ステップS501で撮像装置1からのプロキシ動画の受信を確認する。
そしてプロキシ動画の受信が行われているときは、制御部2aはステップS502でプロキシ動画のクライアント端末3への送信処理を実行する。
これに応じてクライアント端末3側では上述のように処理PS40としてのUI処理を行い、通信TP73として本動画の一部クリップ要求を送信する。
本動画の一部クリップ要求に応じた通信TP74のためのサーバ装置2の処理は、前述の図8と同様となる。
撮像装置1の処理PS41及び通信TP75のための処理例を図43に示す。
カメラ制御部18はステップS430で、サーバ装置2からの動画要求の受信を確認する。
そして動画要求リストの受信があったときには、カメラ制御部18はループ処理LP60を実行する。
ループ処理LP60では、カメラ制御部18は、動画要求の内容に応じて必要回数(要求された動画の数)だけ、ステップS431からステップS442の処理を繰り返す。
まずステップS431でカメラ制御部18は、動画要求内容がプロキシ動画であるか本動画(本動画の一部クリップ要求)であるかを判定して処理を分岐する。
なお、プロキシ動画が要求される場合とは、後述の第9送信パターン、及び第10送信パターンにおいての発生するものであり、ステップS432からステップS434の処理については後述する。
本動画の一部クリップ要求であった場合は、カメラ制御部18はステップS440、S441,S442の処理を行う。
ステップS440では、カメラ制御部18は、記録制御部14により記録媒体から本動画の読出を実行させる。
ステップS441でカメラ制御部18は、例えばカメラ信号処理部13により、記録媒体から読み出した本動画から、要求された区間の切り出し処理を実行させる。
そしてカメラ制御部18はステップS442で、切り出し処理で生成した本動画の一部クリップを、通信部16を介してサーバ装置2に送信する処理を行う。
通信TP76のためのサーバ装置2の処理を図44に示す。
サーバ装置2の制御部2aは、ステップS530で、撮像装置1からの本動画の受信を確認する。
そして本動画の受信があったときに、制御部2aはステップS531で、受信した本動画をクライアント端末3に送信する処理を行う。
これにより本動画の一部クリップが、クライアント端末3に納品されることになる。
<13.第9送信パターン>
第9送信パターンを図45で説明する。
・通信TP81
撮像装置1は動画について、音のみファイルをサーバ装置2に送信する。音のみファイルとは、動画録画時に収録した音声データのみのファイルである。
・通信TP82
サーバ装置2は、受信した音のみファイルをクライアント端末3に送信する。
・処理PS42
クライアント端末3は、受信した音のみファイルを用いたUI処理を行う。
例えばクライアント端末3は図46Aのような表示を表示部77において実行する。この場合、音のみファイルを受信しているのみであるためプロキシ動画再生画像46は再生できず空白画像となる。タイムライン47としては音声波形のみを表示させる。
さらにプロキシ動画要求ボタン49が表示され、担当者が操作できるようにされる。
このようなUI画面は、クライアント端末3の担当者が、まず音声波形のタイムライン47から、大まかに必要な区間を指定するために行われる。音声波形により、例えば観客が盛り上がっている区間などを判定できる。
担当者は区間DKAを指定した上でプロキシ動画要求ボタン49を操作する。
処理PS42では、クライアント端末3のCPU71は、このようなUI画面の表示制御と、それに応じた担当者の入力の検知を行うことになる。
・通信TP83
クライアント端末3はサーバ装置2に対してプロキシ動画の一部クリップ要求を送信する。すなわちクライアント端末3は、処理PS42のUI処理で担当者が指定した区間DKAのプロキシ動画を要求する情報を生成し、それを送信する。
・通信TP84
サーバ装置2は、クライアント端末3から受信したプロキシ動画の一部クリップ要求を、撮像装置1に転送する。
・処理PS43
撮像装置1はプロキシ動画の一部クリップ要求を受信することに応じて、指定された区間を切り出したプロキシ動画のクリップを作成する処理を行う。
・通信TP85
撮像装置1は、処理PS43で生成したプロキシ動画の一部クリップをサーバ装置2に送信する。
サーバ装置2は通信TP72として、受信したプロキシ動画をクライアント端末3に送信する。
この通信TP72以降は、図39に示した通信TP72以降と同様である。
クライアント端末3では、処理PS40として、図46BのようなUI表示を実行させる。これは図40と同様の表示内容となる。
但し、この場合は、撮像装置1で録画した動画全体のプロキシ動画ではなく、処理PS42で指定された区間のプロキシ動画となることが、図39の例と異なる。
通信TP73以降は繰り返しとなるため説明を省略する。
つまり第9送信パターンでは、まず音のみファイルで大まかに区間を指定させ、それに応じてプロキシ動画を送信し、クライアント端末3側でプロキシ動画を確認して必要な区間を指定するようにする。それに応じて本画転送処理として、必要とされる区間の本動画の一部クリップの転送が行われるようにする。
この第9送信パターンのための撮像装置1の動画録画時の処理例を図47に示す。
撮像装置1のカメラ制御部18は、図41と同様に、ループ処理LP50として動画録画処理を行う。
その後、例えばカメラマンの操作などにより録画停止が要求されると、カメラ制御部18はステップS410に進み、記録した動画についての音声データのみの読出制御を行う。たとえば記録制御部14によって動画ファイルのうちで音声データのみを読み出させ、カメラ信号処理部13に音のみファイルを生成させるようにする。
そしてステップS411でカメラ制御部18は、通信部16により音のみファイルの送信が行われるように制御する。
以上の処理で図45の通信TP81が行われる。
通信TP82のためのサーバ装置2の処理を図48に示す。
サーバ装置2の制御部2aは、ステップS511で撮像装置1からの音のみファイルの受信を確認する。
そして音のみファイルの受信が行われているときは、制御部2aはステップS512で音のみファイルのクライアント端末3への送信処理を実行する。
これに応じてクライアント端末3側では上述のように処理PS42としてのUI処理を行い、通信TP83としてプロキシ動画の一部クリップ要求を送信する。
プロキシ動画の一部クリップ要求に応じた通信TP84のためのサーバ装置2の処理は、前述の図8と同様となる。
撮像装置1の処理PS43及び通信TP85のための処理は、上述の図43により行われる。
すなわちプロキシ動画の一部クリップ要求が受信された場合、図43のステップS431からステップS432に進むことになる。
ステップS432では、カメラ制御部18は、記録制御部14により記録媒体からプロキシ動画の読出を実行させる。
ステップS433でカメラ制御部18は、例えばカメラ信号処理部13により、記録媒体から読み出したプロキシ動画から、要求された区間の切り出し処理を実行させる。
そしてカメラ制御部18はステップS434で、切り出し処理で生成したプロキシ動画の一部クリップを、通信部16を介してサーバ装置2に送信する処理を行う。
図45の通信TP72以降のサーバ装置2や撮像装置1の処理は、第8送信パターンで説明したものと同様となる。
<14.第10送信パターン>
第10送信パターンを図49で説明する。
・通信TP91
撮像装置1は動画について、メタ時系列ファイルをサーバ装置2に送信する。メタ時系列ファイルとは、動画録画時に生成されたメタ情報(例えば撮影位置情報)を時系列で提示可能なデータのファイルである。
・通信TP92
サーバ装置2は、受信したメタ時系列ファイルをクライアント端末3に送信する。
・処理PS44
クライアント端末3は、受信したメタ時系列ファイルを用いたUI処理を行う。
例えばクライアント端末3は図50のようなメタ時系列ファイルに基づく表示を表示部77において実行する。例えばメタ時系列ファイルとして、時系列上での撮影位置情報の変化が判定できる場合、撮影位置情報に応じた地図画像50や時系列情報51を表示させる。地図画像50では、各撮影位置をマーカーで示すものとする。時系列情報51は、時刻と撮影位置情報を対応させて時系列で示している。タイムライン47としては区間長を示すもののみ表示させる。タイムライン47では、各時点での位置を示す表示を行うことが望ましい。
プロキシ動画要求ボタン49も表示され、担当者が操作できるようにされる。
このようなUI画面は、クライアント端末3の担当者が、まず撮影位置から、必要な被写体が写っていると思われる区間を大まかに指定するために行われる。ある時刻にある場所で何らかの事象が発生したという情報を知ることで、担当者は、その事象について撮影されている可能性がある動画区間を判定できる。
担当者は区間DKPを指定した上でプロキシ動画要求ボタン49を操作する。
処理PS44では、クライアント端末3のCPU71は、このようなUI画面の表示制御と、それに応じた担当者の入力の検知を行うことになる。
通信TP83としてクライアント端末3は、処理PS44のUI処理で担当者が指定した区間DKPのプロキシ動画を要求する情報を生成し、それを送信する。
この通信TP83以降は、図45に示した第9送信パターンと同様となるため説明を省略する。
つまり第10送信パターンでは、まず時系列情報で大まかに区間を指定させ、それに応じてプロキシ動画を送信し、クライアント端末3側でプロキシ動画を確認して必要な区間を指定するようにする。それに応じて本画転送処理として、必要とされる区間の本動画の一部クリップの転送が行われるようにする。
この第10送信パターンのための撮像装置1の動画録画時の処理例を図51に示す。
撮像装置1のカメラ制御部18は、図41と同様に、ループ処理LP50として動画録画処理を行う。
その後、例えばカメラマンの操作などにより録画停止が要求されると、カメラ制御部18はステップS420に進み、記録した動画についてのメタ情報の時系列データの読出制御を行う。たとえば記録制御部14によって動画ファイルについてのメタ情報を読み出させ、カメラ信号処理部13に時系列ファイルを生成させるようにする。
そしてステップS421でカメラ制御部18は、通信部16により時系列ファイルの送信が行われるように制御する。
以上の処理で図49の通信TP91が行われる。
通信TP92のためのサーバ装置2の処理を図52に示す。
サーバ装置2の制御部2aは、ステップS521で撮像装置1からの時系列ファイルの受信を確認する。
そして時系列ファイルの受信が行われているときは、制御部2aはステップS522で時系列ファイルのクライアント端末3への送信処理を実行する。
これに応じてクライアント端末3側では上述のように処理PS44としてのUI処理を行い、通信TP83としてプロキシ動画の一部クリップ要求を送信する。
以降のサーバ装置2や撮像装置1の処理は、第8、第9送信パターンで説明したものと同様となる。
<15.まとめ及び変形例>
以上の実施の形態によれば次のような効果が得られる。
実施の形態のサーバ装置2の制御部2aは、撮像装置1で撮像された画像に関連付けられた情報であって画像よりもデータ量の少ない関連情報を受信することに応じて、関連情報に基づいて付加情報を得、関連情報及び付加情報を前記クライアント端末3に送信する初期情報転送処理を行う。また制御部2aは、関連情報又は付加情報の送信に基づいたクライアント端末3における選択処理により生成された要求情報に応じて、撮像装置1から送信されてくる画像をクライアント端末3に送信する本画転送処理を行う。
サーバ装置2がこのような処理を行うことで、例えば報道等の撮影後の即納が求められる現場においてネットワーク負荷、システムの記憶容量負荷を増大させず、またそれらにより転送遅延を発生させないような画像転送を実現しながら、クライアント端末3側で必要とされる高精細な本画を適切に転送できることとなる。
またクライアント端末3においては関連情報に基づく提示が実行できることで、担当者が必要な画像を容易且つ適切に選択できる環境を提供できることにもなる。
なおサーバ装置2やクライアント端末3としての情報処理装置の具体例としては、例えばパーソナルコンピュータ装置、タブレット型情報処理装置、携帯電話装置、ゲーム機器、オーディオ機器、ビデオ機器、通信装置、テレビジョン装置、サーバ装置など、各種の例が想定される。情報処理としての演算を行うことのできる装置、例えばマイクロコンピュータを内蔵する装置であれば本開示の情報処理装置として実現可能である。
また図1にはMEC5を示したが、MEC5が実施の形態でサーバ装置2に代わる機能を有するようにしてもよい。
さらにはMEC5が撮像装置1の機能(送信機能)の一部を有するものとしてもよい。
実施の形態のサーバ装置2は、初期情報転送処理において、関連情報(例えばメタ情報)に基づいてDB検索を行うことで付加情報を得る例を挙げた(第1送信パターン参照)。
本画に関してメタ情報等からより詳細な付加情報をDB検索で得ることで、クライアント端末3側の担当者に、よりわかりやすく画像選択に適した情報を提供することができるようになる。これにより選択操作が適切化されることで、ネットワーク通信効率も向上することになる。
実施の形態では、関連情報として撮像装置1で撮像された画像を表す、よりデータ量が少ない画像(例えばサムネイル画)が含まれており、サーバ装置2は、初期情報転送処理において、関連情報に含まれる画像に対する画像認識処理により前記付加情報を得る例を挙げた(第2送信パターン参照)。
画像解析により被写体の情報を得て付加情報とすることでも、クライアント端末3側の担当者に、よりわかりやすく画像選択に適した情報を提供することができるようになり、これも選択操作の適切化やネットワーク通信効率の向上に寄与する。
実施の形態のサーバ装置2は、初期情報転送処理として、付加情報を加えた第1,第2送信パターンと、付加情報を加えない送信パターン(第2から第10送信パターン)を含む、複数の送信パターンの切り替え処理を行うことを述べた。
付加情報の転送に適していない環境、状況、画像(被写体)内容などもあるため、サーバ装置2が常に付加情報を得る処理を行うことが適切とは限らない。そこで場合によっては、サーバ装置2が付加情報を得る処理を行わないようにすることで、状況や事情に適した処理を実行することができるようになる。これはサーバ負荷の削減、ネットワーク効率の向上などにも寄与する。
実施の形態では、サーバ装置2が、複数の送信パターンの内の1つである所定の送信パターンの送信として、関連情報に含まれる音声情報をクライアント端末3に送信する処理を行う例を挙げた(第5送信パターン参照)。
静止画や動画に関連づけられた音声メモが撮像装置から送信されてくる場合、サーバ装置2は、初期情報転送処理の際に、その音声メモをクライアント端末3に転送することで、クライアント端末3の担当者が、音声メモを再生させて画像選択を行うことができる。これにより、より望ましい画像選択ができる環境を提供できることになる。
実施の形態では、サーバ装置2が、複数の送信パターンの内の1つである所定の送信パターンの送信として、関連情報に含まれる音声情報をテキストデータ化し、そのテキストデータをクライアント端末3に送信する処理を行う例を挙げた(第6送信パターン参照)。
静止画や動画に関連づけられた音声メモが撮像装置から送信されてくる場合、サーバ装置2は、初期情報転送処理の際に、その音声メモをテキストデータに変換してクライアント端末3に転送する。テキストデータ化することで、音声情報よりもデータ量を少なくすることができる。
またテキストにより音声メモ内容が表示されることで、クライアント端末3の担当者が、音声メモを再生させることも不要になり、より容易に画像選択ができる環境を提供できることになる。
実施の形態では、サーバ装置2は通信状況の判定結果に応じて切り替え処理を行う例を挙げた(切り替え処理例I参照)。
ネットワークの伝送路の通信速度、パケット率、4G/5Gの状況、撮像装置の場所による通信環境など、通信状況の変化に応じて送信パターンを切り替えることで、そのときの状況に応じた画像転送が実現できることになる。
特にスポーツの画像の転送では、屋外で通信環境が変動しやすいこともある。また大規模スポーツイベントでは、取材記者等が多く、伝送路の混雑も考えられる。そのような状況に応じて適切な送信パターンを選択することで、リアルタイムの適切な転送状態を維持することに好適となる。
ネットワーク状態は、特に撮像装置1とサーバ装置2の間で変化することが想定されやすい。カメラマンの位置、移動、スポーツ等のイベントの会場の地域、立地、設備、状況などの要因が加わるためである。
そのため、付加情報の転送の有無は、付加情報を得るための関連情報の転送の有無という観点で、送信パターンの切り替えを行うことも考えられる。
例えば画像解析で付加情報を得る場合に、撮像装置1にサムネイル画像を要求する場合と、付加情報を得ないことでサムネイル画像の送信を不要とすることなどを切り替えることで、通信状況に応じてデータ量を調整できることになる。
また、付加情報を含む送信パターン(例えば第1又は第2送信パターン)と付加情報を含まない送信パターン(例えば第3から第7の送信パターン)の切り替え処理に限らず、通信状況に応じて、例えば第3から第7の送信パターンの内での切り替えを行うようにしてもよい。例えば第3送信パターンと第4送信パターンを切り替えることや、第5送信パターンと第3送信パターンを切り替えることなどである。
同様に第1送信パターンと第2送信パターンの切り替えも可能である。
また静止画転送から動画転送に切り替えることで、第1から第7の送信パターンのいずれかから、第8送信パターンから第10送信パターンのいずれかへの切り替えが行われてもよいし、さらに動画転送時において第8送信パターンから第10送信パターンを、通信状況に応じて切り替えるようにしてもよい。
実施の形態では、サーバ装置2が、撮像装置1から通知される撮影対象の情報に基づいて切り替え処理を行う例を挙げた(切り替え処理例II参照)。
競技の種別によっては付加情報が適切に得られないものもある。例えば付加情報を選手名とした場合、スケジュールが決まった競技であれば、撮像の日時・場所等からDB検索を行うことで選手名を得ることができるが、そのようなことができない競技もある。付加情報取得ができない競技の画像に関して、付加情報取得の処理を行うことは処理効率を低下させることになる場合もある。そこで、切り替え処理例IIのように競技種別の情報に応じて送信パターンの切り替えを行うことが好適となる。
実施の形態では、サーバ装置2が、撮像装置1による撮影対象の推定処理を行い、推定した撮影対象の情報に基づいて切り替え処理を行う例を挙げた(切り替え処理例III参照)。
競技の種別により送信パターンの切り替えを行うことが適切な場合がある。例えば切り替え処理例IIIでは、あらかじめプロジェクト情報を登録しておく。これにより画像の関連情報としてのメタ情報で時刻情報やカメラID、カメラマン情報などに基づいて、撮影対象の競技種別推定できる。この推定処理によって送信パターンの切り替えを行うことで競技種別に適した転送が実行できる。
実施の形態では、サーバ装置2が、切り替え処理により設定される初期情報転送処理の送信パターンを、クライアント端末3又は撮像装置1に通知する処理を行う例を挙げた(切り替え処理例I、II、III参照)。
例えば撮像装置1では、送信パターンの通知に応じて、送信する情報内容を設定することが可能となる。例えば最初の送信ではメタ情報を送信するのかサムネイル画像を送信するのか、であるとか、どのようなメタ情報を送信するのか、といったような設定が可能となる。
なお、切り替え処理は、付加情報の取得を行う送信パターンと、それを行わない送信パターンとを切り替えるだけでなく、例えば第1送信パターンから第10送信パターンのいずれを用いるかという切り替えもあり、さらには第1送信パターンから第10送信パターンにおける初期情報転送処理を行うか行わないかというパターンもある。例えば、通信状況等に応じて、初期情報転送処理を行わずに、最初から本画の転送を行うようにする場合があり得る。そのため、送信パターンを撮像装置1に通知することは、連携制御のために有用となる。
また初期情報転送処理の送信パターンをクライアント端末3に通知することで、例えば図31のような表示も可能となり、担当者が、どのような転送が行われているかを把握しやすくできる。
実施の形態では、関連情報は、撮像装置1で撮像された画像に関連付けられたメタ情報である例を挙げた。
つまり撮像装置1側で画像に関連づけられ、サーバ装置2に送信されてきた情報である。例えば撮像装置1の情報、カメラマンの情報、撮像場所や時刻の情報、撮像装置1側での画像の解析情報、撮像動作や処理に関する各種パラメータ、撮像時の撮像装置1における各種センサのセンシング情報、画像データ/ファイルに関する情報、サムネイル画像、スクリーンネイル画像、カメラマンが画像に関連づけたテキスト情報や音声メモ情報など、多様な情報が想定される。
これらのメタ情報は、画像内容を提示するためや、画像についての付加情報を得たりするための有用な情報となる。
実施の形態では、関連情報は、撮像装置1で撮像された画像を表す、よりデータ量が少ない画像である例を挙げた。
よりデータ量が少ない画像としては例えばサムネイル画像、スクリーンネイル画像、プロキシ動画などが該当する。
本画よりデータ量が少ない画像としてサムネイル画像やプロキシ動画等は、例えばクライアント端末3の担当者が本画の内容を判別するためには極めて有用な情報になる。また画像解析により付加情報を得たりするための情報としても有用である。
実施の形態では、関連情報は、撮像装置1での連写撮像されたグルーピング画像を表す画像であるとする例を挙げた(第7送信パターン参照)。
連写撮像による一連の画像をグルーピング画像としたとき、その全体を一枚で表現する画像、例えば先頭画像のサムネイル画像などを関連情報とする。
連写によるグルーピング画像は、画像数が多くデータ量は大きくなるが、ほぼ同じ被写体の画像内容となる。そこで代表のサムネイル画像などで表現することができ、そのようなサムネイル画像を初期情報転送処理で送信することが、処理の効率化やネットワーク負荷の削減に望ましいものとなる。
実施の形態では、関連情報は、動画撮像により動画と共に収録された音声情報であるとする例を挙げた(第9送信パターン参照)。
例えばサーバ装置2は、初期情報転送処理で、動画記録時に同時に記録された音のみファイルを関連情報として受信し、クライアント端末3に送信する。
動画の音声情報は、それを聞くことで、クライアント端末3の担当者が動画内容を確認し、必要なシーンを特定するための有用な情報となる。
実施の形態では、関連情報は、動画についての撮像時の時系列データであるとする例を挙げた(第10送信パターン参照)。
動画の時系列データは、クライアント端末3の担当者が動画内容を確認し、必要なシーンを特定するための有用な情報となる。
実施の形態のサーバ装置2は、初期情報転送処理として、付加情報と共に、又は付加情報を伴わずに、第1の関連情報をクライアント端末3に送信する処理と、第1の関連情報を含む送信に基づいたクライアント端末3における選択処理により生成された要求情報を撮像装置1に転送する処理と、要求情報に応じて撮像装置1から送信されてくる第2の関連情報をクライアント端末3に送信する処理と、を行う例を挙げた(第1から第7、第9、第10送信パターン参照)。
つまり初期情報転送処理として、クライアント端末3への本画の送信に至る前に、複数回、情報送信を行う。
サーバ装置2は、初期情報転送処理として、例えば1回目はクライアント端末3へメタ情報を送信して大まかな選択を行わせ、2回目にサムネイル画像を送信して、最終的な選択を行わせるなどすることで、転送するデータ量を過大にすることなく、クライアント端末3側でより適切且つ担当者がわかりやすい選択を実行させることができる。
なお実施の形態では、初期情報転送処理として主に2往復の転送を行う例で説明したが本画の送信に至る前の初期情報転送処理としては、1往復の転送を行うのみでもよいし、3往復以上としてもよい。
実施の形態において初期情報転送処理を複数回行う場合の第1の関連情報は、第2の関連情報よりもデータ量の少ない情報であるとした。
例えば第1の関連情報は、撮影時刻や撮影場所などを示すメタ情報、第2の関連情報はサムネイル画像などとしての例が考えられる。
初期情報転送処理の1往復目は、撮影時刻や撮影場所などを示す、比較的データ量の少ない第1の関連情報をクライアント端末3に送信することで、転送負担を大きくせずに、転送可能な多くの画像を表す情報を提示できる。2往復目は、クライアント端末3の最初の選択に応じて、より詳細な画像内容を提示するために例えばサムネイル画像などを転送する。これにより、ある程度絞られた画像についてのみ、サムネイル画像を転送すればよいため、これも転送負担を大きくせずに、クライアント端末3の担当者がより明確に画像内容を把握して選択できるようにすることができる。
実施の形態の撮像装置1は、撮像した画像に関連付けられた情報であって画像よりもデータ量の少ない関連情報を外部のサーバ装置2に送信する関連情報送信処理と、サーバ装置2から受信した要求情報に応じて、当該要求情報で示される画像をサーバ装置2に送信する本画送信処理とを行うカメラ制御部18を備えている。
これにより、実施の形態の画像転送システムに適した動作を行う撮像装置1を実現できる。
実施の形態のプログラムは、上述のサーバ装置2の処理を、例えばCPU、DSP等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、撮像装置1で撮像された画像に関連付けられた情報であって、前記画像よりもデータ量の少ない関連情報を受信することに応じて、関連情報に基づいて付加情報を得、関連情報及び付加情報をクライアント端末3に送信する初期情報転送処理と、関連情報及び付加情報の送信に基づいたクライアント端末3における選択処理により生成された要求情報に応じて、撮像装置1から送信されてくる画像をクライアント端末3に送信する本画転送処理と、を情報処理装置に実行させるプログラムである。
このようなプログラムにより、上述したサーバ装置2を、各種のコンピュータ装置により実現できる。
また実施の形態のプログラムは、撮像装置1の処理を、例えばCPU、DSP等、或いはこれらを含むデバイスに実行させるプログラムである。
即ちそのプログラムは、撮像した画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を外部のサーバ装置2に送信する関連情報送信処理と、サーバ装置2から受信した要求情報に応じて、当該要求情報で示される画像をサーバ装置2に送信する本画送信処理と、制御部としてのプロセッサ等に実行させるプログラムである。
このようなプログラムにより、上述した撮像装置1を実現できる。
これらのプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
またこのようなプログラムによれば、実施の形態のサーバ装置2や撮像装置1の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等にプログラムをダウンロードすることで、当該スマートフォン等を、本開示のサーバ装置2や撮像装置1として機能させることができる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
なお本技術は以下のような構成も採ることができる。
(1)
撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、前記関連情報及び前記付加情報をクライアント端末に送信する初期情報転送処理と、
前記関連情報又は前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
を行う制御部を備えた
情報処理装置。
(2)
前記制御部は、前記初期情報転送処理において、前記関連情報に基づいてデータベース検索を行うことで前記付加情報を得る
上記(1)に記載の情報処理装置。
(3)
前記関連情報には、撮像装置で撮像された画像を表す、よりデータ量が少ない画像が含まれており、
前記制御部は、前記初期情報転送処理において、前記関連情報に含まれる画像に対する画像認識処理により前記付加情報を得る
上記(1)又は(2)に記載の情報処理装置。
(4)
前記制御部は、
前記初期情報転送処理として、前記付加情報を加えた送信パターンと前記付加情報を加えない送信パターンを含む、複数の送信パターンの切り替え処理を行う
上記(1)から(3)のいずれかに記載の情報処理装置。
(5)
前記制御部は、
複数の送信パターンの内の1つである所定の送信パターンの送信として、前記関連情報に含まれる音声情報を前記クライアント端末に送信する処理を行う
上記(4)に記載の情報処理装置。
(6)
前記制御部は、
複数の送信パターンの内の1つである所定の送信パターンの送信として、前記関連情報に含まれる音声情報をテキストデータ化したテキストデータを前記クライアント端末に送信する処理を行う
上記(4)に記載の情報処理装置。
(7)
前記制御部は、
通信状況の判定結果に応じて前記切り替え処理を行う
上記(4)から(6)のいずれかに記載の情報処理装置。
(8)
前記制御部は、
前記撮像装置から通知される撮影対象の情報に基づいて前記切り替え処理を行う
上記(4)から(7)のいずれかに記載の情報処理装置。
(9)
前記制御部は、
前記撮像装置による撮影対象の推定処理を行い、推定した撮影対象の情報に基づいて前記切り替え処理を行う
上記(4)から(8)のいずれかに記載の情報処理装置。
(10)
前記制御部は、
前記切り替え処理により設定される前記初期情報転送処理の送信パターンを、前記クライアント端末又は前記撮像装置に通知する処理を行う
上記(4)から(9)のいずれかに記載の情報処理装置。
(11)
前記関連情報は、前記撮像装置で撮像された画像に関連付けられたメタ情報である
上記(1)から(10)のいずれかに記載の情報処理装置。
(12)
前記関連情報は、前記撮像装置で撮像された画像を表す、よりデータ量が少ない画像である
上記(1)から(11)のいずれかに記載の情報処理装置。
(13)
前記関連情報は、前記撮像装置で連写撮像された複数画像であるグルーピング画像を表す画像である
上記(1)から(12)のいずれかに記載の情報処理装置。
(14)
前記関連情報は、前記撮像装置での動画撮像により動画と共に収録された音声情報である
上記(1)から(13)のいずれかに記載の情報処理装置。
(15)
前記関連情報は、前記撮像装置で撮像された動画についての撮像時の時系列データである
上記(1)から(14)のいずれかに記載の情報処理装置。
(16)
前記制御部は、前記初期情報転送処理として、
前記付加情報と共に、又は前記付加情報を伴わずに、第1の関連情報を前記クライアント端末に送信する処理と、
前記第1の関連情報を含む送信に基づいた前記クライアント端末における選択処理により生成された要求情報を前記撮像装置に転送する処理と、
前記要求情報に応じて、前記撮像装置から送信されてくる第2の関連情報を前記クライアント端末に送信する処理と、を行う
上記(1)から(15)のいずれかに記載の情報処理装置。
(17)
前記第1の関連情報は、前記第2の関連情報よりもデータ量の少ない情報である
上記(16)に記載の情報処理装置。
(18)
撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、前記関連情報及び前記付加情報をクライアント端末に送信する初期情報転送処理と、
前記関連情報及び前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
を情報処理装置が行う情報処理方法。
(19)
撮像した画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を外部の情報処理装置に送信する関連情報送信処理と、
前記情報処理装置から受信した要求情報に応じて、当該要求情報で示される画像を前記情報処理装置に送信する本画送信処理と、
を行う制御部を備えた
撮像装置。
(20)
撮像装置と情報処理装置の間で情報通信が可能とされ、
前記情報処理装置とクライアント端末の間で情報通信が可能とされ、
前記撮像装置は、
撮像した画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を前記情報処理装置に送信する関連情報送信処理と、
前記情報処理装置を介して前記関連情報を受信した前記クライアント端末における選択処理により生成され、前記情報処理装置を介して受信した要求情報に応じて、当該要求情報で示される画像を前記情報処理装置に送信する本画送信処理と、
を行う制御部を備え、
前記情報処理装置は、
前記撮像装置から前記関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、前記関連情報及び前記付加情報を前記クライアント端末に送信する初期情報転送処理と、
前記要求情報に応じて前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
を行う制御部を備えた
画像転送システム。
1 撮像装置
2 サーバ装置
2a 制御部
3 クライアント端末
4 基地局
5 MEC
6 ネットワーク
7 DB
8 テキスト変換エンジン
18 カメラ制御部
70 情報処理装置、
71 CPU

Claims (17)

  1. 撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、前記関連情報及び前記付加情報をクライアント端末に送信する初期情報転送処理と、
    前記関連情報又は前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
    を行う制御部を備え、
    前記関連情報には、撮像装置で撮像された画像を表す、よりデータ量が少ない画像が含まれており、
    前記制御部は、前記初期情報転送処理において、前記関連情報に含まれる画像に対する画像認識処理により前記付加情報を得る
    情報処理装置。
  2. 撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、クライアント端末に対して前記関連情報を送信し、また前記付加情報が送信可能な初期情報転送処理と、
    前記関連情報又は前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
    を行う制御部を備え、
    前記制御部は、
    前記初期情報転送処理として、前記付加情報を加えた送信パターンと前記付加情報を加えない送信パターンを含む複数の送信パターンの切り替え処理を行い、複数の送信パターンの内の1つである所定の送信パターンの送信として前記関連情報に含まれる音声情報を前記クライアント端末に送信する処理を行う
    情報処理装置
  3. 撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、クライアント端末に対して前記関連情報を送信し、また前記付加情報が送信可能な初期情報転送処理と、
    前記関連情報又は前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
    を行う制御部を備え、
    前記制御部は、
    前記初期情報転送処理として、前記付加情報を加えた送信パターンと前記付加情報を加えない送信パターンを含む複数の送信パターンの切り替え処理を行い、複数の送信パターンの内の1つである所定の送信パターンの送信として前記関連情報に含まれる音声情報をテキストデータ化したテキストデータを前記クライアント端末に送信する処理を行う
    情報処理装置。
  4. 撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、クライアント端末に対して前記関連情報を送信し、また前記付加情報が送信可能な初期情報転送処理と、
    前記関連情報又は前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
    を行う制御部を備え、
    前記制御部は、
    前記初期情報転送処理として、前記付加情報を加えた送信パターンと前記付加情報を加えない送信パターンを含む複数の送信パターンの切り替え処理を、通信状況の判定結果に応じて行う
    情報処理装置。
  5. 撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、クライアント端末に対して前記関連情報を送信し、また前記付加情報が送信可能な初期情報転送処理と、
    前記関連情報又は前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
    を行う制御部を備え、
    前記制御部は、
    前記初期情報転送処理として、前記付加情報を加えた送信パターンと前記付加情報を加えない送信パターンを含む複数の送信パターンの切り替え処理を、前記撮像装置から通知される撮影対象の情報に基づいて行う
    情報処理装置。
  6. 撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、クライアント端末に対して前記関連情報を送信し、また前記付加情報が送信可能な初期情報転送処理と、
    前記関連情報又は前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
    を行う制御部を備え、
    前記制御部は、
    前記初期情報転送処理として、前記付加情報を加えた送信パターンと前記付加情報を加えない送信パターンを含む複数の送信パターンの切り替え処理を、前記撮像装置による撮影対象の推定処理を行って推定した撮影対象の情報に基づいて行う
    情報処理装置。
  7. 撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、クライアント端末に対して前記関連情報を送信し、また前記付加情報が送信可能な初期情報転送処理と、
    前記関連情報又は前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
    を行う制御部を備え、
    前記制御部は、
    前記初期情報転送処理として、前記付加情報を加えた送信パターンと前記付加情報を加えない送信パターンを含む複数の送信パターンの切り替え処理を行い、前記切り替え処理により設定される前記初期情報転送処理の送信パターンを、前記クライアント端末又は前記撮像装置に通知する処理を行う
    情報処理装置。
  8. 撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、クライアント端末に対して前記関連情報を送信し、また前記付加情報が送信可能な初期情報転送処理と、
    前記関連情報又は前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
    を行う制御部を備え、
    前記制御部は、前記初期情報転送処理として、
    前記付加情報と共に、又は前記付加情報を伴わずに、第1の関連情報を前記クライアント端末に送信する処理と、
    前記第1の関連情報を含む送信に基づいた前記クライアント端末における選択処理により生成された要求情報を前記撮像装置に転送する処理と、
    前記要求情報に応じて、前記撮像装置から送信されてくる第2の関連情報を前記クライアント端末に送信する処理と、を行う
    情報処理装置。
  9. 前記第1の関連情報は、前記第2の関連情報よりもデータ量の少ない情報である
    請求項8に記載の情報処理装置。
  10. 前記制御部は、前記初期情報転送処理において、前記関連情報に基づいてデータベース検索を行うことで前記付加情報を得る
    請求項1から請求項9のいずれかに記載の情報処理装置。
  11. 前記関連情報は、前記撮像装置で撮像された画像に関連付けられたメタ情報である
    請求項1から請求項9のいずれかに記載の情報処理装置。
  12. 前記関連情報は、前記撮像装置で撮像された画像を表す、よりデータ量が少ない画像である
    請求項1から請求項9のいずれかに記載の情報処理装置。
  13. 前記関連情報は、前記撮像装置で連写撮像された複数画像であるグルーピング画像を表す画像である
    請求項1から請求項9のいずれかに記載の情報処理装置。
  14. 前記関連情報は、前記撮像装置での動画撮像により動画と共に収録された音声情報である
    請求項1から請求項9のいずれかに記載の情報処理装置。
  15. 前記関連情報は、前記撮像装置で撮像された動画についての撮像時の時系列データである
    請求項1から請求項9のいずれかに記載の情報処理装置。
  16. 情報処理装置が、
    撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、前記関連情報及び前記付加情報をクライアント端末に送信する初期情報転送処理と、
    前記関連情報及び前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
    を行い、
    前記関連情報には、撮像装置で撮像された画像を表す、よりデータ量が少ない画像が含まれており、
    前記初期情報転送処理では、前記関連情報に含まれる画像に対する画像認識処理により前記付加情報を得る
    情報処理方法。
  17. 撮像装置と情報処理装置の間で情報通信が可能とされ、
    前記情報処理装置とクライアント端末の間で情報通信が可能とされ、
    前記撮像装置は、
    撮像した画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を前記情報処理装置に送信する関連情報送信処理と、
    前記情報処理装置を介して前記関連情報を受信した前記クライアント端末における選択処理により生成され、前記情報処理装置を介して受信した要求情報に応じて、当該要求情報で示される画像を前記情報処理装置に送信する本画送信処理と、
    を行う制御部を備え、
    前記情報処理装置は、
    前記撮像装置から前記関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、前記関連情報及び前記付加情報を前記クライアント端末に送信する初期情報転送処理と、
    前記要求情報に応じて前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
    を行う制御部を備え、
    前記関連情報には、撮像装置で撮像された画像を表す、よりデータ量が少ない画像が含まれており、
    前記情報処理装置の前記制御部は、前記初期情報転送処理において、前記関連情報に含まれる画像に対する画像認識処理により前記付加情報を得る
    画像転送システム。
JP2022530108A 2020-06-10 2021-05-25 情報処理装置、情報処理方法、撮像装置、画像転送システム Active JP7639817B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020100971 2020-06-10
JP2020100971 2020-06-10
PCT/JP2021/019769 WO2021251127A1 (ja) 2020-06-10 2021-05-25 情報処理装置、情報処理方法、撮像装置、画像転送システム

Publications (2)

Publication Number Publication Date
JPWO2021251127A1 JPWO2021251127A1 (ja) 2021-12-16
JP7639817B2 true JP7639817B2 (ja) 2025-03-05

Family

ID=78846035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022530108A Active JP7639817B2 (ja) 2020-06-10 2021-05-25 情報処理装置、情報処理方法、撮像装置、画像転送システム

Country Status (5)

Country Link
US (1) US12177500B2 (ja)
EP (1) EP4167577A4 (ja)
JP (1) JP7639817B2 (ja)
CN (1) CN115702569B (ja)
WO (1) WO2021251127A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL295170B2 (en) * 2020-01-30 2026-04-01 Amatelus Inc Device, system, method and software for video distribution
WO2022091215A1 (ja) * 2020-10-27 2022-05-05 Amatelus株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム
JP7578500B2 (ja) * 2021-02-17 2024-11-06 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173280A (ja) 2002-11-19 2004-06-17 Hewlett-Packard Development Co Lp ビデオサムネイルおよびビデオサムネイルを生成する方法
JP2007150781A (ja) 2005-11-29 2007-06-14 Sony Corp 情報処理装置および情報処理方法、並びにプログラム
JP2013175883A (ja) 2012-02-24 2013-09-05 Sony Corp クライアント端末、サーバ、およびプログラム
WO2016024432A1 (ja) 2014-08-12 2016-02-18 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016033798A (ja) 2014-07-31 2016-03-10 株式会社リコー 情報処理システム、情報処理方法および情報処理装置
JP2016123069A (ja) 2014-12-25 2016-07-07 パナソニックIpマネジメント株式会社 映像配信方法、映像受信方法、サーバ及び端末装置
CN106804014A (zh) 2017-02-20 2017-06-06 江苏省广播电视总台 一种基于4g无线专网的媒体直播方法
US20180052923A1 (en) 2016-04-06 2018-02-22 Charles R. Tudor Video Streaming with Feedback Using Mobile Device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4240973B2 (ja) * 2002-09-26 2009-03-18 ソニー株式会社 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP2010093342A (ja) * 2008-10-03 2010-04-22 Canon Inc 映像サーバ装置、映像クライアント装置、映像送受信システム及び情報処理方法
AU2010284738B2 (en) * 2009-08-21 2013-09-19 Samsung Electronics Co., Ltd. Method and apparatus for providing contents via network, method and apparatus for receiving contents via network, and method and apparatus for backing up data via network, backup data providing device, and backup system
US8982223B2 (en) * 2011-03-30 2015-03-17 Panasonic Intellectual Property Management Co., Ltd. Image sending apparatus, image recording apparatus and image recording method using identification information relating reduced image data with original image data
JP2015090553A (ja) * 2013-11-05 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 端末装置、付加情報管理装置、および付加情報管理方法
CN104243455B (zh) * 2014-08-29 2018-10-09 形山科技(深圳)有限公司 一种图像处理方法及系统
JP6504453B2 (ja) * 2015-07-01 2019-04-24 カシオ計算機株式会社 画像送信装置、画像送信方法及びプログラム
RU2622843C2 (ru) * 2015-09-24 2017-06-20 Виталий Витальевич Аверьянов Способ управления устройством обработки изображения
KR102545768B1 (ko) * 2015-11-11 2023-06-21 삼성전자주식회사 메타 데이터를 처리하기 위한 장치 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173280A (ja) 2002-11-19 2004-06-17 Hewlett-Packard Development Co Lp ビデオサムネイルおよびビデオサムネイルを生成する方法
JP2007150781A (ja) 2005-11-29 2007-06-14 Sony Corp 情報処理装置および情報処理方法、並びにプログラム
JP2013175883A (ja) 2012-02-24 2013-09-05 Sony Corp クライアント端末、サーバ、およびプログラム
JP2016033798A (ja) 2014-07-31 2016-03-10 株式会社リコー 情報処理システム、情報処理方法および情報処理装置
WO2016024432A1 (ja) 2014-08-12 2016-02-18 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016123069A (ja) 2014-12-25 2016-07-07 パナソニックIpマネジメント株式会社 映像配信方法、映像受信方法、サーバ及び端末装置
US20180052923A1 (en) 2016-04-06 2018-02-22 Charles R. Tudor Video Streaming with Feedback Using Mobile Device
CN106804014A (zh) 2017-02-20 2017-06-06 江苏省广播电视总台 一种基于4g无线专网的媒体直播方法

Also Published As

Publication number Publication date
EP4167577A4 (en) 2023-09-27
CN115702569B (zh) 2025-10-28
EP4167577A1 (en) 2023-04-19
JPWO2021251127A1 (ja) 2021-12-16
US12177500B2 (en) 2024-12-24
CN115702569A (zh) 2023-02-14
US20230179811A1 (en) 2023-06-08
WO2021251127A1 (ja) 2021-12-16

Similar Documents

Publication Publication Date Title
JP7639817B2 (ja) 情報処理装置、情報処理方法、撮像装置、画像転送システム
JP2008206018A (ja) 撮像装置およびプログラム
JP7711707B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2010118754A (ja) 撮像装置
JP5292399B2 (ja) コンテンツ編集装置
JP7380025B2 (ja) 撮像装置、情報処理方法、プログラム
US7412155B2 (en) Imaging apparatus having a continuous shooting function
JP7605113B2 (ja) 情報処理装置、情報処理方法、プログラム
US8648925B2 (en) Control apparatus, control method, and control system for reproducing captured image data
JP6679409B2 (ja) 撮像装置、遠隔制御装置、制御方法及びプログラム並びに記憶媒体
JP7622347B2 (ja) 撮像装置、情報処理方法、プログラム
JP4906075B2 (ja) 撮像装置
JP7552599B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2004104534A (ja) 撮像装置
JP6113323B2 (ja) 撮像装置および撮像装置の撮像方法
JP5921830B2 (ja) 情報提供システム、情報提供システムにおける情報提供方法および情報提供プログラム
JP5047127B2 (ja) 撮像装置
JP5414930B2 (ja) 画像再生装置
JP5372103B2 (ja) 画像再生装置及びその制御方法
JP2015126516A (ja) 画像処理装置、画像処理方法、プログラム
JP2008277892A (ja) 情報処理装置、情報処理方法、プログラム、情報処理システム、および画像再生装置
JP2017121001A (ja) 画像処理装置、画像処理方法及びプログラム
JP2012165123A (ja) 撮像装置およびその制御方法、プログラム
KR20110075368A (ko) 디지털 촬영 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250203

R150 Certificate of patent or registration of utility model

Ref document number: 7639817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150