Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7434288B2 - デジタル写真用カメラと物理ディスプレイ上に示される代替画像コンテンツを同期させるための方法およびデバイス - Google Patents
[go: Go Back, main page]

JP7434288B2 - デジタル写真用カメラと物理ディスプレイ上に示される代替画像コンテンツを同期させるための方法およびデバイス - Google Patents

デジタル写真用カメラと物理ディスプレイ上に示される代替画像コンテンツを同期させるための方法およびデバイス Download PDF

Info

Publication number
JP7434288B2
JP7434288B2 JP2021510719A JP2021510719A JP7434288B2 JP 7434288 B2 JP7434288 B2 JP 7434288B2 JP 2021510719 A JP2021510719 A JP 2021510719A JP 2021510719 A JP2021510719 A JP 2021510719A JP 7434288 B2 JP7434288 B2 JP 7434288B2
Authority
JP
Japan
Prior art keywords
camera
signal
image data
input
master clock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021510719A
Other languages
English (en)
Other versions
JP2022500897A (ja
Inventor
ブラウン, マックス フォン
Original Assignee
アパリオ グローバル ソリューションズ (アーゲーエス) アーゲー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アパリオ グローバル ソリューションズ (アーゲーエス) アーゲー filed Critical アパリオ グローバル ソリューションズ (アーゲーエス) アーゲー
Publication of JP2022500897A publication Critical patent/JP2022500897A/ja
Application granted granted Critical
Publication of JP7434288B2 publication Critical patent/JP7434288B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、デジタル写真用カメラと、物理ディスプレイ上に示される代替画像コンテンツとを同期させるための方法およびデバイスに関係する。
発光ダイオード(LED)ディスプレイ等のアクティブ・ディスプレイは、視聴者に情報または広告を伝える広告掲示板または看板として広く使用されている。通常、その種のディスプレイは、スポーツまたはエンターテインメントのイベントに使用される。その結果として、テレビジョン放送(TV)またはビデオ・ストリームの中にしばしばその種のディスプレイが現れることになるが、それらは、非常に多様な異なる視聴者、すなわち典型的な例としては、異なる母国語または異なる文化的背景を伴う異なる国々の視聴者に指向される。これらのディスプレイ上に示される情報/広告のターゲットをそれらの視聴者の特定のサブセットに定めるために、テレビジョン放送またはビデオ・ストリームを介してディスプレイを見る視聴者の間でディスプレイのコンテンツを変える方法がすでに開発されている。
ビデオ・シーケンスの統合された一部として広告を挿入すること、たとえば、ビデオ・シーケンスの中で示される広告掲示板上に広告を表示することが提案された。たとえば、特許文献1は、ビデオ画像内の広告掲示板の自動的な電子的置換のための装置を記述している。しかしながら、良好な印象を作り出し、かつ合成画像の自然な見え方を維持するために、広告を、ビデオ・シーケンス内の残りのシーンに適応させる必要がある。通常、このアプローチは、良質な結果を獲得するために人間の介入を必要とする。概して言えば、これらの電子またはソフトウエア・ベースのアプローチは、視聴者の経験が配慮されない限り、特に、放送スキームが広告掲示板を部分的に覆い隠す動的なシーンを伴うとき、しばしば満足の得られるものとはならない。特許文献2には、テレビジョン放送においてディスプレイのコンテンツを視聴者の間で変えることを可能にする方法が記述されている。この先行技術文献は、複数の視聴者が、単一のビデオ・ディスプレイ上に同時に表示されるいくつかのビデオ・ストリームのうちの1つを見ることを可能にする方法を記述している。しかしながら、視聴者が、そのディスプレイ上に示されるビデオ・ストリームのうちの1つと同期されたシャッタ観察眼鏡を使用することが要求される。その種のシステムは、ディスプレイ自体がテレビジョン放送されることに適していない。
これらの問題点は、特許文献3に記述されている解決策によって緩和される。この先行技術文献は、テレビジョン放送内のシーンの一部として現れる物理ディスプレイのコンテンツを、テレビジョン放送の異なる視聴者の間において変化させるための方法およびデバイスを記述している。ディスプレイのコンテンツは、イベント、たとえばスポーツ・イベントにいる視聴者に指向される直接視聴者ディスプレイ画像およびテレビジョン視聴者に指向される放送視聴者ディスプレイ画像を包含する。物理ディスプレイは、2つ以上の一時的にインターリーブされるデータ・コンテンツ・インスタンスを表示し、それにおいては、放送視聴者のためのディスプレイ画像が、前記データ・コンテンツ・インスタンスのうちの1つと同期される。カメラが、看板等の物理ディスプレイを含むイベントのシーンの記録に使用され、カメラと看板の同期にコントロール・システムが使用される。すべての異なるデータ・コンテンツ・インスタンスを包含するカメラによって記録されたビデオ・ストリームがデマルチプレクサに供給され、それが、物理ディスプレイ上に示される特定のデータ・コンテンツ・インスタンスに対応する個別のフィードを生成する。特許文献3に記述された方法およびシステムは、看板に表示される各画像を取り込むことがカメラに要求されることから、テレビジョンまたはビデオ放送のために使用される通常のフレーム・レートよりはるかに高いフレーム・レートでの記録を可能にする専用カメラ・テクノロジを必要とする。個別のビデオ・フィードを生成するデマルチプレクサの計算処理能力もまた、相応じて高くなければならない。このように、特許文献3に記述された方法は、新しい専用の器材を必要とし、スポーツおよびエンターテインメント・イベントにおいてその種のテクノロジを確立するための相応じたコストは高い。それに加えて、特許文献3の方法を用いると、画像が示される時間間隔が短かすぎて視聴者が画像コンテンツを意識的に知覚することができない場合でさえ、放送視聴者のための専用画像の挿入が結果として不安定な看板のちらつきをもたらすことから、イベントの直接視聴者の視聴経験が減じられる。
特許文献4および特許文献5においては、参照によりその完全な開示をこれに援用するが、物理ディスプレイの代替画像コンテンツを異なる視聴者に伝えるための新しい技術的なシステムが記述されており、これは、既存のカメラおよびディスプレイ・テクノロジに基づくことが可能であり、したがって、新しいシステムが、世界中の多くのスポーツおよびイベント・アリーナにおいて容易かつコスト効果的に展開されることを可能にし、かつこのビデオ・ストリームの視聴者およびイベントの直接視聴者両方のためのユーザ経験を向上させる。
これらの文献においては、物理ディスプレイの代替画像コンテンツを異なる視聴者に伝えるための方法およびシステムが開示されており、当該方法およびシステムは、画像データの各セットが個別の画像のシーケンスを包含する、画像データの少なくとも2つの異なるセットを生成することと;画像データの前記少なくとも2つのセットの画像を前記物理ディスプレイ上にタイムスライス多重化態様で表示することと;前記物理ディスプレイを含むシーンの少なくとも1つのビデオ・ストリームを生成することであって、前記ビデオ・ストリームが、前記物理ディスプレイ上の画像データの前記少なくとも2つのセットのうちの1つの画像の表示と同期して取り込まれたビデオ・フレームからなることと;前記ビデオ・ストリームを前記視聴者のサブセットに送信することと、を包含し、それにおいて画像データの少なくとも1つのセットが、画像および反転画像のシーケンスを包含する。物理ディスプレイ上に示される画像データの少なくとも2つの異なるセットのうちの1つが、視聴者のサブセット、たとえば、実際にスポーツ・スタジアムにいる来訪者(直接視聴者)によって直接見られることが意図され、その一方において、画像データの追加のセットに、視聴者の1つ以上の異なるサブセット(放送視聴者)によってビデオ・ストリームとして見られることが意図されている場合。したがって、異なる画像データの前記少なくとも2つのセットが、前記物理ディスプレイ上においてユーザの1つのサブセット(直接視聴者)によって直接意識的に見られることになる画像データの1セットを包含する。しかしながら、直接視聴者が、シャッタ眼鏡またはその類を使用して直接視聴者のために意図されたものではない画像をブロックするわけではないことから、物理ディスプレイ上に示されるすべての画像データは、直接視聴者に、特許文献4内に記述された方法に従って効果的に提示される。むしろ、直接視聴者が、人間の目の生理学的制約に従って、直接視聴者のために意図された画像のセットを意識的にのみ知覚可能となるように、画像データの異なるセットのフレームのフレーム・レートおよび表示期間が選択される。残りの、放送視聴者のみによって知覚されることになる前記ビデオ・ストリームを介して送信されることが意図された画像のサブセットは、物理ディスプレイ上を直接見るときには、それらが人間の目によって知覚されないが、それにもかかわらずビデオ・カメラが前記画像を取り込むことが可能であるように選択されたフレーム・レートおよび画像表示期間を用いて物理ディスプレイ上に示される。異なる画像データの前記少なくとも2つのセットのうちの画像データの少なくとも1つのセットは、画像および反転画像のシーケンスを包含している。包含する画像データの前記セットの画像は、ビデオ・ストリームを介して視聴者のサブセットに、すなわち、放送視聴者に送信されることが意図されており、直接視聴者によって意識的に知覚されるべきではない。画像データの前記セットの反転画像は、ビデオ・ストリームの生成時に取り込まれないが、そのビデオ・ストリームを生成するべく取り込まれた対応する画像の少し前または後に物理ディスプレイ上に表示される。取り込まれるべき画像と対応する反転画像の表示の間の時間期間は、それらの画像が、人間の目、すなわち物理ディスプレイの直接視聴者の目によって解像可能でないように充分に短くする必要がある。したがって、直接視聴者は、ビデオ・ストリームのために意図された画像と対応する反転画像の平均画像を知覚し、その結果、物理ディスプレイの直接視聴者によって経験される強度および/または色の変動が低減される。
画像データのセットの各先行および/または後続画像の反転画像は、組み合わされた画像と反転画像が、結果として均質な強度および/または均質なグレイ値を有する、直接視聴者に知覚される画像をもたらすといった態様で生成される。したがって、直接視聴者にとっての強度または色の変動をさらに低減可能となることが可能である。
特許文献4の中に述べられている1つの実施態様においては、異なる画像データの前記少なくとも2つのセットのうちの少なくとも1つが、モノクローム画像データのセットを包含することが可能である。したがって、その中に述べられている方法は、物理ディスプレイ上のモノクローム画像が環境内の物理ディスプレイの場所の識別に使用され、かつ適切な画像処理テクノロジを介して、ビデオ・ストリームの視聴者によって見られることになるコンテンツによってモノクローム画像が置き換えられるソフトウエア・ベースの解決策(キーイング・テクノロジ)のために採用することも可能である。この実施態様においては、モノクローム画像データに基づいて反転画像を生成することが可能である。したがって、色つきフラッシュが直接視聴者によって知覚される従来的なキーイング・テクノロジとは対照的に、対応する反転画像の挿入は、直接視聴者にとって迷惑な注意散漫を回避する。
特許文献4の中に述べられている別の実施態様においては、直接視聴者のための画像データのセットが、放送視聴者のための画像データのセット(または、セットのそれぞれ)より高いフレーム・レートにおいて提示される。いわゆる『ちらつき融合スレッショルド』(または、ちらつき融合レート)、すなわち、平均的な人間の観察者に対して間欠的な光刺激が完全に一様に現れる周波数は、ほかのパラメータの中でもとりわけ、変調の周波数、変調の振幅または深度(すなわち、照度におけるピークの値からの減少の最大パーセント)および平均(または、最大)照度によることが生理学から知られている(フェリー・ポーターの法則)。したがって、直接視聴者のための画像データが放送視聴者のための画像データによって反復的に割り込まれるとき、直接視聴者のための画像データがより高い周波数で物理ディスプレイに示される場合には、ちらつきを減ずることが可能である。したがって、所定のフレーム・レートについて、直接視聴者のための画像データの各フレームを、物理ディスプレイ上に複数回にわたって表示することが可能であり、たとえば、直接視聴者のための画像データの各フレームを、放送視聴者のための画像データの各フレームの前および/または後の複数の時間スロットの中で示すことが可能である。
特許文献4または特許文献5の広告掲示板表示テクノロジが採用される多くのイベントにおいては、ユーザの異なるサブセットのためのビデオ・ストリームが、これらの特許出願の中に記述されているとおりに生成されるだけでなく、デジタル写真用カメラを使用するスチル写真もまた、頻繁に取り込まれる。オンラインまたは印刷媒体用の写真を撮影するプロの写真撮影者がいることもしばしばである。それに加えて、イベントの普通の観客(すなわち、上に述べられている直接視聴者)が、通常、自分たちのモバイル・フォンのカメラまたは消費者用のデジタル写真用カメラを使用して写真を撮影する。その種のイベントにおいて撮影された多くの写真には、代替画像コンテンツが表示された物理的ディスプレイ、たとえば、LED広告掲示板が、画像シーンの一部になる。しかしながら、物理ディスプレイが、タイムスライス多重化態様でその物理ディスプレイ上に画像データの異なるセットを表示することによって代替画像コンテンツを見せることから、写真撮影者が、写真を撮影するときに物理ディスプレイ上にいずれの画像が示されるかを知ること、またはそれをコントロールすることは、まったく可能でない。たとえば、プロの写真撮影者が、その写真撮影者がターゲットとする視聴者と両立できない特定タイプのビデオ放送視聴者のための画像コンテンツが示されているちょうどその瞬間に写真を撮影することはあり得る。たとえば、多くの国々は、アルコール飲料またはたばこに関係している限りにおいて、それのための広告の規制を実施しており、それらの国々からの写真撮影者は、その種の画像が現れる写真の撮影を回避することを望む。それに加えて、物理ディスプレイ上に反転画像が現れている時間期間の間、または物理ディスプレイ上に現れている画像が画像データの1つのセットから画像データの異なるセットへと変化する時間期間の間に写真が撮影される可能性もある。これらの場合においては、撮影された写真の中の物理ディスプレイの現れ方が悪化し、全体としてのその写真の品質を下げることになる。
英国特許出願公開第2305051号明細書 国際公開第2005/112476号パンフレット 国際公開第2007/125350号パンフレット 国際公開第2018/138366号パンフレット 国際公開第2018/138367号パンフレット
したがって、本発明の技術的課題は、写真が撮影されるときに、写真撮影者が、代替画像コンテンツが物理ディスプレイ上に表示されるイベントにおいて撮影される写真に、はっきりした、かつコントロールされた画像コンテンツのみが前記ディスプレイ上に現れることを確保できるようにする方法およびシステムを提供することである。
この技術的課題は、付随する特許請求の範囲の中に定義されている方法およびデバイスによって解決される。
したがって、本発明は、デジタル写真用カメラと、物理ディスプレイ上に示される代替画像コンテンツとを同期させるための方法に関係し、前記方法は、
画像データの各セットが個別の画像のシーケンスを包含する、前記画像データの少なくとも2つの異なるセットを生成するステップと、
マスタ・クロック信号を生成するステップと、
前記画像データの少なくとも2つのセットの前記画像を、前記マスタ・クロック信号によってトリガされる前記物理ディスプレイ上にタイムスライス多重化態様で表示するステップと、
前記マスタ・クロック信号に基づいてカメラ同期信号を生成するステップと、
前記デジタル写真用カメラを用いて少なくとも1つの画像を取り込むためのカメラ作動信号を生成するステップと、
前記カメラ同期信号および前記カメラ作動信号に基づいて前記デジタル写真用カメラのための少なくとも1つのシャッタ・レリーズ信号を生成するステップと、
前記少なくとも1つのシャッタ・レリーズ信号を前記デジタル写真用カメラのシャッタ・コントロール・ユニットへ送信するステップとを包含する。
本発明の方法によれば、写真撮影者が1つ以上の画像の撮影を望むとき、その写真撮影者は、適切なボタン、たとえば、リモート・コントロールの作動ボタンまたはカメラ自体の作動ボタンを押すか、または付勢することによってカメラ作動信号を生成することになる。カメラのノーマル動作モードにおいては、カメラ作動信号がシャッタ・レリーズ信号をトリガし、その結果写真の撮影が可能になる。この用語『シャッタ』は、たとえば、DSLRカメラに採用されているようなメカニカル・シャッタだけではなく、消費者用のデジタル写真用カメラまたはモバイル・フォンのカメラに採用されているような電子シャッタも参照する。さらに、より広くは、用語『シャッタ・レリーズ信号』は、写真の取り込みをトリガする任意の内部カメラ信号を参照する。しかしながら、本発明の方法を実行するとき、カメラは、通常、それのノーマル動作モードから、たとえば、カメラのファームウエア内に、または、特にモバイル・フォン・カメラの場合は、カメラの専用ソフトウエア・アプリケーション(app)内に実装された専用同期モードへ切り換えられる。同期モードにおいては、カメラ作動信号が、写真の取り込みをすぐにはトリガしない。むしろ、実際に写真を取り込むためのシャッタ・レリーズ信号は、カメラ作動信号だけに基づくのでなく、カメラ同期信号にも基づいて生成される。
1つの実施態様においては、カメラ同期信号が、物理ディスプレイ上における画像データの異なるセットの表示を担うマスタ・クロック信号に直接基づくことが可能である。マスタ・クロック信号に基づけば、特定の時点において物理ディスプレイ上に表示される画像データのセットの画像を決定することが可能である。たとえば、マスタ・クロック信号の各パルスは、物理ディスプレイ上に表示されることになる画像データの異なるセットに属する画像のシーケンスをトリガし、マスタ・クロック・パルスに関する特定の時間シフトは、画像データの特定のサブセットの画像に対応する。たとえば、1つの実施態様においては、直接視聴者によって意識的に見られることが意図された画像データが、マスタ・クロック・パルスと同期して表示される。その結果として、画像データのこの特定のセットが物理ディスプレイ上に表示されるシーンを取り込むことを望んでいる写真撮影者にとっては、シャッタ・レリーズ信号を、カメラ同期信号(マスタ・クロック信号自体とすることが可能)とカメラ作動信号の交差相関によって獲得される信号とすることが可能である。
取り込まれる写真上において画像データのほかのセットが可視となる必要がある場合においては、シャッタ・レリーズ信号を、マスタ・クロック信号に関して時間シフトされたカメラ同期信号とカメラ作動信号の交差相関とすることが可能である。
カメラ同期信号、または、マスタ・クロック信号がカメラ同期信号として直接使用される場合においては、マスタ・クロック信号自体と、カメラ作動信号の両方が、好ましくは単純な方形パルスであることから、本発明の意味における『交差相関』は、単に、カメラ作動信号およびカメラ同期信号/マスタ・クロック信号または時間シフトされたカメラ同期信号が所定の時点において存在するか否かの決定とすることが可能である。この条件が真であれば、シャッタ・レリーズ信号が生成されることになり、カメラの設定に従ってデジタル写真用カメラによって写真が取り込まれることになる。
好ましくは、前記シャッタ・レリーズ信号が、カメラ作動信号(またはマスタ・クロック信号自体)およびカメラ作動信号の両方がアクティブとなる時だけのために生成される。
この実施態様においては、デジタル写真用カメラが、カメラ同期信号と同期して表示されている物理ディスプレイ上の画像を取り込むことになる。しかしながら、マスタ・クロック信号間に表示される画像、すなわち異なる画像フィードに対応する画像を取り込むことも可能である。この趣旨で、前記カメラ作動信号を、前記シャッタ・レリーズ信号が生成される前にマスタ・クロック信号に関してあらかじめ決定済みの時間間隔で時間シフトすることが可能である。あらかじめ決定済みの時間間隔は、写真撮影者によって選択された画像フィードに従って決定されることになる。
それに代えて、シャッタ・レリーズ信号を、前記シャッタ・コントロール・ユニットへ送信される前に前記あらかじめ決定済みの時間間隔で時間シフトすることが可能である。その種の特徴は、たとえば、カメラのファームウエア内に実装することが可能である。
1つの実施態様においては、各カメラ作動信号について複数のシャッタ・レリーズ信号が生成され、一連の写真の撮影が、シャッタ・レリーズ信号によってトリガされることを可能にする。各カメラ作動信号について1つのシャッタ・レリーズ信号だけが生成されることも可能である。
本発明によれば、カメラ同期信号が『マスタ・クロック信号に基づいて生成』される。この表現は、上に述べられているとおりの、マスタ・クロック信号自体がカメラ同期信号を生成するための直接的なベースを提供している実施態様をカバーするだけでなく、広く解釈されなければならない。むしろこの表現は、カメラ同期信号を生成するための間接的なスキームもカバーする。
たとえば、マスタ・クロック信号は、物理ディスプレイ自体または写真撮影者の典型的な視野内のどこかに配されることが可能な専用LED、特に赤外線LEDのトリガに使用することが可能である。したがって、カメラ同期信号は、デジタル写真用カメラ自体を介して、またはデジタル写真用カメラに取り付けられている専用センサを介してLED信号を記録することによって生成することが可能である。したがって、デジタル写真用カメラへのトリガ信号の送信に配線は要求されない。特に、デジタル写真用カメラ自体がトリガLEDの記録に使用される場合には、カメラ側に追加の装備は必要なく、記録されたLED信号からのカメラ同期信号の生成は、ソフトウエア(ファームウエアまたはソフトウエア・アプリケーション)において実装することが可能である。
ほかの実施態様においては、物理ディスプレイ上に示される画像データのセットを、カメラ同期信号の生成に採用することが可能である。たとえば、デジタル写真用カメラによる物理ディスプレイの記録が、マスタ・クロック周波数に基づくデジタル写真用カメラのセンサ上において特徴的な変調を生成することになる。したがって、画像処理ソフトウエアを使用することにより、デジタル写真用カメラの画像センサを用いて記録された強度変化からマスタ・クロック周波数を導出することが可能である。たとえば、デジタル写真用カメラがローリング・シャッタ・テクノロジを使用している場合においては、カメラの回転が、結果として容易に検出可能な強度モデレーションをもたらすことになる。グローバル・シャッタ型デジタル写真用カメラについては、適切な検出方法が、高い周波数において写真を撮影すること、および差分画像の画像処理を介してマスタ・クロック周波数を導出することを伴う。
多くのデジタル写真用カメラは、内蔵クロック、通常はクォーツ・ベースのクロックを含み、それらは充分に安定しており、その結果、典型的なスポーツ・イベントの間においては、マスタ・クロックとの同期が一度または二度達成されるだけでよいようになる。したがって、同期が達成されなければならないのは、イベントの前、およびオプションとしてそのイベントの休憩の間にだけである。この趣旨で、デジタル写真用カメラを、有線を介してまたは無線でマスタ・クロックとリンクすることが可能である。それに代えて、マスタ・クロックに基づく専用の画像シーケンスをイベントの前、またはそのイベントの休憩の間に示すことが可能であり、それをデジタル写真用カメラの画像処理ソフトウエアによって、それの内蔵クロックをマスタ・クロックと同期させるために分析することが可能である。初期同期の後は、数十分または数時間にわたってさえマスタ・クロックとの同期性を維持する内蔵クロックに基づいてカメラ同期信号が生成されることになる。
本発明は、デジタル写真用カメラと、物理ディスプレイ上に示される代替画像コンテンツとを同期させるためのデバイスにも関係し、前記デバイスは、
外部マスタ・クロック信号に基づくデータのための第1の入力と、
カメラ作動信号のための第2の入力と、
外部マスタ・クロック信号に基づき、かつ前記データに基づいてカメラ同期信号を生成するため、および前記カメラ同期信号および前記カメラ作動信号に基づいてデジタル写真用カメラのための少なくとも1つのシャッタ・レリーズ信号を生成するための処理ユニットと、
前記シャッタ・レリーズ信号を前記デジタル写真用カメラのシャッタ・コントロール・ユニットへ送信するための出力とを包含する。
本発明によれば、『外部マスタ・クロック信号に基づくデータ』は、上に述べられているとおり、マスタ・クロック信号に直接または間接的に基づく任意の種類のデータ/信号であるとすることが可能である。これらの『データ』は、マスタ・クロック信号自体、物理ディスプレイ上に表示される画像のシーケンス、専用LED信号、物理ディスプレイ上に表示される専用同期画像シーケンス等々を含む。
1つの実施態様においては、本発明のデバイスが、シャッタ・レリーズ信号のための入力を有する任意の適切なデジタル写真用カメラに適合させることが可能な別体のボックスまたはハウジングである。たとえば、適切なデジタル写真用カメラを、DSLR(デジタル一眼レフ)カメラ、またはDSLT(デジタル透過ミラー一眼レフ)カメラをはじめ、『オートフォーカス・カメラ』またはモバイル・フォンのカメラ等の消費者用のカメラとすることが可能である。別体のボックスまたはハウジング等を、特定のデジタル写真用カメラにリンクされる専用のボックスまたはハウジングとすることは可能であるが、その種の別体のボックスおよびハウジングを、デジタル写真用カメラであって、内蔵クロックを有し、その結果、スポーツ・イベントの間にわたって行われる前記ボックス/ハウジングとの同期が一度または二度だけとなる一方、そのイベントの間にわたってその内蔵クロックによって同期が維持され、追加の装備を伴うことなく、そのイベントの間にわたって使用することが可能となるようにしたデジタル写真用カメラとともに使用することが好ましい。
本発明という面において適しているカメラは、ローリング・シャッタまたはグローバル・シャッタ・テクノロジを伴って機能することが可能である。
カメラ作動信号は、従来的なカメラ・リモート・コントロールによって生成することが可能である。別の実施態様においては、作動ボタンをデバイス自体に統合することが可能である。その結果として、カメラ作動信号のための入力が、作動ボタンからデバイスの内部処理ユニットへカメラ作動信号を送信する内部入力になる。
本発明の入力および出力は、有線ベースまたは無線とすることが可能であり、後者の場合には、たとえば、ブルートゥース(IEEE 802.15.1)、WLAN(IEEE-802.11)、または赤外線(たとえば、IrDA)信号送信テクノロジが使用される。具体的に述べれば、『第1の入力』は、有線ベースの電気入力、無線信号のための受信機、および光センサ、具体的にはデジタル写真用カメラ自体の光センサ等といった外部マスタ・クロック信号に基づいてデータを受信するための任意の適切な種類の入力とすることが可能である。
1つの実施態様においては、本発明のデバイスが、カメラ自体の統合されたレリーズ・ボタンを使用することが可能となるようにデジタル写真用カメラ内に統合される。同様に、本発明のデバイスを、プロ用のカメラ・システムに従来から使用されているバッテリ・グリップ内に統合することが可能である。デジタル写真用カメラ内に統合されるときには、商業的に入手可能なデジタル写真用カメラ内にすでに存在する構成要素とともに本発明のデバイスを実装することが、そのカメラに追加の物理的な修正を施すことを必要とせずに可能である。具体的に述べれば、デジタル写真用カメラのプロセッサを、そのカメラ内にソフトウエアとして本発明の方法を実装し、請求の範囲のデバイスの『処理ユニット』として使用することが可能である。また、デジタル写真用カメラのハードウエアまたはソフトウエア・コントロールを、本発明の方法のコントロールに使用することも可能である。たとえば、典型的なDSLRまたはDSLTカメラは、サム・ホイールを備えており、それを、物理ディスプレイ上に示されている画像データの、取り込まれた写真に現れるべき所望のセットを選択するためのコントロールとして作用するべく再プログラムすること、および/またはカメラ同期信号の生成にカメラの内蔵クロックだけが使用されている時間期間の間に同期のドリフトを訂正するべく再プログラムすることが可能である。
この出願の意味において『画像データのセット』は、視聴者の1つの特定のサブセットに示される画像(静止画またはフィルム)に対応する。本発明によれば、画像データの少なくとも2つのセットが物理ディスプレイ上に示され、画像データの前記2つのセットのうちの1つのセットを包含する少なくとも1つのビデオ・ストリームが生成される。もっとも単純な形式において、本発明の方法は、イベントの直接視聴者、たとえば、スポーツまたはエンターテインメント・イベントに実際にいる視聴者のために意図された画像データの1つのセットを包含する。画像データの第2のセットは、ビデオ・ストリームの視聴者に指向される。より一般的に述べれば、物理デバイス上に示される画像データのセットが直接視聴者のための画像データを含む場合には、生成されるビデオ・ストリームの数が、画像データのセットの数から1を減じた値に対応する。
本発明の1つの実施態様においては、前記デバイスが、前記マスタ・クロック信号または前記シャッタ・レリーズ信号がシフトされることになるあらかじめ決定済みの時間間隔を決定するフィード・セレクタを包含する。
本発明の1つの実施態様においては、画像データの少なくとも1つのセットが、画像および反転画像のシーケンスを包含する。
本発明の1つの実施態様においては、『画像データのセット』が、ブランク画像、すなわち物理ディスプレイ上に画像がまったく表示されない時間間隔を含むこともできる。これは、たとえば、イベントの直接視聴者または、サッカーもしくはバスケットボールのプレーヤ等のイベントの参加者が、物理ディスプレイ上に示されるコンテンツによって、すなわち、この実施態様においてはビデオ・スクリーンを介して放送視聴者だけに送信される広告によって注意散漫になることがあってはならない場合に望ましいとし得る。
本発明の別の実施態様においては、『画像データのセット』が、従来的なソフトウエア・ベースのキーイング・テクノロジを使用してビデオ・ストリーム内における物理ディスプレイのエリア内に所望の広告を挿入するためにビデオ・ストリーム内における物理ディスプレイの場所の識別に使用することが可能なモノクローム着色されたフレームを包含することができる。
本発明のさらなる好ましい実施態様によれば、物理ディスプレイが発光ダイオード(LED)アレイ/ディスプレイである。好ましくは、LEDディスプレイは、看板または広告掲示板である。
本発明のさらなる実施態様によれば、1つ以上のビデオ・ストリームに記録されるシーンは、スポーツ・イベントまたはエンターテインメント・イベントの一部である。
次に、添付図面を参照して、本発明の好ましい実施態様をさらに詳細に説明する。図面は、以下のとおりである。
本発明の第1の実施態様に従った、デジタル写真用カメラと、物理ディスプレイ上に示される代替画像コンテンツとを同期させるためのシステムの概要を示した概略図である。 図1の物理ディスプレイ上のちらつきを減ずるための例示的な画像シーケンスを示した説明図である。 図1の実施態様において使用される単一カメラ・ユニットのフレーム・シーケンスを示した説明図である。 デジタル写真用カメラを同期させるための本発明の代替実施態様を示した説明図である。 デジタル写真用カメラを同期させるための本発明のさらに別の実施態様を示した説明図である。 図1の物理ディスプレイ上の1セットの画像データを取り込むための信号スキームを示した説明図である。 異なるセットの画像データを取り込むための信号スキームを示した説明図である。
以下、本発明を、典型的な例、すなわちスポーツ・イベントのテレビジョン放送に関連してより詳細に説明する。
この出願の中に記述されている例は、50Hzの標準フレーム・レート(電源周波数を反映している;ヨーロッパ、アジア、オーストラリア、および南アメリカの一部におけるPAL放送仕様)に関係するが、当業者にとっては、ここに述べられているコンセプトが、ほかの標準フレーム・レート、たとえば、25Hzまたは60Hz(電源周波数に基づいている;北/中央アメリカおよびアジアの一部)、またはNTSC放送システムの59.94Hzのフレーム・レート等の端数のフレーム・レートにさえも適用可能であることは明白である。
図1は、本発明の第1の例示的な実施態様の概要を略図的に図示している。ビデオ・カメラ・ユニットVCが使用されて、サッカー競技場10(一部分が図示されている)によって例示されるスポーツ・イベントのビデオ映像が提供される。競技場10のサイド・ライン11には、LEDディスプレイ13を有する広告掲示板12が設置されている。広告掲示板12は、LEDアレイ13への静止および/または動画の引き渡しをコントロールするコントローラ14を包含する。ビデオ・カメラ・ユニットは、広告掲示板12のLEDディスプレイ13を含むシーンの高い初期フレーム・レートのビデオ・ストリームを記録する。この実施態様に採用することが可能な代表的なビデオ・カメラ・ユニットVCは、高いフレーム・レートでシーンの記録を可能にするSony Corporation(ソニー・コーポレーション)によって商品化されたHDC 4300カメラである。高いフレーム・レートのビデオ・ストリームHFR(図5参照)は、第1の光ケーブル20を介して中間処理ユニット22の第1の接続21に伝えられる。中間処理ユニット22は、第1の接続21を、第2の光ケーブル25を介して中間処理ユニット22をカメラ・コントロール・ユニット(CCU)26に接続するべく使用が可能な第2の接続24に接続する情報ブリッジ23を包含する。カメラ・コントロール・ユニット26は、外部カメラ・コントロール、得点、プロンプタ、リターン・ビデオ等の信号のための追加の入力/出力28を有する。適切な中間処理ユニット22は、たとえば、Sony Corporation(ソニー・コーポレーション)によって商品化されたBPU 4000等のベースバンド処理ユニット(BPU)である。さらに中間処理ユニット22は、高い初期フレーム・レートのビデオ・ストリームを複数の物理的なSDI出力O1、O2、O3等に変換し、かつルーティングするビデオ・プロセッサ27を包含する。SDI出力O1、O2、O3等は、ノーマル・フレーム・レートのビデオ・ストリームNFR(図6参照)を提供する。
カメラ・ユニットVCは、マスタ・クロック信号Mをマスタ・クロック15から直接(図示せず)受信するか、またはマスタ・クロック15をカメラ・コントロール・ユニット26および光ケーブル25、20に接続するライン29を介して受信する。
マスタ・クロック信号Mは、ライン30を介してインターフェース17にも供給される。インターフェース17は、画像データ入力31を介して画像データを受信し、トリガ信号Tを生成し、それに従って画像データが、ライン32を介してLEDディスプレイ13へ送信され、そこでトリガ信号Tに従って画像データが示される。トリガ信号Tは、カメラ・ユニットによって記録されるその後に続くフレームが、LEDディスプレイ13上に示される異なる画像データとともに記録されるシーンを示すことが可能となるように選択される。当然のことながら、画像データをディスプレイ13および/またはインターフェース17のストレージ媒体へ送信し、あらかじめストアしておくことも可能である。それに加えて、インターフェース17は、広告掲示板12の一部とすることが可能であり、その結果、ライン32が、広告掲示板12の内部回路の一部になる。
図1は、デジタル写真用カメラPと、物理ディスプレイ(LEDディスプレイ)13上に示される代替画像コンテンツとを同期させるための本発明の方法を実装する第1の実施態様を示している。図1の実施態様において、マスタ・クロック信号Mは、ライン50を介してデジタル写真用カメラPへも送信される。リモート・コントロール51が使用されて、ライン52を介してデジタル写真用カメラPへ送信されるカメラ作動信号Aが生成される。デジタル写真用カメラPは、ライン50を介して外部マスタ・クロック信号Mを受信するべく適応された第1の入力54と、ライン52を介してカメラ作動信号を受信するべく適応された第2の入力55とを有する入力ユニット53を包含している。この実施態様においては、シャッタ・レリーズ信号を生成するための処理ユニットが、デジタル写真用カメラP内に統合されている。
それに代えて、デジタル写真用カメラPを、広告掲示板12内に埋め込まれている赤外線LED 16、および/または競技場10の近くに配された専用赤外線LED 17を介して同期させることが可能である。赤外線LEDのトリガ信号は、スポーツ・イベントに来ている視聴者を妨害することなくデジタル写真用カメラPによって取り込まれることが可能である。
図2は、直接視聴者に対するちらつきを最小限まで減ずる態様で画像データおよび反転画像データをLEDディスプレイ13上に提供するための好ましいスキームを示している。このスキームは、より詳細にWO 2018/138366 A1の中に記述されている。
図2の実施態様は、本発明の方法を用いて送信されるビデオ・スクリーンのノーマル・フレーム・レートが50Hzに対応するという前提に基づいている。この実施態様においては、4つの異なるセットの画像データが採用される。画像データのセットのうちの1つ(フィードF0)は、直接視聴者によって意識的に見られることが意図されている。3つの追加のフィード(F1、F2、F3)は、放送視聴者のみによって意識的に見られることが意図されている。図示されている実施態様においては、フィードF0の画像データが、放送視聴者のサブセットに対しても送信される。したがって、50Hzの標準フレーム・レートの20ミリ秒の時間期間内にカメラによって4つの異なるフレーム(送信されることになる各ビデオ・スクリーンについて1つの画像フレーム)が取り込まれることが可能となるように、200Hzのフレーム・レートにおけるビデオの取り込みを可能にするカメラVC(または、複数のカメラ)が採用される。
直接視聴者によるフィードF0の知覚に対する影響を最小限まで減ずるために、WO 2018/138366 A1においては、放送視聴者のみによって見られることが意図された各フレームに反転画像を描画するフレームが続くことが提案されている。しかしながら、50Hzのフレーム・レートにおいては、直接視聴者によって意識的に見られることが意図されたフィードF0が、それでもなおちらつく傾向にある。
図2に描かれているスキームは、直接視聴者に提示されるフィードF0の画像のセットの画像の知覚されるフレーム・レートを増加することによって、直接視聴者に提示される画像のちらつきが最小化することを可能にする。これに示されているとおり、直接視聴者のための画像データの各フレームが、放送視聴者のための画像データの各フレームの前および後の複数の時間スロットの中で示される。図2の実施態様においては、50Hzの標準フレーム・レートの時間期間20ミリ秒、すなわち、マスタ・クロックMの2つのパルス(矢印『M』参照)の間における時間期間が、スロットS1、S2、S3、S4・・・、S15、およびS16として示されている16の時間スロットに細分される。したがって、各時間スロットは、1.25ミリ秒の長さを有し、4つの時間スロットが5ミリ秒の期間、すなわちこの実施態様に採用されるカメラの200Hzのフレーム・レートを構成する。
したがって、直接視聴者によって意識的に見られることが意図されたフィードF0の画像データが、時間スロットS1、S2、S3、S4内に提示される。時間スロットS1は、同様にカメラによって記録される時間スロットである。図2においては、ビデオ・カメラの記録がアクティブとなる時間スロットが記号『R』によって示されている。時間スロットS5においては、放送視聴者だけのために意図されたフィードF1の画像フレームが物理ディスプレイ13上に描画され、カメラによっても記録される(記号『R』参照)。時間スロットS6は、フィードF1の画像の相補/反転画像C1を示し、それは、カメラによって記録されない。しかしながら、直接視聴者にとっては、フレームF1とC1の迅速な組み合わせが、結果として知覚しにくいグレイ画像になり、それが、直接視聴者のために意図されたメイン・フィードF0の知覚を乱すことはない。次に、スロットS9およびS10において画像データF2および相補画像データC2が提示される前に、スロットS7およびS8において再びフィードF0の2つのフレームが提示される。スロットS11およびS12は、再びフィードF0の画像データを描画するが、スロットS13およびS14は、放送視聴者のための3番目のフィードの画像データF3および相補画像データC3を示す。その後、スロットS15およびS16が、再び放送視聴者のためのフィードF0専用になる。
これによれば、直接視聴者によって見られることが意図されたフィードF0の画像データがより高いフレーム・レートで提示され、したがって、ちらつきが最小化される。
物理ディスプレイ13上に示される最小強度が、暗いグレイ/ほぼ黒の値(採用されているカメラの感度が充分に高いことを前提とする)まで下がるためには、直接視聴者に提示される画像データ(F0)の強度が放送視聴者に提示される画像(F1、F2、F3)の強度より高いとさらに有利である。このことはまた、直接視聴者にとっての知覚の歪みをよりいっそう減ずることにもなる。その種の実施態様においては、フィードF0に基づくビデオ・ストリームのために特別なカメラ適応が必要とされないように、スロットS1において提示される画像の強度を、放送視聴者のために意図された画像の強度と同じレベルまで減ずることも可能である。直接視聴者のための画像データを有する10のスロットのうちの1つのスロットの強度を減ずることは、直接視聴者によって知覚される全体的な強度に目立った影響を及ぼすほどのものにはならない。
当然のことながら、25Hzまたは60Hz等の異なる標準フレーム・レートのために類似のスキームを考えることは可能である。
図2の撮像スキームに基づいて、図3に、カメラ・ユニットVCによってノーマル・フレーム・レート(50Hz)の4倍、すなわち200Hzで記録される高フレーム・レート・ビデオHFRのフレームのシーケンスを示す。したがって、フィードF0、F1、F2、およびF3のそれぞれに対応するf i.0、f i.1、f i.2、およびf i.3として示されている4つのフレームが、1/50秒(20ミリ秒)の各時間間隔iの間に記録される。これらのフレームが、光ケーブル20を介して中間処理ユニット22(BPU)へ送信される。したがって、20ミリ秒の1番目の記録期間内において、各フィードの1番目のフレーム、すなわちf 1.0(図2のスロットS1に対応する)、f 1.1(スロットS5)、f 1.2(スロットS9)、およびf 1.3(スロットS13)がそれぞれ記録される。次の20ミリ秒の期間内においては、各チャンネルの2番目のフレーム、すなわちf 2.0、f 2.1、f 2.2、およびf 2.3がそれぞれ記録され、以下同様の形で続く。中間処理ユニット22内においては、たとえば、フィードF0が出力O1に、フィードF1が出力O1に、フィードF2が出力O3に、フィードF3が出力O4に割り付けられるというように、取り込まれた各フィードF0、F1、F2、およびF3の画像が専用のSDI出力に割り付けられるといった態様で、HFRビデオ・ストリームが、ノーマル・フレーム・レートのビデオ・ストリームとして、SDI出力O1、O2、O3、O4へルーティングされる(詳細については、WO 2018/138366 A1参照)。
図4は、本発明の方法を実装するための、専用処理ユニット56が、ライン50を介してマスタ・クロック信号を、およびライン52を介してカメラ作動信号を専用リモート・コントロール51から受信するために使用されるハウジング57を有する代替実施態様を示している。簡明のために、図においては、ビデオ・ストリーム生成に関係する構成要素およびインターフェース17が省略されている。シャッタ・レリーズ信号を生成するための処理ユニット56は、ハウジング57内に統合されている。したがって、この場合においては、それぞれマスタ・クロック信号Mおよびカメラ作動信号Aのための信号入力54、55が処理ユニット56のハウジング57内に配置され、さらにそこには、処理ユニット56によって生成されたシャッタ・レリーズ信号Sを、ライン59を介してデジタル写真用カメラPの入力ユニット53の入力60へ送信するための出力58が備わる。図4のスキームは、リモート・コントロール信号のための入力60が備えられている商業的に入手可能な任意のカメラに採用することが可能である。処理ユニット54を採用して、従来的なカメラのシャッタのトリガに適した任意の態様でシャッタ・レリーズ信号Sを構成することが可能である。
図5は、内蔵カメラ・アクチュエータ61がカメラ作動信号のトリガに使用される本発明のさらなる実施態様を描いた概略図である。それによれば、デジタル写真用カメラPの入力ユニット53が、ライン50を介してマスタ・クロック信号Mを入力60において受信するべく適応されるだけでよい。
図6および7は、本発明の方法に従ってデジタル写真用カメラPを用いて写真を取り込むための信号シーケンスを図示している。これらの例においては、物理ディスプレイ13上の画像が、図2のスキームに従って生成されることを前提とする。したがって、ビデオ・カメラの記録のトリガに使用されるトリガ信号Rが、デジタル写真用カメラPのためのカメラ同期信号C1、C2、C3、およびC4としても使用されることが可能(または、それらに対応することが可能)である。図2の具体的なスキームにおいては、これに示されているすべてのカメラ同期信号が任意タイプのデジタル写真用カメラに適するわけではないことに注意しなければならない。たとえば、広告掲示板のディスプレイ13上に示されている画像の写真を信頼できる形で取り込むために、ローリング・シャッタ型デジタル写真用カメラは、通常、約3.3ミリ秒の画像フレーム持続時間を必要とする。図2のスキームにおいては、5ミリ秒の画像フレーム持続時間に対応するS1からS4までの4つの連続するスロットの中で画像フィードF0が示されることから、カメラ同期信号C1においてのみこの条件が満たされる。これに対して、カメラ同期信号C2、C3、およびC4に対応する画像は、それぞれ1つの1.25ミリ秒の持続時間のスロットの中でのみ示される。これらのフレームの写真を取り込むためには、好ましくは、グローバル・シャッタ型デジタル写真用カメラを頼る必要がある。
図6に示されている例の目的のため、ここで、デジタル写真用カメラPによってメイン・フィードF0の写真のみが撮影されることを前提とする。それによれば、図6aは、対応する、20ミリ秒の時間間隔によって分離される方形パルスを包含するカメラ同期信号C1を示している。したがって、図6aにおける2つの方形パルスの間の時間間隔は、図2に図示されている20ミリ秒の期間に対応する。
図6bは、たとえば、図1および4のリモート・コントロール51によって、または図5のカメラPの作動ボタン61によって生成される約160ミリ秒の持続時間のカメラ作動信号Aを図示している。
本発明の方法を実装している処理ユニットは、図6cのシャッタ・レリーズ信号Sを生成する。図6に図示されている例においては、シャッタ・レリーズ信号Sが、結果として8つの方形パルスをもたらすカメラ同期信号C1およびカメラ作動信号Aの交差相関であり、それらを使用して一連の8つの写真をトリガすることが可能であり、それぞれの写真は、図2のシーケンスのメイン・フィードF0の画像のみを取り込むべくタイミング設定される。時間ラインtによって示されているとおり、シャッタ・レリーズ信号Sのパルスは、カメラ同期信号C1のパルスと同期されており、上に述べられているとおりそれは、マスタ・クロック信号M自体とすることが可能である。図2のスキームが使用される場合には、このスキームにおいては、最初の4つのスロットが同一の画像、すなわちメイン・フィードF0の画像を表示することから、露出時間が、1.2ミリ秒のスロット期間を超えて最大4.8ミリ秒まで延長可能であることは明白である。また、1つのパルスだけが各シャッタ・レリーズ信号Aのために作り出されるように処理ユニットが構成可能であることも明白である。
図7は、図6の処理スキームの代替実施態様を図示している。この実施態様においては、交差相関時に、結果としてもたらされるシャッタ・レリーズ信号Sもまた対応する時間間隔Δt(時間軸のt参照)によってシフトされるように、処理ユニットが、到来するカメラ同期信号C1を、10ミリ秒の時間間隔Δtによってシフトするべく構成される。したがって、図2のスキームを用いて物理ディスプレイがトリガされることを前提とすると、デジタル写真用カメラPは、メイン・フィードF0ではなく、スロットF9に対応する2番目のフィードの画像を取り込むことになる。これもまた明白であるが、この実施態様においては、先行および後続の画像スロットF8およびF10が、それぞれ、デジタル写真用カメラPによって取り込まれるべきではない異なる画像を示すことから、露出時間が1.25ミリ秒に制限されなければならない。

Claims (11)

  1. デジタル・スチル写真用カメラと、スポーツ・イベントまたはエンターテインメント・イベントに設置される物理LED看板またはLED広告掲示板上に示される、前記イベントのビデオ・ストリーム内のシーンの一部として現れる交互表示画像コンテンツとを同期させるための方法であって:
    画像データの各セットが個別の画像のシーケンスを包含する、前記画像データの少なくとも2つの異なるセットを生成することと;
    マスタ・クロック信号(M)を生成することと;
    前記画像データの少なくとも2つのセットの前記画像を、前記マスタ・クロック信号(M)によってトリガされる前記物理ディスプレイ上にタイムスライス多重化態様で表示することであって、それにおいて、前記画像データの少なくとも1つのセットは、前記イベントにいる直接視聴者のために意図されており、かつ前記画像データの少なくとも1つのセットは、放送視聴者のために意図されていることと;
    前記放送視聴者のために意図された前記画像データのセットの前記画像の前記表示と同期されたビデオ・カメラ・ユニットを使用してビデオ・ストリームを生成することと;
    前記マスタ・クロック信号(M)に基づいてカメラ同期信号(C)を生成することと、
    前記デジタル・スチル写真用カメラを用いて少なくとも1つの画像を取り込むためのカメラ作動信号(A)を生成することと;
    前記カメラ同期信号(C)および前記カメラ作動信号(A)に基づいて前記デジタル・スチル写真用カメラのための少なくとも1つのシャッタ・レリーズ信号(S)を生成することと;
    前記少なくとも1つのシャッタ・レリーズ信号(S)を前記デジタル・スチル写真用カメラのシャッタ・コントロール・ユニットへ送信することと、
    を包含し、
    前記シャッタ・レリーズ信号(S)は、前記カメラ同期信号(C)と前記カメラ作動信号(A)の両方がアクティブのときだけのために生成される、方法。
  2. 前記カメラ同期信号(C)は、前記シャッタ・レリーズ信号(S)が生成される前に前記マスタ・クロック信号(M)に関してあらかじめ決定済みの時間間隔で時間シフトされる、請求項に記載の方法。
  3. 前記シャッタ・レリーズ信号(S)は、前記シャッタ・コントロール・ユニットへ送信される前にあらかじめ決定済みの時間間隔で時間シフトされる、請求項に記載の方法。
  4. 複数のシャッタ・レリーズ信号(S)が生成される、請求項1乃至のいずれか一項に記載の方法。
  5. 前記マスタ・クロック信号(M)および/または前記カメラ作動信号(A)は、方形パルスを包含する、請求項1乃至のいずれか一項に記載の方法。
  6. デジタル・スチル写真用カメラと、スポーツ・イベントまたはエンターテインメント・イベントに設置される物理LED看板またはLED広告掲示板上に示される、前記イベントのビデオ・ストリーム内のシーンの一部として現れる交互表示画像コンテンツとを同期させるためのデバイスであって、前記交互表示画像コンテンツの画像データの少なくとも1つのセットが、前記イベントにいる直接視聴者のために意図されており、かつ前記交互表示画像コンテンツの画像データの少なくとも1つのセットが、放送視聴者のために意図されており、前記ビデオ・ストリームが、前記放送視聴者のために意図された前記画像データのセットの画像の表示と同期されたビデオ・カメラ・ユニットを使用して生成され、それにおいて前記同期させるためのデバイスが、
    外部マスタ・クロック信号(M)に基づいてデータを受信するための第1の入力(54)と、
    カメラ作動信号(A)を受信するための第2の入力(55)と、
    前記外部マスタ・クロック信号(M)に基づき、かつ前記データに基づいてカメラ同期信号(C)を生成するため、および前記カメラ同期信号(C)および前記カメラ作動信号(A)に基づいてデジタル・スチル写真用カメラ(P)のための少なくとも1つのシャッタ・レリーズ信号(S)を生成するための処理ユニットと、
    前記シャッタ・レリーズ信号(S)を前記デジタル・スチル写真用カメラ(P)のシャッタ・コントロールへ送信するための出力(58)と、
    包含するデバイス。
  7. 前記第1の入力(54)と、前記カメラ作動信号(A)を受信するための前記第2の入力(55)と、前記少なくとも1つのシャッタ・レリーズ信号(S)を生成するための前記処理ユニットと、前記出力(58)は、前記出力(58)を介して前記デジタル・スチル写真用カメラ(P)と外部接続可能な別体のハウジング(57)内に統合される、請求項に記載のデバイス。
  8. 前記第1の入力(54)と、前記カメラ作動信号(A)を受信するための前記第2の入力(55)と、前記少なくとも1つのシャッタ・レリーズ信号(S)を生成するための前記処理ユニットと、前記出力(58)は、前記デジタル・スチル写真用カメラ(P)内に統合される、請求項に記載のデバイス。
  9. 前記第2の入力(55)は、前記デジタル・スチル写真用カメラ(P)の作動ボタン(61)から前記カメラ作動信号(A)を受信するための内部入力として構成される、請求項に記載のデバイス。
  10. 前記第2の入力(55)は、リモート・コントロール(51)から前記カメラ作動信号(A)を受信する外部入力として構成される、請求項6乃至8のいずれか一項に記載のデバイス。
  11. 前記第2の入力(55)は、前記ハウジング上に配された作動ボタンから前記カメラ作動信号(A)を受信する、前記ハウジング(57)内の内部入力として構成される、請求項に記載のデバイス。
JP2021510719A 2018-09-13 2019-09-13 デジタル写真用カメラと物理ディスプレイ上に示される代替画像コンテンツを同期させるための方法およびデバイス Active JP7434288B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18194374 2018-09-13
EP18194374.7 2018-09-13
PCT/EP2019/074543 WO2020053416A1 (en) 2018-09-13 2019-09-13 Method and device for synchronizing a digital photography camera with alternative image content shown on a physical display

Publications (2)

Publication Number Publication Date
JP2022500897A JP2022500897A (ja) 2022-01-04
JP7434288B2 true JP7434288B2 (ja) 2024-02-20

Family

ID=63579251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021510719A Active JP7434288B2 (ja) 2018-09-13 2019-09-13 デジタル写真用カメラと物理ディスプレイ上に示される代替画像コンテンツを同期させるための方法およびデバイス

Country Status (8)

Country Link
US (1) US11336813B2 (ja)
EP (1) EP3850825B1 (ja)
JP (1) JP7434288B2 (ja)
CN (1) CN112689992B (ja)
AU (1) AU2019338669B2 (ja)
CA (1) CA3111378C (ja)
ES (1) ES2973534T3 (ja)
WO (1) WO2020053416A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112470485A (zh) * 2018-07-27 2021-03-09 阿帕里奥全球咨询股份有限公司 用于将物理显示器的可选的图像内容发送到不同观看者的方法和系统
AU2019338669B2 (en) * 2018-09-13 2025-02-27 H2Vr Holdco, Inc. Method and device for synchronizing a digital photography camera with alternative image content shown on a physical display
EP3705989A1 (en) 2019-03-07 2020-09-09 Stereyo BVBA Real-time deformable and transparent display
EP4679407A3 (en) 2019-06-07 2026-04-29 Stereyo BV Method for optimizing the dynamic range of a led screen
DE102019220278A1 (de) * 2019-12-19 2021-06-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Anzeige von Videos
US11310436B2 (en) * 2020-08-20 2022-04-19 H2V4 Holdco, Inc. Elimination of artifacts in captured images of LED tile displays
EP4120669B1 (en) * 2021-07-14 2023-12-13 Stereyo BV Methods for improved camera view in studio applications
EP4411705A4 (en) * 2021-09-27 2025-04-30 Sony Group Corporation INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING METHOD
DE102021126309B3 (de) 2021-10-11 2022-12-01 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Hintergrund-Wiedergabeeinrichtung, Kamera und Verfahren zum Wiedergeben einer Darstellung eines virtuellen Hintergrunds
EP4287630A1 (en) * 2022-06-02 2023-12-06 Pucki GmbH Method for producing a video stream
WO2023175114A1 (en) * 2022-03-16 2023-09-21 Pucki Gmbh Method for producing a video stream
CN119183658A (zh) * 2022-05-20 2024-12-24 索尼集团公司 切换器设备、控制方法和成像系统
US12425538B2 (en) 2022-07-15 2025-09-23 Stereyo Bv Focused sound and infotainment system and method
TWI820832B (zh) * 2022-07-28 2023-11-01 大陸商北京集創北方科技股份有限公司 可與拍攝同步之led顯示方法、led顯示驅動晶片及led顯示裝置
CN115277981A (zh) * 2022-07-28 2022-11-01 北京集创北方科技股份有限公司 同步拍摄方法、装置及设备
US12455056B2 (en) 2022-08-08 2025-10-28 Stereyo Bv Photovoltaic sunshade and display system
US12506923B2 (en) 2022-12-19 2025-12-23 Stereyo Bv Video processing in modular display system and method
US12499820B2 (en) 2022-12-19 2025-12-16 Stereyo Bv Systems and methods for altering light output and white point of a light source or light source display
US12080224B2 (en) 2022-12-19 2024-09-03 Stereyo Bv Configurations, methods, and devices for improved visual performance of a light-emitting element display and/or a camera recording an image from the display
US12112695B2 (en) 2022-12-19 2024-10-08 Stereyo Bv Display systems and methods with multiple and/or adaptive primary colors
US12185585B2 (en) 2022-12-19 2024-12-31 Stereyo Bv Active matrix display, system, and method having an additional transistor that discharges a storage capacitor within pixel circuits, at least one pixel circuit driven by a drive circuit resides physical within another drive circuit, and/or off-to-on time of scan signals are set in relation to an operation of a camera recording the display
US12119330B2 (en) 2022-12-19 2024-10-15 Stereyo Bv Configurations, methods, and devices for improved visual performance of a light-emitting element display and/or a camera recording an image from the display
US12100363B2 (en) 2022-12-19 2024-09-24 Stereyo Bv Configurations, methods, and devices for improved visual performance of a light-emitting element display and/or a camera recording an image from the display
US12443384B2 (en) 2022-12-19 2025-10-14 Stereyo Bv Display system and method for mapping of images
US12199079B2 (en) 2022-12-19 2025-01-14 Stereyo Bv Configurations, methods, and devices for improved visual performance of a light-emitting element display and/or a camera recording an image from the display
WO2025043121A1 (en) * 2023-08-22 2025-02-27 H2Vr Holdco, Inc. Modulation of video display for human comfort during video image capture of the display
WO2026068869A1 (en) * 2024-09-30 2026-04-02 Von Braun Max Method for wirelessly synchronizing an image displaying device and compact image recording devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097191A (ja) 2006-10-10 2008-04-24 Fujifilm Corp 画像合成システム
WO2018138366A1 (en) 2017-01-27 2018-08-02 Lane Gmbh Method and system for transmitting alternative image content of a physical display to different viewers

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2305051B (en) 1995-09-08 2000-06-21 Orad Hi Tec Systems Ltd Method and apparatus for automatic electronic replacement of billboards in a video image
JPH09200722A (ja) * 1996-01-22 1997-07-31 Canon Inc 画像入力装置および方法
JPH09298693A (ja) * 1996-05-08 1997-11-18 Fuji Photo Film Co Ltd 電子スチルカメラの記録制御方法
US5917553A (en) * 1996-10-22 1999-06-29 Fox Sports Productions Inc. Method and apparatus for enhancing the broadcast of a live event
US20040194127A1 (en) * 2003-03-28 2004-09-30 Eastman Kodak Company Method and system for modifying digital cinema frame content
WO2005112476A1 (en) 2004-03-08 2005-11-24 Robert Gibson Multi-play theatre
SG119229A1 (en) * 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
KR101086403B1 (ko) * 2004-09-10 2011-11-25 삼성전자주식회사 디지털 촬영 장치의 제어 방법 및 이 방법을 채용한디지털 촬영 장치
GB2437575A (en) 2006-04-27 2007-10-31 Andrew Peter Phelan Audience-specific image display
US20110267439A1 (en) * 2010-04-30 2011-11-03 Chien-Chou Chen Display system for displaying multiple full-screen images and related method
GB2497118B (en) * 2011-12-01 2013-12-18 Sony Corp Image processing system and method
GB201204129D0 (en) * 2012-03-08 2012-04-25 Supponor Oy Apparatus and method for image content detection and image content replacement system
JP5808056B2 (ja) * 2012-08-03 2015-11-10 カシオ計算機株式会社 撮像装置、撮像制御プログラム、画像再生装置及び画像再生制御プログラム
US9852436B2 (en) * 2012-10-11 2017-12-26 Google Inc. Determining relative interest levels of tourists and locals in points of interest
US9264598B1 (en) * 2012-12-12 2016-02-16 Amazon Technologies, Inc. Collaborative image capturing
CN105191287B (zh) * 2013-03-08 2019-06-21 迪基特阿雷纳股份公司 替换视频流中的对象的方法及计算机程序
US10084966B2 (en) * 2016-12-21 2018-09-25 Red Hen Systems Llc Methods and apparatus for synchronizing multiple lens shutters using GPS pulse per second signaling
EP3355586A1 (en) * 2017-01-27 2018-08-01 LANE GmbH Method and system for transmitting alternative image content of a physical display to different viewers
US11025892B1 (en) * 2018-04-04 2021-06-01 James Andrew Aman System and method for simultaneously providing public and private images
EP3831049B1 (en) * 2018-07-27 2022-09-07 Appario Global Solutions (AGS) AG Method and system for dynamic image content replacement in a video stream
AU2019338669B2 (en) * 2018-09-13 2025-02-27 H2Vr Holdco, Inc. Method and device for synchronizing a digital photography camera with alternative image content shown on a physical display
US10992979B2 (en) * 2018-12-04 2021-04-27 International Business Machines Corporation Modification of electronic messaging spaces for enhanced presentation of content in a video broadcast
US20210144449A1 (en) * 2019-11-11 2021-05-13 José Antonio CRUZ MOYA Video processing and modification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097191A (ja) 2006-10-10 2008-04-24 Fujifilm Corp 画像合成システム
WO2018138366A1 (en) 2017-01-27 2018-08-02 Lane Gmbh Method and system for transmitting alternative image content of a physical display to different viewers

Also Published As

Publication number Publication date
ES2973534T3 (es) 2024-06-20
AU2019338669B2 (en) 2025-02-27
CN112689992B (zh) 2023-04-14
US20210321032A1 (en) 2021-10-14
WO2020053416A1 (en) 2020-03-19
JP2022500897A (ja) 2022-01-04
CA3111378C (en) 2024-02-27
EP3850825A1 (en) 2021-07-21
US11336813B2 (en) 2022-05-17
EP3850825C0 (en) 2024-02-28
AU2019338669A1 (en) 2021-04-01
CA3111378A1 (en) 2020-03-19
CN112689992A (zh) 2021-04-20
EP3850825B1 (en) 2024-02-28

Similar Documents

Publication Publication Date Title
JP7434288B2 (ja) デジタル写真用カメラと物理ディスプレイ上に示される代替画像コンテンツを同期させるための方法およびデバイス
US11825137B2 (en) Method and system for transmitting alternative image content of a physical display to different viewers
US11490137B2 (en) Method and system for transmitting alternative image content of a physical display to different viewers
US20090102957A1 (en) Method and means for varying the content of a display
KR20110025977A (ko) 삼차원 프리젠테이션 동안의 이차원 컨텐트의 디스플레이
US11997410B2 (en) Method for transferring at least one image content to at least one viewer
KR20150038147A (ko) 영상 생성 방법
EP3355586A1 (en) Method and system for transmitting alternative image content of a physical display to different viewers
KR20150088672A (ko) 자막의 선택 관람기능을 갖는 영상 관람시스템, 및 이를 이용한 영상 관람방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210428

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230810

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240207

R150 Certificate of patent or registration of utility model

Ref document number: 7434288

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150