JP7801232B2 - 器具追跡機械 - Google Patents

Description

本明細書に開示される主題は、包括的には、器具（例えば、外科器具（surgical instruments）又は他の道具）の監視を容易にする専用機械の技術分野と、そのような専用機械が、器具の監視を容易にする他の専用機械と比較して改良される技術とに関する。上記専用機械は、そのような専用機械のソフトウェアによって構成されるコンピュータ化された変形形態と、そのような変形形態の改良形態とを含む。

［関連出願データ］
本出願は、２０２０年１月３１日に出願された米国仮特許出願第６２／９６８，５３８号の利益を主張するものであり、その内容は、その全体を引用することにより本明細書の一部をなすものとする。

器具の集まり（例えば、外科道具の集まり）は、運搬機器（conveyance）（例えば、トレー又はカート）上に配置することができ、（例えば、患者に対して）行われる処置（例えば、外科処置等の医療処置）の遂行者（例えば、外科医）へと運ばれる。処置中に全ての器具が使用されるとは限らず（例えば、外科器具の３０％～８０％は使用されない）、どの器具が使用され、その結果、滅菌の時間、労力、及びコストをかけることに値するのか、及び、どの器具が使用されなかったのかを追跡することは有用である。処置中の使用又は非使用を問わず、全ての器具が処置後に存在し、揃っている（accounted）ことは大事である。例えば、医療処置中に外科器具を追跡することは、そのような器具が患者の体内に不注意で残されるリスクを制限又は削減することができる。

いくつかの実施形態が、限定ではなく例として添付図面の図に示される。

いくつかの例示の実施形態による、器具追跡機械を動作させるのに適したネットワーク環境を示すネットワーク図である。 いくつかの例示の実施形態による、器具追跡機械としての使用に適したデバイスの構成要素を示すブロック図である。 いくつかの例示の実施形態による、器具を追跡する方法を実行するときのデバイスの動作を示すフローチャートである。 いくつかの例示の実施形態による、器具を追跡する方法を実行するときのデバイスの動作を示すフローチャートである。 いくつかの例示の実施形態による、器具を追跡する別の方法を実行するときのデバイスの動作を示すフローチャートである。 いくつかの例示の実施形態による、器具を追跡する別の方法を実行するときのデバイスの動作を示すフローチャートである。 いくつかの例示の実施形態による、器具を示す画像であって、アプリによって構成されるデバイスが、器具を示すバウンディングボックスを追加した画像を示すスクリーンショットである。 いくつかの例示の実施形態による、器具を示す画像であって、アプリによって構成されるデバイスが、各画像について、個別に及び器具のタイプごとの双方による器具のカウントを追加した画像を示すスクリーンショットである。 いくつかの例示の実施形態による、器具を示す画像であって、アプリによって構成されるデバイスが、各画像について、個別に及び器具のタイプごとの双方による器具のカウントを追加した画像を示すスクリーンショットである。 いくつかの例示の実施形態による、器具を示す画像であって、アプリによって構成されるデバイスが、各画像について、個別に及び器具のタイプごとの双方による器具のカウントを追加した画像を示すスクリーンショットである。 機械可読媒体から命令を読み出し、本明細書に論述される方法論のうちの任意の１つ以上を実行することができる、いくつかの例示の実施形態による、機械の構成要素を示すブロック図である。

例示の方法（例えば、アルゴリズム）が、器具の検出、分類、識別、及び追跡又は器具の他の監視を容易にし、例示のシステム（例えば、専用ソフトウェアによって構成される専用機械）が、器具の検出、分類、識別、及び追跡又は器具の他の監視を容易にするように構成される。例は、可能な変形形態を代表するものにすぎない。別段の明示がない限り、構造体（例えば、モジュール等の構造的構成要素）は任意選択的なものであり、組み合わせることもできるし、細分することもでき、動作（例えば、手順、アルゴリズム、又は他の機能における動作）は、シーケンス内で変化する場合もあるし、組み合わされ又は細分される場合もある。以下の説明では、解説を目的として、非常に多くの具体的な詳細が、様々な例示の実施形態の十分な理解を提供するために述べられる。しかしながら、本主題はこれらの具体的な詳細がなくても実施することができることが当業者には明らかである。

器具の精密且つ正確な検出、分類、及び識別は、器具在庫の費用効果の高い管理の提供、健康及び安全性（例えば、医療処置を受けている患者の健康及び安全性）の提供、又はそれらの双方において価値のある目標となり得る。器具の使用情報は、病院管理が、例えば、使用される（例えば、特定の処置に使用される、特定の外科医によって使用される、又はそれらの双方で使用される）可能性の高い外科器具のみを含むように器具トレーを更新するのを助けることができる。そのような目的のために、機械（例えば、適したアプリ等の適したソフトウェアを用いて構成されたデバイス）は、器具追跡機械として機能し、処置（例えば、医療処置）の開始前及び開始後にキャプチャされた画像に基づいて、１つ以上の器具の器具検出、器具分類、器具識別、器具追跡、又はそれらの任意の適した組み合わせを行うように構成される。本明細書に使用されるように、「器具検出」は、指定されていないタイプ及び指定されていない同一性を有する器具が画像内のロケーションに示されていることを検出することを指し、「器具分類」は、検出された器具のタイプを識別、認識、又は別の方法で取得することを指し、「器具識別」は、同じタイプの他の個々の器具の同一性と対比して、特に、特定の個々の器具の同一性を識別、認識、又は別の方法で取得することを指す。

本機械は、例示の本明細書に論述される例示のシステム及び方法のうちの１つ以上に従って構成されると、（例えば、各タイプの器具のインスタンスをカウントするために）画像に示された各器具（例えば、はさみ又は鉗子）のタイプ（例えば、分類又はカテゴリ）を判断するように構成された器具分類器として機能することもできるし、特定の器具（例えば、以前の画像に事前に示された同じはさみ又は以前の画像に事前に示された同じ鉗子）等の特定の個々の物体を（例えば、検出、分類、又はそれらの双方とともに）識別するように構成された物体識別器として機能することもできるし、それらの双方として機能することもできる。外科器具の場合に、器具タイプの例として、把持器（例えば、鉗子）、クランプ（例えば、オクルダ（occluder））、持針器（例えば、把針器）、開創器、伸延器、カッタ、検鏡、サクションチップ、密封装置、スコープ、プローブ、及びキャリパがある。

ポータブル（例えば、モバイル）ハンドヘルドデバイス（例えば、アプリによって構成されるスマートフォン）、ポータブルカート設置型デバイス若しくはバックパック設置型デバイス、定置式機械（例えば、壁又は天井内等の病院手術室内に組み込まれた機械）、又はそれらの任意の適した組み合わせのいずれとして実施されるかを問わず、本機械は、したがって、異なるタイプの器具、異なる個々の器具のインスタンス（instance）、又はそれらの双方を区別することができる。外科器具の大きな集合体を伴う例示の状況では、本機械（例えば、器具分類器として機能する機械）は、いくつかの器具をリアルタイムでスキャンすることによってそれらの器具の対応するタイプを高速に見つける識別具として動作することができる。

在庫管理が重要である例示の状況では、本機械は、器具追跡機能を提供することができる。例えば、多くの病院内の手術室は、多くの場合に、患者の外科処置後に患者の体内に何らかの外科器具が残されることを防止するという課題に直面している。これは、残念なことに、病院の共通の問題である。この課題に対処し、そのような事故を回避するために、機械（例えば、物体識別器として機能する機械）を配備して、処置の開始前及び開始後（例えば、処置の開始前及び処置の完了後）に外科器具を識別し、個別に又はタイプごとにカウントし、処置の開始前に存在した全ての器具が患者の処置部を閉じる前に揃っているかを判断することができる。

本明細書に論述されるシステム及び方法の或る特定の例示の実施形態によれば、適切に構成された機械が、処置の開始前にキャプチャされた第１の画像にアクセスする。第１の画像は、処置に使用可能な器具の集合を示している。本機械は、処置の開始後（例えば、処置の途中、処置の完了直前、又は処置の完了後）にキャプチャされた第２の画像に更にアクセスする。第２の画像は、第１の画像に示された器具の集合の真部分集合（proper subset）を示している。これらの画像から、機械は、第１の画像に示された器具の集合の中の器具が第２の画像内の器具の集合の真部分集合の中に示されていないと判断する。そして、機械は、第１の画像に示されているが第２の画像に示されていない器具が器具の集合から欠けていることを示す通知を提示する。

本明細書に論述されるシステム及び方法のいくつかの例示の実施形態によれば、適切に構成された機械が、処置の開始前にキャプチャされた第１の画像にアクセスし、第１の画像は、処置に使用可能な器具の集合を示している。本機械は、処置の開始後（例えば、処置の途中、処置の完了直前、又は処置の完了後）にキャプチャされた第２の画像に更にアクセスし、第２の画像は、第１の画像に示された器具の集合の部分集合を示している。これらの画像から、機械は、第１の画像に示された器具の集合の中の器具が処置中に（例えば、処置を行うことの一部として）使用されたのか又は使用されなかったのかを第１の画像及び第２の画像に基づいて判断する。そして、機械は、器具が処置中に使用されたのか又は使用されなかったのかを示す通知を提示する。

図１は、いくつかの例示の実施形態による、器具追跡機械を動作させるのに適したネットワーク環境１００を示すネットワーク図である。ネットワーク環境１００は、データベース１１５と、デバイス１３０及び１５０（例えば、器具追跡機械の例として）とを含み、これらは全て、ネットワーク１９０を介して互いに通信可能に結合されている。データベース１１５は、クラウド１１８（例えば、単一のサーバとして機能するように構成された複数の機械の地理的に分散した集合）の全部又は一部を形成することができ、このクラウドは、ネットワークベースのシステム１０５（例えば、１つ以上のネットワークベースのサービスをデバイス１３０及び１５０に提供するように構成されたクラウドベースのサーバシステム）の全部又は一部を形成することができる。データベース１１５と、デバイス１３０及び１５０とはそれぞれ、図１１に関して以下で説明するように、全体又は一部を専用（例えば、特殊化された）コンピュータシステムに実装することができる。

図１には、ユーザ１３２及び１５２も示されている。ユーザ１３２及び１５２の一方又は双方は、人間のユーザ（例えば、看護師又は外科医等の人間）、機械のユーザ（例えば、デバイス１３０又は１５０とインタラクトするようにソフトウェアプログラムによって構成されたコンピュータ）、又はそれらの任意の適した組み合わせ（例えば、機械によって支援される人間又は人間によって管理される機械）とすることができる。ユーザ１３２は、デバイス１３０に関連付けられ、デバイス１３０のユーザとすることができる。例えば、デバイス１３０は、ユーザ１３２に属するデスクトップコンピュータ、車両コンピュータ、ホームメディアシステム（例えば、ホームシアタシステム又は他のホームエンタテイメントシステム）、タブレットコンピュータ、ナビゲーションデバイス、ポータブルメディアデバイス、スマートフォン、又はウェアラブルデバイス（例えば、スマートウォッチ、スマートグラス、スマートクロージング、又はスマートジュエリ）とすることができる。同様に、ユーザ１５２は、デバイス１５０に関連付けられ、デバイス１５０のユーザとすることができる。一例として、デバイス１５０は、ユーザ１５２に属するデスクトップコンピュータ、車両コンピュータ、ホームメディアシステム（例えば、ホームシアタシステム又は他のホームエンタテイメントシステム）、タブレットコンピュータ、ナビゲーションデバイス、ポータブルメディアデバイス、スマートフォン、又はウェアラブルデバイス（例えば、スマートウォッチ、スマートグラス、スマートクロージング、又はスマートジュエリ）とすることができる。

図１に示すシステム又は機械（例えば、データベース及びデバイス）のいずれかは、そのシステム又は機械（例えば、専用アプリケーション、オペレーティングシステム、ファームウェア、ミドルウェア、又は他のソフトウェアプログラムの１つ以上のソフトウェアモジュール等の専用ソフトウェアによって構成又はプログラミングされている）用の本明細書に説明される機能のうちの１つ以上を実行するように変更された専用の（例えば、特殊化された又はそれ以外の非従来的且つ非汎用的な）コンピュータとすることもできるし、そのようなコンピュータを含むこともできるし、別法として、そのようなコンピュータにおいて実施することもできる。例えば、本明細書に説明される方法論のうちの任意の１つ以上を実施することができる専用コンピュータシステムが、図１１に関して以下で論述され、そのような専用コンピュータは、したがって、本明細書に論述される方法論のうちの任意の１つ以上を実行する手段とすることができる。そのような専用コンピュータの技術分野内において、本明細書に論述される機能を実行するように本明細書に論述される構造体によって特別に変更された（例えば、専用ソフトウェアによって構成された）専用コンピュータは、本明細書に論述される構造体を欠いている他の専用コンピュータ又はそれ以外で本明細書に論述される機能を実行することができない他の専用コンピュータと比較して技術的に改良されている。したがって、本明細書に論述されるシステム及び方法に従って構成された専用機械は、同様の専用機械の技術の改良形態を提供する。

本明細書に使用されるように、「データベース」は、データ記憶リソースであり、様々な方法の任意のものであり、例えば、テキストファイル、表、スプレッドシート、リレーショナルデータベース（例えば、オブジェクトリレーショナルデータベース）、トリプルストア、階層データストア、ドキュメントデータベース、グラフデータベース、キー値ペア、又はそれらの任意の適した組み合わせとして構造化されたデータを記憶することができる。その上、図１に示すシステム又は機械のうちの任意の２つ以上は、単一のシステム又は機械に組み合わせることができ、任意の単一のシステム又は機械の本明細書に説明される機能は、複数のシステム又は機械間で細分することができる。

ネットワーク１９０は、システム、機械、データベース、及びデバイスの間（例えば、機械１１０とデバイス１３０との間）の通信を可能にする任意のネットワークとすることができる。したがって、ネットワーク１９０は、有線ネットワーク、無線ネットワーク（例えば、モバイルネットワーク又はセルラネットワーク）、又はそれらの任意の適した組み合わせとすることができる。ネットワーク１９０は、プライベートネットワーク、パブリックネットワーク（例えば、インターネット）、又はそれらの任意の適した組み合わせを構成する１つ以上の部分を含むことができる。したがって、ネットワーク１９０は、ローカルエリアネットワーク（ＬＡＮ：local area network）、ワイドエリアネットワーク（ＷＡＮ：wide area network）、インターネット、モバイル電話ネットワーク（例えば、セルラネットワーク）、有線電話ネットワーク（例えば、基本電話サービス（ＰＯＴＳ：plain old telephone service）ネットワーク）、無線データネットワーク（例えば、ＷｉＦｉネットワーク又はＷｉＭａｘネットワーク）、又はそれらの任意の適した組み合わせを組み込んだ１つ以上の部分を含むことができる。ネットワーク１９０の任意の１つ以上の部分は、伝送媒体を介して情報を通信することができる。本明細書において使用される「伝送媒体」は、機械（例えば、そのような機械の１つ以上のプロセッサ）による実行のための命令を通信（例えば、送信）することが可能な任意の無形の（例えば、一時的な）媒体を指し、デジタル通信信号若しくはアナログ通信信号又はそのようなソフトウェアの通信を容易にする他の無形の媒体を含む。

図２は、いくつかの例示の実施形態による、器具追跡機械として機能するように構成されたときのデバイス１３０の構成要素を示すブロック図である。デバイス１３０は、画像アクセス器２１０と、器具認識器２２０と、通知器２３０と、カメラ２４０と、深度センサ２５０とを含むものとして示され、これらの全ては、（例えば、バス、共有メモリ、又はスイッチを介して）互いに通信するように構成されている。画像アクセス器２１０は、１つ以上の画像にアクセスするアクセスモジュール又は同様に適したソフトウェアコードとすることもできるし、そのようなものを含むものとすることもできる。器具認識器２２０は、器具を（例えば、タイプによって又は特定の個々のインスタンスとして）認識する認識モジュール又は同様に適したソフトウェアコードとすることもできるし、そのようなものを含むものとすることもできる。通知器２３０は、通知を生成し、それらの通知を（例えば、デバイス１３０のディスプレイスクリーン上に、デバイス１３０のオーディオスピーカを介して、又はそれらの双方で）提示させる通知モジュール又は同様に適したソフトウェアコードとすることもできるし、そのようなものを含むものとすることもできる。

カメラ２４０は、１つ以上の画像（例えば、デジタル写真）をキャプチャするように構成された画像キャプチャ構成要素とすることもできるし、そのようなものを含むものとすることもでき、キャプチャされた画像は、光データ（例えば、ＲＧＢデータ又は別の色空間における光データ）、赤外線データ、紫外線データ、超音波データ、レーダデータ、又はそれらの任意の適した組み合わせを含むこともできるし、それらを視覚化することもできる。様々な例示の実施形態によれば、カメラ２４０は、携帯電話の背面にあるもの、ディスプレイスクリーンを含む設置されたデバイスの前面にあるもの、外科トレー、スクラブ技術者のテーブル（例えば、手術室内にある）、若しくはアセンブリワークステーション（例えば、器具サプライヤのアセンブリルーム内にある）に取り付けられてそれらに向けられた１つ以上のカメラの集合、又はそれらの任意の適した組み合わせとすることができる。カメラの集合又はデバイス１３０は、トレー、表面、又はテーブルを（例えば、立体視的に）撮像している複数のカメラからのデータを融合させるようにアプリ２００によって構成することができる。いくつかの状況では、デバイス１３０は、本明細書の他の箇所で論述されるように、動いている間にキャプチャされた複数の画像に処理前に（例えば、画像スティッチングを介して）アクセスするか、ストラクチャフロムモーション（structure-from-motion）アルゴリズムを適用するか、又はそれらの双方を行って、器具検出、器具分類、器具識別、又はそれらの任意の適した組み合わせをサポート又は強化するようにアプリ２００によって構成される。

深度センサ２５０は、赤外線センサ、レーダセンサ、超音波センサ、光センサ、タイム・オブ・フライトカメラ（a time-of-flight camera）、構造化光スキャナ、又はそれらの任意の適した組み合わせとすることもできるし、そのようなものを含むものとすることもできる。したがって、深度センサ２５０は、深度センサ２５０の範囲内（例えば、視野又は検出領域の範囲内）の１つ以上の物体（例えば、器具）に対応する（例えば、１つ以上の物体までの距離を表す）深度データを生成するように構成することができる。

図２に示すように、画像アクセス器２１０、器具認識器２２０、通知器２３０、又はそれらの任意の適した組み合わせは、アプリ２００（例えば、モバイルアプリ）の全部又は一部を形成することができる。アプリ２００は、（例えば、データがデバイス１３０からネットワーク１９０を介して受信されたことに応じて又はそれ以外でその受信の結果として）デバイス１３０に記憶（例えば、インストール）され、デバイス１３０上で実行可能である。さらに、１つ以上のプロセッサ２９９（例えば、ハードウェアプロセッサ、デジタルプロセッサ、又はそれらの任意の適した組み合わせ）は、アプリ２００、画像アクセス器２１０、器具認識器２２０、通知器２３０、又はそれらの任意の適した組み合わせを（例えば、一時的又は永続的に）含むことができる。

本明細書に説明される構成要素（例えば、モジュール）のうちの任意の１つ以上は、ハードウェアのみ（例えば、プロセッサ２９９のうちの１つ以上）を使用して実施することもできるし、ハードウェア及びソフトウェアの組み合わせを使用して実施することもできる。例えば、本明細書に説明される任意の構成要素は、本明細書に説明されるその構成要素の動作を実行するように構成されたプロセッサ２９９のうちの１つ以上（例えば、プロセッサ２９９の部分集合）の装置を物理的に含むことができる。別の例として、本明細書に説明される任意の構成要素は、本明細書に説明されるその構成要素の動作を実行するようにプロセッサ２９９のうちの１つ以上の装置を構成するソフトウェア、ハードウェア、又はそれらの双方を含むことができる。したがって、本明細書に説明される異なる構成要素は、異なる時点においてプロセッサ２９９の異なる装置を含み、異なる装置を構成することもできるし、異なる時点においてプロセッサ２９９の単一の装置を含み、単一の装置を構成することもできる。本明細書に説明される各構成要素（例えば、モジュール）は、本明細書に説明されるその構成要素の動作を実行する手段の一例である。その上、本明細書に説明される任意の２つ以上の構成要素は、単一の構成要素に組み合わせることができ、単一の構成要素として本明細書に説明される機能は、複数の構成要素間に細分することができる。さらに、様々な例示の実施形態によれば、単一のシステム又は機械（例えば、単一のデバイス）内で実施されるものとして本明細書に説明される構成要素は、複数のシステム又は機械（例えば、複数のデバイス）にわたって分散させることができる。

図３及び図４は、いくつかの例示の実施形態による、器具を追跡する方法３００を実行するときのデバイス１３０の動作を示すフローチャートである。方法３００の動作は、図２に関して上述した構成要素（例えば、モジュール）、１つ以上のプロセッサ（例えば、マイクロプロセッサ又は他のハードウェアプロセッサ）、又はそれらの任意の適した組み合わせを使用して、デバイス１３０によって実行することができる。図３に示すように、方法３００は、動作３１０、３２０、３３０、及び３４０を含む。

動作３１０において、画像アクセス器２１０は、処置の開始前にキャプチャされた第１の画像にアクセスする（例えば、第１の画像の受信、取り出し、読み出し、又は別の方法での取得を行う）。第１の画像は、処置を行うときに使用可能な器具の集合（例えば、器具の基準集合）を示す。例えば、第１の画像は、デバイス１３０のカメラ２４０によって（例えば、外科器具の集合が外科医によって行われる外科処置に備えて配置された外科トレーのデジタル写真を撮影することによって）キャプチャすることができる。いくつかの例示の実施形態において、第１の画像は、画像アクセス器２１０によってデータベース１１５からネットワーク１９０を介してアクセスされる。１つ以上の基準マーカも第１の画像に示すことができ、そのような基準マーカは、動作３３０において実行される器具分類、器具識別、又はそれらの双方の有効性を高める基礎となることができる。

動作３２０において、画像アクセス器２１０は、処置の開始後（例えば、処置の途中、処置の完了直前、又は処置の完了後）にキャプチャされた第２の画像にアクセスする。第２の画像は、第１の画像に示された器具の集合の真部分集合（例えば、一部分）を示す。例えば、第２の画像は、デバイス１３０のカメラ２４０によって（例えば、外科処置の開始後であって、外科処置が行われている患者の処置部を外科医が閉じる前に、第１の画像に示された器具の集合の一部分が配置された外科トレーのデジタル写真を撮影することによって）キャプチャすることができる。いくつかの例示の実施形態において、第２の画像は、画像アクセス器２１０によってデータベース１１５からネットワーク１９０を介してアクセスされる。１つ以上の基準マーカも第２の画像に示すことができ、そのような基準マーカは、動作３３０において実行される器具分類、器具識別、又はそれらの双方の有効性を高める基礎となることができる。

動作３３０において、器具認識器２２０は、第１の画像に示された器具の集合の中の器具が第２の画像における器具の集合の真部分集合の中に示されていないと判断する。いくつかの例示の実施形態によれば、器具認識器２２０は、器具分類を行って、或る特定のタイプの器具の不特定のインスタンスが第２の画像から欠けていると判断する（例えば、第１の画像には７つの鉗子が示されている一方、第２の画像には６つの鉗子しか示されていないので、７つの鉗子のうちの１つが欠けていると判断する）。或る特定の例示の実施形態によれば、器具認識器２２０は、器具識別を行って、特定の個々の器具が第２の画像から欠けていると判断する（例えば、第１の画像には特定のはさみが示されているが、第２の画像には示されていないと判断する）。ハイブリッドな例示の実施形態において、器具認識器２２０は、器具識別及び器具分類の双方を行う。個々の器具のカウントを最小信頼閾値で行うことができないとき等の更なる例示の実施形態において、器具認識器２２０は、集約型の器具検出及び集約型の器具分類を行って、共有タイプを有する器具の集合体（例えば、クランプのスタック）が、体積、面積、高さ、又はサイズの他の指標において第１の画像から第２の画像に変化している（例えば、減少している）と判断する。

器具分類を行うために、器具認識器２２０は、例えば、リアルタイムコンピュータビジョン技法を使用して、画像（例えば、器具トレー内に配置された外科器具を示す画像）に示された器具を検出及び分類するようにトレーニングされた器具分類器の形態の人工知能モジュール（例えば、１つ以上のコンピュータビジョンアルゴリズムを実施するようにトレーニングされた人工知能機械学習モジュール）とすることもできるし、そのような人工知能モジュールを含むものとすることもできる。器具分類器は、いくつかの畳み込み層を有するニューラルネットワーク等のディープ畳み込みニューラルネットワークとすることもできるし、そのようなディープ畳み込みニューラルネットワークを含むものとすることもできる。ディープ畳み込みニューラルネットワークは、活性化層（例えば、Ｓｏｆｔｍａｘ活性化層）を上部に有することができ、Ｎ個の異なるタイプ（例えば、カテゴリ）の器具の確率を予測するＮ個の出力が存在し得る。したがって、示された器具の予測タイプとして最も高い確率に対応する器具タイプを器具分類器によって選択することができる。

いくつかの例示の実施形態において、器具認識器２２０内の器具分類器は、増加するフィルタサイズに伴って複数の畳み込み層を有する分類トレーニングモデルに基づいて（例えば、トレーナ機械によって）トレーニングされる。例えば、８個から３２個に増加するフィルタサイズに伴って４つの畳み込み層が、それらの活性化機能として変更されたラーニングユニットとともに存在する場合がある。これらの畳み込み層の後には、バッチ正規化層、プーリング層、又はそれらの双方が続くことができる。したがって、全結合層は、Ｓｏｆｔｍａｘ活性化とともに、トレーニングセットにおける器具の１４個のタイプ（例えば、カテゴリ）を表す１４個のノードを含むことができる。分類トレーニングモデルは、適応学習率最適化アルゴリズム（例えば、Ａｄａｍ）を使用することができ、損失関数として多クラス交差エントロピーを使用することができる。

或る特定の例示の実施形態によれば、トレーニングセットは、器具の基準集合を示す基準画像を（例えば、排他的に又は非排他的に）含むことができ、そのような基準集合は、特定の処置、外科医、病院、器具サプライヤ、地理的領域、又はそれらの任意の適した組み合わせ向けにカスタマイズすることができる。その上、トレーニングセットは、多様な照明条件下でキャプチャされた基準画像、対応する３次元データ（例えば、示された器具の深度データ又はモデル）を有する基準画像、基準運搬機器（例えば、空である場合もあるし、器具で満たされている場合もある基準トレー）の基準画像、背景アイテム（例えば、タオル、ドレープ、床面、又はテーブル面）の基準画像、又はそれらの任意の適した組み合わせを含むことができる。

器具識別を行うために、器具認識器２２０は、所与の画像内の対象となる物体を位置特定するとともに、（例えば、位置特定された器具の周囲にバウンディングボックスを描き、バウンディングボックス内部の内容を解析することによって）識別するようにトレーニングされた物体識別器の形態の人工知能モジュールとすることもできるし、そのような人工知能モジュールを含むものとすることもできる。例えば、この物体識別器は、特徴抽出器としてインセプションＶ２（inception-V2）を有するシングルショット検出器（ＳＳＤ：single shot detector）とすることもできるし、そのようなシングルショット検出器を含むものとすることもできる。ただし、正確度と推論時間との間のトレードオフをバランスさせるために、ニューラルネットワークアーキテクチャの他の変形形態が、物体の検出、分類、又は識別に適している場合があるだけでなく、他のクラスのニューラルネットワークが適している場合もある。一例示のトレーニングデータセットは、器具についてＮ（例えば、Ｎ＝１０）個の異なるタイプ（例えば、カテゴリ）と、数百個～数千個の画像（例えば、２２７画像又は５０００画像）とを含むことができる。物体識別器は、Ｐａｓｃａｌ ＶＯＣメトリクスを使用してバウンディングボックスメトリクスを評価することができる。

或る特定の例示の実施形態において、器具認識器２２０内の物体識別器は、（例えば、過度に小さなデータセットを使用することに伴う問題を回避するために）大きな合成データセットを使用してトレーニングされる。一例示のトレーニング手順は、トレーナ機械（例えば、レンダラ機械を制御するか又はレンダラ機械として機能する）が３次元（３Ｄ）シーンを物理的にシミュレーションするとともに既知のカメラのパラメータをシミュレーションすることによって開始する。次に、トレーナ機械は、３Ｄ物体をシーン内にランダムに配置（例えば、３Ｄ器具を３Ｄトレー上にランダムに配置）し、物体遮蔽、照明、陰影等の様々なファクタに基づいてシーンをレンダリングする。そして、トレーナ機械は、シーン内のレンダリングされた３Ｄ物体の画像を人工的にキャプチャする。システムは、このシミュレーションにおける３Ｄ物体のロケーション、向き又は姿勢、照明、カメラロケーション、及び３Ｄ物体の数を（例えば、ドメインランダム化を介して）ランダムに変更し、大きく且つ多様な画像の合成データセットを自動的に生成する。対応する適切なデータラベル（例えばバウンディングボックス及びセグメンテーションマスク）をシミュレーション中にトレーナ機械によって自動的に生成することができ、それによって、ラベリングコストが削減される。

いくつかの例示の実施形態によれば、トレーナ機械は、器具認識器２２０内の物体識別器を次のようにトレーニングする。先ず、トレーナ機械は、外科器具を示す画像の合成生成されたデータセットを使用して物体識別器を事前トレーニングする（例えば、物体識別器によって実施される物体識別モデルをトレーニングする）。この合成データセットを用いた事前トレーニング後に、トレーナ機械は、特定のタイプの外科器具を示す画像の小さな現実（例えば、非合成）のデータセットに基づいて物体識別器を（例えば、更にトレーニングすることによって）変更する。この小さな現実のデータセットは、人間が精選（human-curated）することができる。或る特定の例示の実施形態において、トレーナ機械の適した代替機械が物体識別器のトレーニングを行う。

ステップ１：合成外科器具データセットを生成するために、トレーナ機械は、１つ以上のレンダリングアプリケーション（例えば、Ｂｌｅｎｄｅｒ（商標）又はＵｎｒｅａｌ Ｇａｍｉｎｇ Ｅｎｇｉｎｅ（商標））を開始又は別の方法で起動することができる。合成画像をレンダリングするために、トレーナ機械は、以下の例示の入力にアクセスすることができる。
１．種々の外科器具の３Ｄモデル（例えば、コンピュータ支援設計（ＣＡＤ：computer-aided design）モデル）、
２．外科器具の表面テキスチャ情報、
３．明度範囲又は分光組成変動範囲等の（例えば、病院の手術室をシミュレーションする）照明を定義するパラメータの範囲、
４．特定の角度から画像をキャプチャするための、外科器具が配置される外科トレーに対する可能なカメラロケーション（例えば、方位角、仰角、パン、傾斜等）の範囲、並びに
５．レンダリングされる器具の数及びタイプ。

或る特定の例示の実施形態において、トレーナ機械は、ランダムな数の仮想外科器具を仮想外科トレー上に任意の向き及び位置で人工的に配置する。トレーナ機械は、次に、無遮蔽から著しい遮蔽の範囲の種々の量の遮蔽を示す合成画像を生成する。合成データセットにおける遮蔽の量は、このシミュレーション中におけるカスタマイズされたパラメータとすることができる。

ステップ２：トレーナ機械は、ステップ１においてトレーニングデータセットとして生成された合成外科器具データセットを使用することによって物体識別器をトレーニングする。

ステップ３：トレーナ機械は、現実の外科トレー上に自然に配置された現実の外科器具を示すリアル画像の小さなデータセットに（例えば、データベース１１５から）アクセスする。リアル画像のデータセットは、合成画像の使用とリアル画像の使用との間（例えば、多数の合成画像のみを用いた物体識別器のトレーニングと少数のリアル画像のみを用いた物体識別器のトレーニングとの間）の相違を埋めることを助ける。

いくつかの実施態様では、器具の運搬機器（例えば、外科トレー）又は器具自体の１つ以上の基準マーカを使用して、器具検出、器具分類、器具識別、又はそれらの任意の適した組み合わせを援助することができる。例えば、運搬機器が特殊化された整形外科トレーである場合に、器具認識器２２０は、器具が置かれていない空の整形外科トレーを示すテンプレート画像（例えば、マスク画像）にアクセスすることができ、その後、第１の画像からテンプレート画像を差し引いて、処置の開始前の個々の器具をより明確に示す第１の差分画像（例えば、第１のセグメンテーション画像）を得ることができる。同様に、器具認識器２２０は、テンプレート画像を第２の画像から差し引いて、処置の開始後（例えば、処置の終了時又は終了近く）の個々の器具をより明確に示す第２の差分画像（例えば、第２のセグメンテーション画像）を得ることができる。第１の差分画像及び第２の差分画像は、動作３４０又は器具検出、器具分類、器具識別、若しくはそれらの任意の適した組み合わせの代替の実施に備えて、器具認識器２２０によって準備することができる。この意味で、整形外科トレーは、第１の画像、第２の画像、又はそれらの双方における基準マーカとしての機能を果たす。

或る特定の例示の実施形態において、複数の独立した分類器（例えば、ディープラーニング分類器、差分画像分類器、又はそれらの任意の適した組み合わせ）の出力が組み合わされて、器具の所与の運搬機器（例えば、トレー）に対して器具分類、器具識別、又はそれらの双方を行う際の正確度、精度、又はそれらの双方が改善される。具体的には、独立したアルゴリズムが、（１）トレーが完全であるのか又は不完全であるのか、（２）トレーの複数の所定のテンプレート領域の中の各所定のテンプレート領域が満たされているのか又は満たされていないのか、及び（３）トレー上で検出された各物体の分類が何であるのか（例えば、分類が器具であるか、及び器具である場合には、どのタイプの器具であるのか）を示す対応する確率を求めて出力することができる。これらの３つの独立したアルゴリズムの結合体は、トレーが確かに完全であるか、及びそうでない場合には、どの器具が欠けている可能性があるのかをよりよく表すことができる。

動作３４０において、通知器２３０は、第２の画像に示されていない器具が器具の集合から欠けていることを示す通知を（例えば、視覚、聴覚、又はそれらの双方によって）提示する。この通知の提示は、例示の形態として、ポップアップウィンドウの表示、警告音の再生、別のデバイス（例えば、看護師又は外科医のスマートフォン）へのメッセージの送信、器具が欠けているとみなされることに対応する所定の処置のトリガ（例えば、器具を見つけ出す処置又は患者をチェックする処置）、又はそれらの任意の適した組み合わせの形態を取ることができる。

様々な例示の実施形態によれば、提示された通知は、特定の器具が欠けているかを示す。代替的に、又は加えて、提示された通知は、第１の画像に示された器具の集合の運搬機器（例えば、トレー又はカート）が（例えば、器具の標準的な外科トレー、器具のクロージングトレー、又は器具の整形外科トレー等の器具の基準集合と比較して）完全であるのか又は不完全であるのかを示すことができる。代替的に、又は加えて、提示された通知は、第１の画像に示された器具の集合内の各器具を列挙した標準化された報告を、その器具が使用されたか否か、その器具がいつピックアップされたか（例えば、タイムスタンプとして）、その器具が（例えば、スクラブ技術者又は運搬機器に）いつ戻されたか、患者の体内でのその器具の滞留時間、その器具がこれまで取り出されたか若しくはまだ残されているか、又はそれらの任意の適した組み合わせの対応するインジケータ（例えば、マーカ又はフラグ）とともに含むことができる。いくつかの例示の実施形態において、提示された通知は、欠けている器具の総数、欠けている器具のリスト（例えば、タイプによって、特定の個々の器具として、又はそれらの双方で表される）、又はそれらの任意の適した組み合わせを含む。

さらに、存在する器具又は存在しない器具の提示された総数を確認又は訂正するようにユーザ１３２を促し、ユーザ１３２の応答が、器具認識器２２０内の１つ以上の人工知能モジュールを更にトレーニングして改良するラベルとして使用されるように、ユーザフィードバック機能をアプリ２００によって実施することができる。いくつかの例示の実施形態において、アプリ２００は、より多くのユーザインタラクションを用いて動作することができ、提示された通知に含まれる情報の一部又は全部を（例えば、手動で、視覚的に、又はそれらの双方で）確認するようにユーザ１３２を促すことができる。

図４に示すように、方法３００について前述した動作のうちの任意の１つ以上に加えて、方法３００は、動作４１０、４１２、４２２、４３０、４３１、４３４、４３５、４３６、及び４３７のうちの１つ以上を含むことができる。

動作４１０は、画像アクセス器２１０が第１の画像にアクセスする動作３１０の一部（例えば、先行のタスク、サブルーチン、又は一部分）として実行することができる。動作４１０において、第１の画像は、（例えば、処置について指定されることによって）処置に対応するか、（例えば、遂行者によって指定されることによって）処置の遂行者（例えば、外科医）に対応するか、又はそれらの双方に対応する器具の基準集合（例えば、標準化された器具の集合）を示す基準画像であり、この基準画像は、その処置への対応、処置の遂行者への対応、又はそれらの双方への対応に基づいて（例えば、その対応に応じて）アクセスされる。

代替の例示の実施形態において、動作４１２は、動作３１０の一部として実行することができる。動作４１２において、第１の画像は、フレームのシーケンス（例えば、ビデオの第１のフレームの第１のシーケンス）をキャプチャすることの一部として第１の画像をキャプチャすることによってアクセスされる。例えば、画像アクセス器２１０は、デバイス１３０が器具の集合上を移動している（例えば、器具の集合を収容する外科トレー上を通過している）間、カメラ２４０からのビデオデータにアクセスし、第１の画像であるビデオフレームのシーケンスを録画することができる。そのような例示の実施形態において、アプリ２００は、第１の画像を含むビデオフレームのシーケンスから深度データを推論するように構成された立体視アルゴリズム（例えば、ストラクチャフロムモーションアルゴリズム）を含み、実行することができ、この深度データは、器具が欠けているとの動作３３０における判断の際の基礎又は他のファクタとすることができる。

同様に、或る特定の例示の実施形態において、動作４２２は、画像アクセス器２１０が第２の画像にアクセスする動作３２０の一部として実行することができる。動作４２２において、第２の画像は、フレームのシーケンス（例えば、ビデオの第２のフレームの第２のシーケンス）をキャプチャすることの一部として第２の画像をキャプチャすることによってアクセスされる。例えば、画像アクセス器２１０は、デバイス１３０が器具の集合の一部分上を移動している（例えば、器具の集合の一部分を収容する外科トレー上を通過している）間、カメラ２４０からのビデオデータにアクセスし、第２の画像であるビデオフレームのシーケンスを録画することができる。そのような例示の実施形態において、アプリ２００は、第２の画像を含むビデオフレームのシーケンスから深度データを推論するように構成された立体視アルゴリズムを含み、実行することができ、この深度データは、器具が欠けているとの動作３３０における判断の際の基礎又は他のファクタとすることができる。

図４に示すように、動作４３０及び４３１は、第１の画像に示された器具の集合の中の器具が第２の画像内の器具の集合の真部分集合中に示されていないと器具認識器２２０が判断する動作３３０の一部として実行することができる。

動作４３０において、器具認識器２２０は、第１の画像内の器具の形状を（例えば、深度データからの補足サポートを受けて又は受けずに、光学的に）認識する。例えば、上述したように、器具認識器２２０は、器具分類器、物体識別器、又はそれらの双方の組み合わせとすることもできるし、それらを含むものとすることもでき、器具認識器２２０は、したがって、器具を第１の画像に示されたようなその形状によって検出（例えば、識別）及び分類するようにトレーニングを受けることができる。

動作４３１において、器具認識器２２０は、第２の画像内の器具の形状を（例えば、深度データからの補足サポートを受けて又は受けずに、光学的に）認識しようと試みるが、認識することができない。例えば、上述したように、器具認識器２２０は、器具分類器、物体識別器、又はそれらの双方の組み合わせとすることもできるし、それらを含むものとすることもでき、器具認識器２２０は、したがって、器具を第２の画像に示されたようなその形状によって検出（例えば、識別）及び分類するようにトレーニングを受けることができる。しかしながら、その器具が第２の画像に示されていないので、器具認識器２２０は、この器具の検出又は分類に失敗する。

図４に示すように、動作４３４及び４３５は、第１の画像に示された器具の集合の中の器具が第２の画像内の器具の集合の真部分集合の中に示されていないと器具認識器２２０が判断する動作３３０の一部として実行することができる。

動作４３４において、器具認識器２２０は、器具の基準モデルにアクセスする。この基準モデルは、３次元とすることができ、データベース１１５からアクセスすることができる。例えば、動作４３０が実行された場合に、器具認識器２２０は、動作４３０においてその形状による器具の識別に基づいて（例えば、識別に応じて）器具の基準モデルにアクセスすることができる。

動作４３５において、器具認識器２２０は、第２の画像において、器具の基準モデル（例えば、動作４３４においてアクセスされたもの）の複数のシルエットのそれぞれを（例えば、深度データからの補足サポートを受けて又は受けずに、光学的に）認識しようと試みるが、認識することができない。例えば、器具認識器２２０は、基準モデルからシルエットの集合を生成することができ、このシルエットの集合内の各シルエットを、第２の画像に示されたような器具の集合の真部分集合内の器具の形状と比較することができる。しかしながら、その器具は第２の画像に示されていないので、器具認識器２２０は、第２の画像内の器具の基準モデルのシルエットのいずれの認識にも失敗する。

図４に示すように、動作４３６及び４３７は、第１の画像に示された器具の集合の中の器具が第２の画像内の器具の集合の真部分集合の中に示されていないと器具認識器２２０が判断する動作３３０の一部として実行することができる。

動作４３６において、器具認識器２２０は、第２の画像に示された器具の集合の真部分集合の現在の形状を表す深度データにアクセスする。例えば、深度データは、デバイス１３０の深度センサ２５０によってキャプチャすることができ、器具認識器２２０は、深度センサ２５０からの深度データにアクセスすることができる。

動作４３７において、器具認識器２２０は、器具の基準形状を、器具の集合の真部分集合の現在の形状のそれぞれと比較する。上述したように、現在の形状は、動作４３６においてアクセスされた深度データによって表すことができる。動作４３４が事前に実行され、器具の基準形状を表す基準モデルがアクセスされていた場合には、動作４３７において、同じ基準形状を、ここで行われる比較に使用することができる。他の例示の実施形態において、動作４３７は、（例えば、動作４３４について上述したのと同様の方法での）器具の基準形状のアクセス又は別の方法での取得を含む。

図５及び図６は、いくつかの例示の実施形態による、器具を追跡する方法５００を実行するときのデバイス１３０の動作を示すフローチャートである。方法５００における動作は、図２に関して上述した構成要素（例えば、モジュール）、１つ以上のプロセッサ（例えば、マイクロプロセッサ又は他のハードウェアプロセッサ）、又はそれらの任意の適した組み合わせを使用して、デバイス１３０によって実行することができる。図５に示すように、方法５００は、動作５１０、５２０、５３０、及び５４０を含む。

動作５１０において、画像アクセス器２１０は、処置の開始前にキャプチャされた第１の画像にアクセスする（例えば、第１の画像の受信、取り出し、読み出し、又は別の方法での取得を行う）。第１の画像は、処置を行うときに使用可能な器具の集合を示す。例えば、第１の画像は、デバイス１３０のカメラ２４０によって（例えば、外科器具の集合が外科医によって行われる外科処置に備えて配置された外科トレーのデジタル写真を撮影することによって）キャプチャすることができる。いくつかの例示の実施形態において、第１の画像は、画像アクセス器２１０によってデータベース１１５からネットワーク１９０を介してアクセスされる。１つ以上の基準マーカも第１の画像に示すことができ、そのような基準マーカは、動作５３０において実行される器具識別の有効性を高める基礎となることができる。様々な例示の実施形態において、動作５１０は、上述したような方法３００における動作３１０と同様に実行される。

動作５２０において、画像アクセス器２１０は、処置の開始後にキャプチャされた第２の画像にアクセスする。第２の画像は、第１の画像に示された器具の集合の部分集合（例えば、一部分）を示す。この部分集合は、器具の集合の真部分集合（例えば、一部分）又は器具の全体集合と一致する部分集合とすることができる。すなわち、第２の画像に欠けている器具がない場合がある。例えば、第２の画像は、デバイス１３０のカメラ２４０によって（例えば、外科処置の開始後であって、外科処置が行われている患者の処置部を外科医が閉じる前に、第１の画像に示された器具の集合の一部分が配置された外科トレーのデジタル写真を撮影することによって）キャプチャすることができる。いくつかの例示の実施形態において、第２の画像は、画像アクセス器２１０によってデータベース１１５からネットワーク１９０を介してアクセスされる。１つ以上の基準マーカも第２の画像に示すことができ、そのような基準マーカは、動作５３０において実行される器具識別の有効性を高める基礎となることができる。

動作５３０において、器具認識器２２０は、第１の画像に示された器具の集合の中の器具が処置において使用されたのか又は使用されなかったのかを第１の画像及び第２の画像に基づいて判断する。いくつかの例示の実施形態によれば、器具認識器２２０は、器具識別を行って、特定の個々の器具が双方の画像に存在していると判断するが、１つ以上の光学的に検出可能な使用の表示を示す。そのような表示は、例えば、第１の画像における運搬機器（例えば、外科トレー）内の第１のロケーションから第２の画像における運搬機器内の第２のロケーションへの移動、第１の画像にバイオバーデン（例えば、血液等の患者流体の１つ以上のスポット）が存在しない状態から第２の画像にバイオバーデンが存在する状態への外観の変化、又はそれらの任意の適した組み合わせを含む。器具識別を（例えば、物体識別器を介して）行うときに器具認識器２２０によって使用されるアルゴリズムの例示の詳細と、器具認識器２２０（例えば、物体識別器）のトレーニングの例示の詳細とを、（例えば、方法３００における動作３３０に関して）上記に論述している。例えば、１つ以上の基準マーカを第１の画像、第２の画像、又はそれらの双方に上述したものと同様にして使用することができる。

動作５４０において、通知器２３０は、器具が処置において使用されたのか又は使用されなかったのかを示す通知を（例えば、視覚、聴覚、又はそれらの双方によって）提示する。通知の提示は、例示の形態として、ポップアップウィンドウの表示、警告音の再生、別のデバイス（例えば、看護師、外科医、用務員、又は在庫管理者のスマートフォン）へのメッセージの送信、器具について判断された使用済み状態又は未使用状態に対応する所定の処置のトリガ（例えば、使用済み器具カウント処置、未使用器具カウント処置、又は、又は器具滅菌処置）、又はそれらの任意の適した組み合わせの形態を取ることができる。

さらに、或る特定の例示の実施形態において、動作５１０及び５３０は、動作５２０及び５４０の一方又は双方を伴わずに実行することができ、それによって、第１の画像に示された器具の直接の分類、識別、又はそれらの双方が行われ、その結果、分類、識別、若しくはそれらの双方が行われた器具のカウント、器具のタイプ、器具の名称、器具の基準画像、又はそれらの任意の適した組み合わせを示す通知が提示される。そのような例示の実施形態は、新人のスクラブ技術者又は新人の外科医が器具の呼称が何であるのかを想起できない又は知らない状況において役立つ場合がある。機械によって器具を素早く分類又は識別するために、新人のスクラブ技術者又は新人の外科医は、デバイス１３０のカメラ２４０の前方に器具を保持することができ、アプリ２００は、（例えば、動作３３０に関して上述したように、器具分類、器具識別、又はそれらの双方を実行することによって）コンピュータビジョン及びディープラーニングを使用して、回答を得ることができる。この回答には、回答の信頼レベルを示す尤度スコアを設けることができる。これらの例示の実施形態のうちのいくつかは、カメラ（例えば、カメラ２４０）がテーブルを撮像するように位置決めされ、器具トレーアセンブラが器具をテーブル上に配置し、デバイス（例えば、本明細書に説明されるようなデバイス１３０）が器具をスキャンし、スキャンされた器具に対して自動分類、自動識別、又はそれらの双方を行う設置されたサプライチェーンセッティングに位置している。

またさらに、様々な例示の実施形態において、サプライチェーン効率の改善が、１つ以上の極めて手動式のプロセス（例えば、器具が新たなトレーに手動で追加されたときに、標準化された電子チェックリストをチェックすること）を、本明細書に論述されるシステム及び方法に基づいて自動化チェックリストに置き換えることによって得られるように、動作５１０及び５３０は、動作５２０及び５４０の一方又は双方を伴わずに実行することができる。そのような例示の実施形態において、トレーアセンブラは、器具を掴み、（例えば、多くのモダリティのうちの１つ以上を使用して）器具を撮像することができ、デバイス（例えば、デバイス１３０）は、（例えば、新たなトレーに追加される器具を列挙した）アセンブリシート上でその器具に自動的にチェック印を入れる。

さらにまた、いくつかの例示の実施形態において、例えば、各器具がトレーから取り出されたか又はいつ取り出されたのかと、取り出された各器具がトレーに戻されたか又はいつ戻されたのかと、取り出された各器具が使用済みに見えるのか又は未使用に見えるのかとを追跡するために、視覚的記録が生成されるように、動作５１０及び５３０は、繰り返し実行される。そのような視覚的記録の全部又は一部は、（例えば、処置を受けている患者に対応する）電子医療記録に含めるために（例えば、デバイス１３０によってデータベース１１５に）提供することができる。

その上、本明細書に論述される器具の自動分類又は自動識別は、病院手術室に見られる他の任意の消耗アイテムについて及び他のセッティングに向けても同様の利点を提供するために、トレー上の器具を越えて拡張することができる。例えば、投薬カート内の薬剤を、（例えば、オピオイド等の規制物質が外科処置中に誤用又は紛失されないことを確保するために）トレー上の器具について本明細書に説明されるのと同様の方法で追跡することができる。したがって、いくつかの例示の実施形態において、アプリ（例えば、アプリ２００）によって構成されたデバイス（例えば、デバイス１３０）によって薬剤をスキャンすることができ、各薬剤が麻酔専門医によって使用されるとき、デバイスは、医薬カートの視覚的記録の全部又は一部を示す通知を提示することができる。視覚的記録は、各薬剤（例えば、各規制物質）がどのように投与されたのか又は別の方法で使用されたのかを、投与又は他の使用の対応するタイムスタンプとともに示すことができる。

図６に示すように、方法５００について前述した動作のうちの任意の１つ以上に加えて、方法５００は、動作６３０、６３２、及び６３４のうちの１つ以上を含むことができる。動作６３０、６３２、及び６３４のうちの１つ以上は、第１の画像に示された器具が処置において使用されたのか又は使用されなかったのかを器具認識器２２０が第１の画像及び第２の画像に基づいて判断する動作５３０の一部として実行することができる。

動作６３０において、器具が使用されたか否かを判断することの一部として、器具認識器２２０は、器具が第１の画像に示された運搬機器内の第１の位置から第２の画像に示された運搬機器内の第２の位置に移動したかを判断する。

動作６３２において、器具が使用されたか否かを判断することの一部として、器具認識器２２０は、バイオバーデン（例えば、血痕又は患者からの他の体液のスポット）が第１の画像に示された器具にないことを（例えば、光学的に）認識する。

動作６３４において、器具が使用されたか否かを判断することの一部として、器具認識器２２０は、バイオバーデン（例えば、１つ以上の血痕又は患者からの他の体液のスポット）が第２の画像に示されているように同じ器具にあることを（例えば、光学的に）認識する。

様々な例示の実施形態によれば、本明細書に説明される方法論のうちの１つ以上は、器具（例えば、外科器具）の追跡を容易にすることができる。その上、本明細書に説明される方法論のうちの１つ以上は、タイプごとの器具の検出及び定量化、個々の器具の検出及び追跡、又はそれらの双方を容易にすることができる。したがって、本明細書に説明される方法論のうちの１つ以上は、既存のシステム及び方法の能力と比較して、器具在庫及びそれらのメンテナンス（例えば、滅菌処置）用の関連コストのより精密且つ正確な管理と、（例えば、医療処置を受ける患者の）健康及び安全性に対するリスクの削減とを容易にすることができる。

図７は、いくつかの例示の実施形態による、器具を示す画像であって、アプリ２００によって構成されたデバイス１３０が、器具を示すバウンディングボックスを追加した画像を示すスクリーンショットである。

図８～図１０は、いくつかの例示の実施形態による、器具を示す画像であって、アプリ２００によって構成されたデバイス１３０が、各画像について、器具のカウントされた量を個々に及び器具のタイプごとに追加した画像を示すスクリーンショットである。

図７～図１０に示すように、器具がカメラ２４０によってキャプチャされたときに、アプリ２００が、それらの器具のタイプ（例えば、クラス名）及び画像（例えば、現在表示されているビデオフレーム）内で識別される全器具のカウントとともに、それらの器具の周囲にバウンディングボックスを表示するように、アプリ２００は、器具認識器２２０（例えば、物体識別器）を連続して動作させている間に、カメラ２４０を使用してその環境をリアルタイムでスキャンするようにデバイス１３０を構成することができる。

本明細書に論述される技法によれば、アプリ２００は、器具認識アルゴリズム（例えば、上述したように器具認識器２２０内に具現化される）を使用するように任意の適したデバイス（例えば、デバイス１３０）を構成することができる。アプリ２００は、アプリ２００、デバイス１３０、又はそれらの双方の複数の動作モードのうちの任意のものを起動する能力をユーザ１３２に与えることができる。例として、そのような動作モードは、手術室全機能モード（operating room fully featured mode）（例えば、全ての機能が有効にされたフルモード）、手術室部分機能モード（operating room partially featured mode）（例えば、最も計算量の多い機能が無効にされるか又はインストールされないライトモード）、サプライチェーンモード、術後品質管理モード（post-surgery quality control mode）、整形外科セールスモード（orthopedic sales mode）、又はそれらの任意の適した組み合わせを含むことができる。

器具分類又は画像識別について上述したアルゴリズムのうちの任意の１つ以上は、異なる状況における異なるユースケースに独立して適用することができる。加えて、これらのアルゴリズムのうちの任意の１つ以上は、器具の複数の部分（例えば、はさみの先端、器具の取っ手、又は器具の支柱）に適用することができ、したがって、器具分類、器具識別、又はそれらの双方について本明細書に説明される方法と同様の方法で部分分類、部分識別、又はそれらの双方を行うことができる。したがって、器具認識器２２０の様々な例は、器具部分に関してトレーニングされた追加の人工知能モジュール（例えば、１つ以上のディープラーニングネットワークを有する）を含むことができ、この追加の人工知能モジュールは、器具全体、トレー全体、又はそれらの双方に関してトレーニングされた主要な人工知能モジュールによって行われる分類、識別、又はそれらの双方をサポート（例えば、確認、検証、又は変更）するのに使用することができる。

これらの効果が全体として考察されるとき、本明細書に説明される方法論のうちの１つ以上は、これらの方法論を用いない場合に器具追跡に必要とされる或る特定の労力又はリソースの必要性をなくすことができる。器具を追跡するときにユーザが費やす労力は、本明細書に説明される方法論のうちの１つ以上を実施する専用機械の使用によって（例えば、専用機械に依拠することによって）削減することができる。１つ以上のシステム又は機械によって（例えば、ネットワーク環境１００内で）使用される計算リソースも、（例えば、本明細書に論述される構造体を欠いているシステム若しくは機械、又は、それ以外で本明細書に論述される機能を実行することができないシステム若しくは機械と比較して）同様に削減することができる。そのような計算リソースの例としては、プロセッササイクル、ネットワークトラフィック、計算能力、メインメモリ使用量、グラフィックスレンダリング能力、グラフィックスメモリ使用量、データ記憶容量、電力消費、及び冷却能力がある。

図１１は、機械可読媒体１１２２（例えば、非一時的機械可読媒体、機械可読記憶媒体、コンピュータ可読記憶媒体、又はそれらの任意の適した組み合わせ）から命令１１２４を読み出し、本明細書に論述される方法論のうちの任意の１つ以上を全体として又は部分的に実行することができる、いくつかの例示の実施形態による機械１１００の構成要素を示すブロック図である。具体的には、図１１は、本明細書に論述される方法論のうちの任意の１つ以上を機械１１００に実行させる命令１１２４（例えば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ、又は他の実行可能コード）をその内部で全体として又は部分的に実行することができるコンピュータシステムの例示の形態（例えば、コンピュータ）における機械１１００を示している。

代替の実施形態において、機械１１００は、スタンロアローンデバイスとして動作するか、又は、他の機械に通信可能に結合される（例えば、ネットワーク化される）場合もある。ネットワーク化されて配備された場合には、機械１１００は、サーバクライアントネットワーク環境におけるサーバ機械又はクライアント機械の資格で動作することもできるし、分散（例えば、ピアツーピア）ネットワーク環境におけるピア機械として動作することもできる。機械１１００は、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ＰＣ：personal computer）、タブレットコンピュータ、ラップトップコンピュータ、ネットブック、セルラ電話、スマートフォン、セットトップボックス（ＳＴＢ：set-top box）、パーソナルデジタルアシスタント（ＰＤＡ：personal digital assistant）、ウェブ機器、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、又は機械が行う動作を指定する命令１１２４を逐次に若しくは別の方法で実行することが可能な任意の機械とすることができる。さらに、単一の機械のみが示されているが、用語「機械」は、本明細書に論述される方法論のうちの任意の１つ以上の全部又は一部を実行する命令１１２４を個々に又は共同で実行する機械の任意の集合体も含むように解釈されるものとする。

機械１１００は、プロセッサ１１０２（例えば、１つ以上の中央処理装置（ＣＰＵ：central processing unit）、１つ以上のグラフィックス処理装置（ＧＰＵ：graphics processing unit）、１つ以上のデジタル信号プロセッサ（ＤＳＰ：digital signal processor）、１つ以上の特定用途向け集積回路（ＡＳＩＣ：application specific integrated circuit）、１つ以上の無線周波数集積回路（ＲＦＩＣ：radio-frequency integrated circuit）、又はそれらの任意の適した組み合わせ）と、メインメモリ１１０４と、スタティックメモリ１１０６とを含み、これらは、バス１１０８を介して互いに通信するように構成される。プロセッサ１１０２は、本明細書に説明される方法論のうちの任意の１つ以上を全体として又は部分的に実行するように構成可能であるように、プロセッサ１１０２は、命令１１２４の一部又は全てによって一時的又は永続的に構成可能なソリッドステートデジタルマイクロ回路（例えば、電子、光、又はそれらの双方）を含む。例えば、プロセッサ１１０２の１つ以上のマイクロ回路の集合は、本明細書に説明される１つ以上のモジュール（例えば、ソフトウェアモジュール）を実行するように構成可能とすることができる。いくつかの例示の実施形態において、プロセッサ１１０２は、複数のコアのそれぞれが、本明細書に論述される方法論のうちの任意の１つ以上を全体として又は部分的に実行することができる別々のプロセッサとして振る舞うマルチコアＣＰＵ（例えば、デュアルコアＣＰＵ、クアッドコアＣＰＵ、８コアＣＰＵ、又は１２８コアＣＰＵ）である。本明細書に説明される有益な効果は、少なくともプロセッサ１１０２を有する機械１１００によって提供することができるが、これらの同じ有益な効果は、プロセッサを含まない異なる種類の機械（例えば、純粋に機械式のシステム、純粋に液圧式のシステム、又はハイブリッドの機械液圧式のシステム）が、本明細書に説明される方法論のうちの１つ以上を実行するように構成される場合には、そのようなプロセッサレス機械によっても提供することができる。

機械１１００は、グラフィックスディスプレイ１１１０（例えば、プラズマディスプレイパネル（ＰＤＰ：plasma display panel）、発光ダイオード（ＬＥＤ：light emitting diode）ディスプレイ、液晶ディスプレイ（ＬＣＤ：liquid crystal display）、プロジェクタ、陰極線管（ＣＲＴ：cathode ray tube）、又はグラフィックス若しくはビデオを表示することが可能な他の任意のディスプレイ）を更に含むことができる。機械１１００は、英数字入力デバイス１１１２（例えば、キーボード又はキーパッド）、ポインタ入力デバイス１１１４（例えば、マウス、タッチパッド、タッチスクリーン、トラックボール、ジョイスティック、スタイラス、モーションセンサ、アイトラッキングデバイス、データグローブ、又は他のポインティング器具）、データ記憶装置１１１６、オーディオ生成デバイス１１１８（例えば、サウンドカード、増幅器、スピーカ、ヘッドフォンジャック、又はそれらの任意の適した組み合わせ）、及びネットワークインタフェースデバイス１１２０も含むことができる。

データ記憶装置１１１６（例えば、データ記憶デバイス）は、本明細書に説明される方法論又は機能のうちの任意の１つ以上を具現化する命令１１２４を記憶する機械可読媒体１１２２（例えば、有形の非一時的機械可読記憶媒体）を含む。命令１１２４は、機械１１００によるそれらの実行前又は実行中に、メインメモリ１１０４内、スタティックメモリ１１０６内、プロセッサ１１０２内（例えば、プロセッサのキャッシュメモリ内）、又はそれらの任意の適した組み合わせに完全に又は少なくとも部分的に存在することもできる。したがって、メインメモリ１１０４、スタティックメモリ１１０６、及びプロセッサ１１０２は、機械可読媒体（例えば、有形の非一時的機械可読媒体）をみなすことができる。命令１１２４は、ネットワークインタフェースデバイス１１２０を介してネットワーク１９０上で送信又は受信することができる。例えば、ネットワークインタフェースデバイス１１２０は、任意の１つ以上の転送プロトコル（例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ：hypertext transfer protocol））を使用して命令１１２４を通信することができる。

いくつかの例示の実施形態において、機械１１００は、ポータブル計算デバイス（例えば、スマートフォン、タブレットコンピュータ、又はウェアラブルデバイス）とすることができ、１つ以上の追加の入力構成要素１１３０（例えば、センサ又はゲージ）を有することができる。そのような入力構成要素１１３０の例として、画像入力構成要素（例えば、１つ以上のカメラ）、オーディオ入力構成要素（例えば、１つ以上のマイクロフォン）、方角入力構成要素（例えば、コンパス）、ロケーション入力構成要素（例えば、全地球測位システム（ＧＰＳ：global positioning system）受信機）、方位構成要素（例えば、ジャイロスコープ）、運動検出構成要素（例えば、１つ以上の加速度計）、高度検出構成要素（例えば、高度計）、温度入力構成要素（例えば、温度計）、及びガス検出構成要素（例えば、ガスセンサ）がある。これらの入力構成要素１１３０のうちの任意の１つ以上によって収集される入力データは、（例えば、ユーザの好み、適用可能な規制、又はそれらの任意の適した組み合わせに従って実施されるオプトイン同意又はオプトアウト同意等の適したプライバシー通知及び保護を用いて）本明細書に説明されるモジュールのうちの任意のものによってアクセス可能及び使用可能とすることができる。

本明細書に使用されるように、用語「メモリ」は、データを一時的又は永続的に記憶することができる機械可読媒体を指し、ランダムアクセスメモリ（ＲＡＭ：random-access memory）、リードオンリーメモリ（ＲＯＭ：read-only memory）、バッファメモリ、フラッシュメモリ、及びキャッシュメモリを含むものと解釈することができる。ただし、これらに限定されるものではない。機械可読媒体１１２２は、一例示の実施形態において、単一の媒体として示されているが、用語「機械可読媒体」は、命令を記憶することができる単一の媒体又は複数の媒体（例えば、集中型データベース若しくは分散型データベース、又は関連したキャッシュ及びサーバ）を含むものと解釈されるべきである。用語「機械可読媒体」は、命令１１２４が、機械１１００の１つ以上のプロセッサ（例えば、プロセッサ１１０２）によって実行されると、本明細書に説明される方法論のうちの任意の１つ以上を機械１１００に全体として又は部分的に実行させるように、機械１１００によって実行される命令１１２４を担持（例えば、記憶又は通信）することが可能な任意の媒体、又は複数の媒体の組み合わせも含むものと解釈されるものとする。したがって、「機械可読媒体」は、単一の記憶装置又は記憶デバイスだけでなく、複数の記憶装置又は記憶デバイスを含むクラウドベースの記憶システム又は記憶ネットワークも指す。用語「機械可読媒体」は、したがって、次のものに限定されるものではないが、ソリッドステートメモリチップ、光ディスク、磁気ディスク、又はそれらの任意の適した組み合わせの例示の形態の１つ以上の有形の非一時的データリポジトリ（例えば、データボリューム）を含むものと解釈されるものとする。

本明細書に使用されるような「非一時的」機械可読媒体は、伝播信号それ自体を特に除外する。様々な例示の実施形態によれば、機械１１００によって実行される命令１１２４は、キャリア媒体（例えば、機械可読キャリア媒体）を介して通信することができる。そのようなキャリア媒体の例として、非一時的キャリア媒体（例えば、或る場所から別の場所に物理的に移動可能なソリッドステートメモリ等の非一時的機械可読記憶媒体）及び一時的キャリア媒体（例えば、命令１１２４を通信する搬送波又は他の伝播信号）がある。

或る特定の例示の実施形態は、モジュールを含むものとして本明細書に説明される。モジュールは、ソフトウェアモジュール（例えば、機械可読媒体又は伝送媒体に記憶されるか又は別の方法で具現化されるコード）、ハードウェアモジュール、又はそれらの任意の適した組み合わせを構成することができる。「ハードウェアモジュール」は、或る特定の動作を実行することが可能である有形の（例えば、非一時的な）物理構成要素（例えば、１つ以上のプロセッサの集合）であり、或る特定の物理的な方法で構成又は配置することができる。様々な例示の実施形態において、１つ以上のコンピュータシステム又はそれらの１つ以上のハードウェアモジュールは、そのモジュールについて本明細書に説明される動作を実行するように動作するハードウェアモジュールとしてソフトウェア（例えば、アプリケーション又はその一部分）によって構成することができる。

いくつかの例示の実施形態において、ハードウェアモジュールは、機械的に、電子的に、液圧式で、又はそれらの任意の適した組み合わせで実施することができる。例えば、ハードウェアモジュールは、或る特定の動作を実行するように永続的に構成された専用回路類又は専用ロジックを含むことができる。ハードウェアモジュールは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：field programmable gate array）又はＡＳＩＣ等の専用プロセッサとすることもできるし、そのような専用プロセッサを含むものとすることもできる。ハードウェアモジュールは、或る特定の動作を実行するようにソフトウェアによって一時的に構成されるプログラマブルロジック又はプログラマブル回路類も含むことができる。一例として、ハードウェアモジュールは、ＣＰＵ又は他のプログラマブルプロセッサ内に含まれるソフトウェアを含むことができる。ハードウェアモジュールを機械的に実施するのか、液圧式で実施するのか、専用の永続的に構成された回路類において実施するのか、又は一時的に構成された（例えば、ソフトウェアによって構成された）回路類において実施するのかの判断は、コスト及び時間を考慮することによって行われることが理解されるであろう。

したがって、語句「ハードウェアモジュール」は、或る特定の方法で動作するように又は本明細書に説明される或る特定の動作を実行するように物理的に構成、永続的に構成（例えば、ハードワイヤード）、又は一時的に構成（例えば、プログラミング）することができる有形のエンティティを含むものと理解されるべきである。さらに、本明細書において使用される語句「ハードウェア実施されるモジュール」はハードウェアモジュールを指す。ハードウェアモジュールが一時的に構成される（例えば、プログラミングされる）例示の実施形態を考えたとき、ハードウェアモジュールのそれぞれは、任意の或る時点において構成又はインスタンス化される必要はない。例えば、ハードウェアモジュールが、専用プロセッサとなるようにソフトウェアによって構成されたＣＰＵを含む場合に、このＣＰＵは、異なる時に（例えば、異なるハードウェアモジュールにそれぞれ含まれる）それぞれ異なる専用プロセッサとして構成することができる。ソフトウェア（例えば、ソフトウェアモジュール）は、したがって、例えば、或る時点において特定のハードウェアモジュールになるか又は別の方法で特定のハードウェアモジュールを構成し、異なる時点において異なるハードウェアモジュールになるか又は別の方法で異なるハードウェアモジュールを構成するように１つ以上のプロセッサを構成することができる。

ハードウェアモジュールは、他のハードウェアモジュールに情報を提供し、他のハードウェアモジュールから情報を受信することができる。したがって、説明されるハードウェアモジュールは、通信可能に結合されているとみなすことができる。複数のハードウェアモジュールが同時に存在する場合に、通信は、それらのハードウェアモジュールのうちの２つ以上の間の（例えば、回路及びバスを介した）信号伝送を通じて達成することができる。複数のハードウェアモジュールが異なる時に構成又はインスタンス化される実施形態において、そのようなハードウェアモジュール間の通信は、例えば、それらの複数のハードウェアモジュールがアクセスするメモリ構造体に対する情報の記憶及び取り出しを通じて達成することができる。例えば、１つのハードウェアモジュールは、動作を実行し、その動作の出力を、当該ハードウェアモジュールが通信可能に結合されたメモリ（例えば、メモリデバイス）に記憶することができる。別のハードウェアモジュールは、次に、後の時点において、メモリにアクセスして、記憶された出力を取り出して処理することができる。ハードウェアモジュールは、入力デバイス又は出力デバイスとの通信も開始することができ、リソース（例えば、計算リソースからの情報の集合体）の処理を行うことができる。

本明細書に説明される例示の方法の様々な動作は、関連した動作を実行するように（例えば、ソフトウェアによって）一時的に構成されるか又は永続的に構成される１つ以上のプロセッサによって少なくとも部分的に実行することができる。一時的に構成されるか又は永続的に構成されるかを問わず、そのようなプロセッサは、本明細書に説明される１つ以上の動作又は機能を実行するように動作するプロセッサ実施されるモジュールを構成することができる。本明細書に使用されるように、「プロセッサ実施されるモジュール」は、ハードウェアが１つ以上のプロセッサを含むハードウェアモジュールを指す。したがって、本明細書に説明される動作は、プロセッサがハードウェアの一例であるので、少なくとも部分的に、プロセッサ実施することもできるし、ハードウェア実施することもできるし、それらの双方で実施することもでき、本明細書に論述される方法のうちの任意の１つ以上の方法内の少なくともいくつかの動作は、１つ以上のプロセッサ実施されるモジュール、ハードウェア実施されるモジュール、又はそれらの任意の適した組み合わせによって実行することができる。

その上、そのような１つ以上のプロセッサは、「クラウドコンピューティング」環境において又はサービス（例えば、「ソフトウェアアズアサービス」（ＳａａＳ：software as a service）の実施態様内のサービス）として動作を実行することができる。例えば、本明細書に論述される方法のうちの任意の１つ以上の方法内の少なくとも或る特定の動作は、これらの動作がネットワーク（例えば、インターネット）及び１つ以上の適切なインタフェース（例えば、アプリケーションプログラムインタフェース（ＡＰＩ：application program interface））を介してアクセス可能であるコンピュータ（例えば、プロセッサを含む機械の例として）のグループによって実行することができる。いくつかの動作の実行は、単一の機械内にのみ存在するか又は複数の機械にわたって配備されているかを問わず、１つ以上のプロセッサ間に分散させることができる。いくつかの例示の実施形態において、それらの１つ以上のプロセッサ又はハードウェアモジュール（例えば、プロセッサ実施されるモジュール）は、（例えば、住居環境、オフィス環境、又はサーバファーム内の）単一の地理的ロケーションに配置することができる。他の例示の実施形態において、それらの１つ以上のプロセッサ又はハードウェアモジュールは、複数の地理的ロケーションにわたって分散させることができる。

本明細書の全体を通じて、複数のインスタンスが、単一のインスタンスとして説明される構成要素、動作、又は構造体を実施することができる。１つ以上の方法の個々の動作は、分離した動作として図示及び説明されているが、これらの個々の動作のうちの１つ以上は、同時に実行することができ、図示した順序で動作を実行する必要はない。例示の構成において分離した構成要素及び機能として提示された構造体及びそれらの機能性は、組み合わされた機能を有する組み合わされた構造体又は構成要素として実施することができる。同様に、単一の構成要素として提示された構造体及び機能性は、分離した構成要素及び機能として実施することができる。これらの及び他の変形形態、変更形態、追加形態、及び改良形態は、本明細書における主題の範囲内に含まれる。

本明細書に論述される本主題のいくつかの部分は、メモリ（例えば、コンピュータメモリ又は他の機械メモリ）内にビット又は２値デジタル信号として記憶されたデータ上で、動作のアルゴリズム又はシンボル表現によって示すことができる。そのようなアルゴリズム又はシンボル表現は、データ処理技術の当業者が、自身の作業の内容を同技術の他の当業者に伝達するために使用される技法の例である。本明細書に使用されるように、「アルゴリズム」は、所望の結果をもたらす動作又は同様の処理の自己矛盾のないシーケンスである。この文脈において、アルゴリズム及び動作は、物理量の物理操作を伴う。必ずしもそうではないが通常は、そのような量は、機械による記憶、アクセス、転送、結合、比較、又はそれ以外の操作が可能な電気信号、磁気信号、又は光信号の形態を取ることができる。時には、主として共通使用のために、そのような信号を「データ」、「コンテンツ」、「ビット」、「値」、「要素」、「シンボル」、「文字」、「項」、「数」、「数字」等の単語を使用して参照することが便利である。ただし、これらの単語は、単に便利なラベルにすぎず、適切な物理量に関連付けられるべきである。

特に別段の指定がない限り、「アクセス（accessing）」、「処理（processing）」、「検出（detecting）」、「計算（computing）」、「算出（calculating）」、「判断（determining）」、「生成（generating）」、「提示（presenting）」、「表示（displaying）」等の単語を使用した本明細書における論述は、１つ以上のメモリ（例えば、揮発性メモリ、不揮発性メモリ、又はそれらの任意の適した組み合わせ）、レジスタ、又は情報を受信、記憶、送信、若しくは表示する他の機械構成要素内に物理（例えば、電子、磁気、又は光）量として表されたデータを操作又は変換する機械（例えば、コンピュータ）によって実行可能な活動又はプロセスを指す。さらに、特に別段の指定がない限り、用語「ａ」又は「an」は、特許の文書において共通であるように、本明細書においても１つ又は２つ以上のインスタンスを含むように使用される。最後に、本明細書に使用されるように、接続詞「又は／若しくは」は、特に別段の指定がない限り、非排他的な「又は／若しくは」を指す。

以下に列挙した記載は、本明細書に論述される方法、機械可読媒体、及びシステム（例えば、機械、デバイス、又は他の装置）の様々な例を記載している。

第１の例は、
処置の開始前に運搬機器上の器具の基準集合をキャプチャした第１の画像に、機械の１つ以上のプロセッサがアクセスするステップと、
前記器具の基準集合に対応する第１の器具データを前記第１の画像から前記機械の前記１つ以上のプロセッサが識別するステップと、
前記処置の開始後に前記運搬機器上の器具をキャプチャした第２の画像に、前記機械の前記１つ以上のプロセッサがアクセスするステップと、
前記処置の開始後の前記運搬機器上の前記器具に対応する第２の器具データを前記第２の画像から前記機械の前記１つ以上のプロセッサが識別するステップと、
前記機械の前記１つ以上のプロセッサが、前記第１の器具データを前記第２の器具データと比較するステップと、
前記比較に基づいて、前記処置の前記開始前の前記運搬機器上の器具が前記処置の前記開始後の前記運搬機器上にないことを示す通知を、前記機械の前記１つ以上のプロセッサが提示するステップと
を含んでなる方法を提供する。

第２の例は、
器具の基準画像にアクセスするステップと、
前記基準画像に基づいて前記第１の画像内の器具を識別するステップであって、前記第１の器具データは、前記第１の画像内の該識別された器具を示すものである、ステップと、
前記基準画像に基づいて前記第２の画像内の器具を識別するステップであって、前記第２の器具データは、前記第２の画像内の該識別された器具を示すものである、ステップと
を更に含む、第１の例に記載の方法を提供する。

第３の例は、
前記第１の画像内の器具の形状を光学的に認識して、前記第１の器具データを取得するステップと、
前記第２の画像内の器具の形状を光学的に認識して、前記第２の器具データを取得するステップと
を更に含む、第１の例又は第２の例に記載の方法を提供する。

第４の例は、前記第１の画像及び前記第２の画像は、前記処置のタイプ又は前記処置の遂行者のうちの少なくとも一方に対応する、第１の例～第３の例のいずれかに記載の方法を提供する。

第５の例は、前記第１の器具データは第１の器具カウントを含み、前記第２の器具データは第２の器具カウントを含む、第１の例～第４の例のいずれかに記載の方法を提供する。

第６の例は、前記第１の器具データを前記第２の器具データと前記比較するステップは、前記第１の器具カウントを前記第２の器具カウントと比較することを含み、前記通知は、欠けている器具の総数又は共有タイプを有する、欠けている器具の総数のうちの少なくとも一方を示す、第５の例に記載の方法を提供する。

第７の例は、前記処置は、医師によって患者に対して行われる外科処置を含み、前記第１の画像は、前記医師による前記患者に対する前記外科処置の開始前の前記運搬機器上の前記器具の基準集合をキャプチャし、前記第２の画像は、前記医師による前記患者に対する前記外科処置の完了後の前記運搬機器上の前記器具をキャプチャする、第１の例～第６の例のいずれかに記載の方法を提供する。

第８の例は、
１つ以上のプロセッサと、
前記１つ以上のプロセッサの中の少なくとも１つのプロセッサが実行すると、ある動作を実行させる命令を記憶するメモリと
を備えてなるシステム（例えば、コンピュータシステム）であって、
前記動作は、
処置の開始前に運搬機器上の器具の基準集合をキャプチャした第１の画像にアクセスすることと、
前記器具の基準集合に対応する第１の器具データを前記第１の画像から識別することと、
前記処置の開始後に前記運搬機器上の器具をキャプチャした第２の画像にアクセスすることと、
前記処置の開始後の前記運搬機器上の前記器具に対応する第２の器具データを前記第２の画像から識別することと、
前記第１の器具データを前記第２の器具データと比較することと、
前記比較に基づいて、前記処置の前記開始前の前記運搬機器上の器具が前記処置の前記開始後の前記運搬機器上にないことを示す通知を提示することと
を含むものであるシステムを提供する。

第９の例は、前記動作は、
前記第１の画像内の器具の形状を光学的に認識して、前記第１の器具データを取得することと、
前記第２の画像内の器具の形状を光学的に認識して、前記第２の器具データを取得することと
を更に含む、第８の例に記載のシステムを提供する。

第１０の例は、機械の１つ以上のプロセッサが実行すると、前記機械に動作を実行させる命令を含む機械可読媒体（例えば、非一時的機械可読記憶媒体）であって、
前記動作は、
処置の開始前に運搬機器上の器具の基準集合をキャプチャした第１の画像にアクセスすることと、
前記器具の基準集合に対応する第１の器具データを前記第１の画像から識別することと、
前記処置の開始後に前記運搬機器上の器具をキャプチャした第２の画像にアクセスすることと、
前記処置の開始後の前記運搬機器上の前記器具に対応する第２の器具データを前記第２の画像から識別することと、
前記第１の器具データを前記第２の器具データと比較することと、
前記比較に基づいて、前記処置の前記開始前の前記運搬機器上の器具が前記処置の前記開始後の前記運搬機器上にないことを示す通知を提示することと
を含むものである機械可読媒体を提供する。

第１１の例は、処置の開始前にキャプチャされ、前記処置において使用可能な器具の集合を示す第１の画像に機械の１つ以上のプロセッサがアクセスするステップと、
前記処置の開始後にキャプチャされ、前記第１の画像に示された前記器具の集合の真部分集合を示す第２の画像に前記機械の前記１つ以上のプロセッサがアクセスするステップと、
前記第１の画像に示された前記器具の集合の中の器具が前記第２の画像内の前記器具の集合の前記真部分集合の中に示されていないと、前記機械の前記１つ以上のプロセッサが判断するステップと、
前記第２の画像に示されていない前記器具が前記器具の集合から欠けていることを示す通知を前記機械の前記１つ以上のプロセッサが提示するステップと
を含んでなる方法を提供する。

第１２の例は、
前記器具の集合を示す前記第１の画像に前記アクセスするステップは、器具の基準集合を示す基準画像にアクセスすることを含む、第１１の例に記載の方法を提供する。

第１３の例は、
前記基準画像は、前記処置又は前記処置の遂行者のうちの少なくとも一方に対応し、
前記基準画像に前記アクセスすることは、前記処置又は前記処置の前記遂行者のうちの少なくとも一方に基づいている、第１２の例に記載の方法を提供する。

第１４の例は、
前記器具の基準集合は、前記処置又は前記処置の遂行者のうちの少なくとも一方に対応し、
前記器具の基準集合を示す前記基準画像に前記アクセスすることは、前記処置又は前記処置の前記遂行者のうちの少なくとも一方に基づいている、第１２の例又は第１３の例に記載の方法を提供する。

第１５の例は、
前記第１の画像に示された前記器具の集合の中の前記器具が前記第２の画像に示されていないと前記判断するステップは、
前記第１の画像内の前記器具の形状を光学的に認識することと、
前記第２の画像内の前記器具の前記形状を光学的に認識することができないことと
を含むものである、第１１の例～第１４の例のいずれかに記載の方法を提供する。

第１６の例は、
前記第１の画像に示された前記器具の集合の中の前記器具が前記第２の画像に示されていないと前記判断するステップは、
前記器具の基準モデルにアクセスすることと、
前記第２の画像内の前記器具の前記基準モデルの複数のシルエットのそれぞれを光学的に認識することができないことと
を含むものである、第１１の例～第１５の例のいずれかに記載の方法を提供する。

第１７の例は、
前記第１の画像に示された前記器具の集合の中の前記器具が前記第２の画像に示されていないと前記判断するステップは、
前記第１の画像に示された前記器具の基準形状を表す基準モデルにアクセスすることと、
前記第２の画像に示された前記器具の集合の前記真部分集合の現在の形状を表す深度データにアクセスすることと、
前記器具の前記基準形状を前記器具の集合の前記真部分集合の現在の形状のそれぞれと比較することと
を含むものである、第１１の例～第１６の例のいずれかに記載の方法を提供する。

第１８の例は、
前記第１の画像に前記アクセスするステップは、前記処置の前に第１のフレームの第１のシーケンスをキャプチャし、前記キャプチャされた第１のシーケンスから少なくとも前記第１の画像を選択することによって行われ、
前記第２の画像に前記アクセスするステップは、前記処置の後に第２のフレームの第２のシーケンスをキャプチャし、前記キャプチャされた第２のシーケンスから少なくとも前記第２の画像を選択することによって行われる、第１１の例～第１７の例のいずれかに記載の方法を提供する。

第１９の例は、
処置の開始前にキャプチャされ、前記処置において使用可能な器具の集合を示す第１の画像に機械の１つ以上のプロセッサがアクセスするステップと、
前記処置の開始後にキャプチャされ、前記第１の画像に示された前記器具の集合の部分集合を示す第２の画像に前記機械の前記１つ以上のプロセッサがアクセスするステップと、
前記第１の画像に示された前記器具の集合の中の器具が前記処置において使用されたのか又は使用されなかったのかを、前記第１の画像及び前記第２の画像に基づいて、前記機械の前記１つ以上のプロセッサが判断するステップと、
前記器具が前記処置において使用されたのか又は使用されなかったのかを示す通知を前記機械の前記１つ以上のプロセッサが提示するステップと
を含んでなる方法を提供する。

第２０の例は、
前記器具の集合の前記部分集合は、前記器具の集合の真部分集合である、第１９の例に記載の方法を提供する。

第２１の例は、
前記器具が前記処置において使用されたのか又は使用されなかったのかを前記判断するステップは、前記器具が、前記第１の画像に示された運搬機器内の第１の位置から前記第２の画像に示された前記運搬機器内の第２の位置に移動したかを判断することを含む、第１９の例又は第２０の例に記載の方法を提供する。

第２２の例は、
前記器具が前記処置において使用されたのか又は使用されなかったのかを前記判断するステップは、
前記第１の画像に示された前記器具上に血液が存在しないことを光学的に認識することと、
前記第２の画像に示された前記器具上に血液が存在することを光学的に認識することと
を含む、第１９の例～第２１の例のいずれかに記載の方法を提供する。

第２３の例は、
機械の１つ以上のプロセッサが実行すると、前記機械にある動作を実行させる命令を含む機械可読媒体（例えば、非一時的機械可読記憶媒体）であって、
前記動作は、
処置の開始前にキャプチャされ、前記処置において使用可能な器具の集合を示す第１の画像にアクセスすることと、
前記処置の開始後にキャプチャされ、前記第１の画像に示された前記器具の集合の真部分集合を示す第２の画像にアクセスすることと、
前記第１の画像に示された前記器具の集合の中の器具が前記第２の画像内の前記器具の集合の前記真部分集合の中に示されていないと判断することと、
前記第２の画像に示されていない前記器具が前記器具の集合から欠けていることを示す通知を提示することと
を含むものである、機械可読媒体を提供する。

第２４の例は、
前記第１の画像に示された前記器具の集合の中の前記器具が前記第２の画像に示されていないと前記判断することは、
前記第１の画像内の前記器具の形状を光学的に認識することと、
前記第２の画像内の前記器具の前記形状を光学的に認識することができないことと
を含む、第２３の例に記載の機械可読媒体を提供する。

第２５の例は、
機械の１つ以上のプロセッサが実行すると、前記機械にある動作を実行させる命令を含む機械可読媒体（例えば、非一時的機械可読記憶媒体）であって、
前記動作は、
処置の開始前にキャプチャされ、前記処置において使用可能な器具の集合を示す第１の画像にアクセスすることと、
前記処置の開始後にキャプチャされ、前記第１の画像に示された前記器具の集合の部分集合を示す第２の画像にアクセスすることと、
前記第１の画像に示された前記器具の集合の中の器具が前記処置において使用されたのか又は使用されなかったのかを、前記第１の画像及び前記第２の画像に基づいて判断することと、
前記器具が前記処置において使用されたのか又は使用されなかったのかを示す通知を提示することと
を含むものである、機械可読媒体を提供する。

第２６の例は、
前記器具が前記処置において使用されたのか又は使用されなかったのかを前記判断することは、前記器具が、前記第１の画像に示された運搬機器内の第１の位置から前記第２の画像に示された前記運搬機器内の第２の位置に移動したかを判断することを含む、第２５の例に記載の機械可読媒体を提供する。

第２７の例は、
１つ以上のプロセッサと、
前記１つ以上のプロセッサの中の少なくとも１つのプロセッサが実行すると、ある動作を実行させる命令を記憶するメモリと
を備えてなるシステムであって、
前記動作は、
処置の開始前にキャプチャされ、前記処置において使用可能な器具の集合を示す第１の画像にアクセスすることと、
前記処置の開始後にキャプチャされ、前記第１の画像に示された前記器具の集合の真部分集合を示す第２の画像にアクセスすることと、
前記第１の画像に示された前記器具の集合の中の器具が前記第２の画像内の前記器具の集合の前記真部分集合の中に示されていないと判断することと、
前記第２の画像に示されていない前記器具が前記器具の集合から欠けていることを示す通知を提示することと
を含むものである、システムを提供する。

第２８の例は、
前記第１の画像に示された前記器具の集合の中の前記器具が前記第２の画像に示されていないと前記判断することは、
前記第１の画像に示された前記器具の基準形状を表す基準モデルにアクセスすることと、
前記第２の画像に示された前記器具の集合の前記真部分集合の現在の形状を表す深度データにアクセスすることと、
前記器具の前記基準形状を前記器具の集合の前記真部分集合の現在の形状のそれぞれと比較することと
を含む、第２７の例に記載のシステムを提供する。

第２９の例は、
１つ以上のプロセッサと、
前記１つ以上のプロセッサの中の少なくとも１つのプロセッサが実行すると、ある動作を実行させる命令を記憶するメモリと
を備えてなるシステムであって、
前記動作は、
処置の開始前にキャプチャされ、前記処置において使用可能な器具の集合を示す第１の画像にアクセスすることと、
前記処置の開始後にキャプチャされ、前記第１の画像に示された前記器具の集合の部分集合を示す第２の画像にアクセスすることと、
前記第１の画像に示された前記器具の集合の中の器具が前記処置において使用されたのか又は使用されなかったのかを、前記第１の画像及び前記第２の画像に基づいて判断することと、
前記器具が前記処置において使用されたのか又は使用されなかったのかを示す通知を提示することと
を含むものである、システムを提供する。

第３０の例は、
前記器具が前記処置において使用されたのか又は使用されなかったのかを前記判断することは、
前記第１の画像に示された前記器具上に血液が存在しないことを光学的に認識することと、
前記第２の画像に示された前記器具上に血液が存在することを光学的に認識することと
を含む、第２９の例に記載のシステムを提供する。

第３１の例は、前述した例のうちのいずれか１つにおいて実行される上記動作（例えば、方法動作）を実行するように機械を制御する機械可読命令を担持するキャリア媒体を提供する。

Claims (11)

1. 処置の開始前に運搬機器上の器具の基準集合をキャプチャした第１の画像に、機械の１つ以上のプロセッサがアクセスするステップと、
   前記器具の基準集合に対応する第１の器具データを前記第１の画像から前記機械の前記１つ以上のプロセッサが識別するステップと、
   前記処置の開始後に前記運搬機器上の器具をキャプチャした第２の画像に、前記機械の前記１つ以上のプロセッサがアクセスするステップと、
   前記処置の開始後の前記運搬機器上の前記器具に対応する第２の器具データを前記第２の画像から前記機械の前記１つ以上のプロセッサが識別するステップと、
   前記機械の前記１つ以上のプロセッサが、前記第１の器具データを前記第２の器具データと比較するステップと、
   前記比較に基づいて、前記処置の前記開始前の前記運搬機器上の器具が前記処置の前記開始後の前記運搬機器上にないことを示す通知と、前記処置の前記開始前の前記運搬機器上の器具が前記処置の間に使用されたか又は使用されなかったかを示す通知とを、前記機械の前記１つ以上のプロセッサが提示するステップと
   を含んでなる方法。
2. 器具の基準画像にアクセスするステップと、
   前記基準画像に基づいて前記第１の画像内の器具を識別するステップであって、前記第１の器具データは、前記第１の画像内の該識別された器具を示すものである、ステップと、
   前記基準画像に基づいて前記第２の画像内の器具を識別するステップであって、前記第２の器具データは、前記第２の画像内の該識別された器具を示すものである、ステップと
   を更に含む、請求項１に記載の方法。
3. 前記第１の画像内の器具の形状を光学的に認識して、前記第１の器具データを取得するステップと、
   前記第２の画像内の器具の形状を光学的に認識して、前記第２の器具データを取得するステップと
   を更に含む、請求項１に記載の方法。
4. 前記第１の画像及び前記第２の画像は、前記処置のタイプ又は前記処置の遂行者のうちの少なくとも一方に対応する、請求項１に記載の方法。
5. 前記第１の器具データは第１の器具カウントを含み、前記第２の器具データは第２の器具カウントを含む、請求項１に記載の方法。
6. 前記第１の器具データを前記第２の器具データと前記比較するステップは、前記第１の器具カウントを前記第２の器具カウントと比較することを含み、前記処置の前記開始前の前記運搬機器上の器具が前記処置の前記開始後の前記運搬機器上にないことを示す通知は、欠けている器具の総数または欠けている器具のリストのうちの少なくとも一方を示す、請求項５に記載の方法。
7. 処置の開始前にキャプチャされた第１の画像に機械の１つ以上のプロセッサがアクセスするステップと、
   前記処置の開始後にキャプチャされた第２の画像であって、前記第１の画像に示された器具の集合の真部分集合を示す第２の画像に前記機械の前記１つ以上のプロセッサがアクセスするステップと、
   前記第１の画像に示された前記器具の集合の中の器具が前記第２の画像内の前記器具の集合の前記真部分集合の中に示されているか否かを、前記機械の前記１つ以上のプロセッサが判断するステップと、
   前記第１の画像と前記第２の画像とに示された器具が光学的に検出可能な使用の表示を有するか否かを、前記機械の前記１つ以上のプロセッサが判断するステップと、
   前記第１の画像に示された前記器具が前記第２の画像内の前記器具の集合の前記真部分集合の中に示されていないと判断することに応じて、前記第１の画像に示された前記器具が前記器具の集合から欠けていることを示す通知と、前記第１の画像と前記第２の画像とに示された器具が前記光学的に検出可能な使用の表示を有すると判断することに応じて、前記第１の画像と前記第２の画像とに示された前記器具が前記処置の間に使用されたことを示す通知とを、前記機械の前記１つ以上のプロセッサが提示するステップと
   を含んでなる方法。
8. 前記器具が前記第１の画像に示された運搬機器内の第１の位置から前記第２の画像に示された前記運搬機器内の第２の位置に移動したことを判定することによって、前記器具が前記処置の間に使用されたことまたは未使用であったことを判断するステップを更に含む、請求項１に記載の方法。
9. 前記第１の画像に示された前記器具上に血液が存在しないことを光学的に認識し、
   前記第２の画像に示された前記器具上の血液が存在することを光学的に認識する
   ことによって、前記器具が前記処置の間に使用されたことまたは未使用であったことを判断するステップを更に含む、請求項１に記載の方法。
10. 前記第１の画像と前記第２の画像とに示された前記器具が前記光学的に検出可能な使用の表示を有すると判断することは、前記器具が前記第１の画像に示された運搬機器内の第１の位置から前記第２の画像に示された前記運搬機器内の第２の位置に移動したことを判断することを含む、請求項７に記載の方法。
11. 前記第１の画像と前記第２の画像とに示された前記器具が前記光学的に検出可能な使用の表示を有すると判断することは、
    前記第１の画像に示された前記器具上に血液が存在しないことを光学的に認識し、
    前記第２の画像に示された前記器具上の血液が存在することを光学的に認識する
    ことを含む、請求項７に記載の方法。