JP7738610B2 - System and Program - Google Patents
System and ProgramInfo
- Publication number
- JP7738610B2 JP7738610B2 JP2023130357A JP2023130357A JP7738610B2 JP 7738610 B2 JP7738610 B2 JP 7738610B2 JP 2023130357 A JP2023130357 A JP 2023130357A JP 2023130357 A JP2023130357 A JP 2023130357A JP 7738610 B2 JP7738610 B2 JP 7738610B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- sentence
- vehicle
- existence
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、システムおよびプログラムに関する。 The present invention relates to a system and a program.
近年、「レベル４」の自動運転が解禁されたことに伴い、自動運転車両の実証実験が全国各地で実施されている。自動運転においては、車両から膨大な量のデータが収集され、それが車両のＡＩによる事象の認知、今後の予測、走行計画、当該ＡＩの改良（学習）等に用いられる。例えば下記非特許文献１は、こうした自動運転車両の実証実験の現状について開示している。 In recent years, with the lifting of the ban on "Level 4" autonomous driving, demonstration experiments of autonomous vehicles have been conducted across the country. In autonomous driving, a huge amount of data is collected from the vehicle, and this data is used by the vehicle's AI to recognize events, make future predictions, plan trips, and improve (learn) the AI. For example, the following non-patent document 1 discloses the current status of demonstration experiments of such autonomous vehicles.
自動運転車両の安全性は向上してきているものの、自動運転車両に乗車する者や自動運転車両を遠隔監視する者は依然として不安を感じることがある。そこで、自動運転車両が自らの走行のために行う動作（認知・予測・計画・制御）とは別に、人の視点で自動運転車両が安全に走行できているか否かを判断する仕組みが求められている。
こうした仕組みづくりには、ルールベースの場合と、機械学習を用いる場合が考えられる。しかし、ルールベースの場合、全ての事象を表現するために、自動運転車両のカメラから得られた画像やセンサから得られた膨大なデータを事象ごとに分解して認知し、これらを紐付ける必要がある。しかし、こうした処理は非常に複雑で、その構築は大変困難なものとなる。また、機能の拡張や新機能の追加をしようとする際には、ロジックの書き換えが必要になる。この書き換えも同様に困難な作業となる。
一方、機械学習を用いる場合は、まず、全ての問題となる事象についての膨大な訓練データを用意しなければない。また、そうした膨大な量の訓練データをモデルに学習させる必要がある。
つまり、人の視点で自動運転車両が安全に走行できているか否かを判断する仕組みを、従来技術を用いて構築するのには多くの困難が伴っていた。
Although the safety of autonomous vehicles has improved, passengers and those remotely monitoring them still feel uneasy. Therefore, there is a need for a system that can determine whether an autonomous vehicle is driving safely from a human perspective, separate from the actions (recognition, prediction, planning, and control) that the autonomous vehicle performs for its own driving.
Such systems can be created using either rule-based or machine learning methods. However, in the case of rule-based systems, in order to represent all events, it is necessary to break down and recognize the images obtained from the cameras of the autonomous vehicle and the vast amount of data obtained from sensors into individual events, and then link them together. However, this type of processing is extremely complex, making it extremely difficult to build. Furthermore, when trying to expand functionality or add new functions, the logic must be rewritten, which is an equally difficult task.
On the other hand, when using machine learning, a huge amount of training data must first be prepared for all problematic phenomena, and then the model must learn from this huge amount of training data.
In other words, there were many difficulties in using conventional technology to build a system that would allow a human to determine whether an autonomous vehicle was driving safely.
上記の課題を解決するために、本発明の一態様に係るシステムは、カメラを備える車両から、当該車両の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する取得部と、入力された画像の内容を説明する文章を生成する言語モデルに、前記取得部が取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成部と、前記文章の内容が、前記車両の状況において問題となる問題事象の存在を示しているか否かを判断する判断部と、前記文章の内容が前記問題事象の存在を示していると前記判断部が判断した場合に、当該問題事象を解消するための動作を行う動作部と、を備える。 To solve the above problem, a system according to one aspect of the present invention includes an acquisition unit that acquires at least one of an image showing the exterior and an image showing the interior of a vehicle from a vehicle equipped with a camera; a generation unit that inputs the image acquired by the acquisition unit into a language model that generates a sentence explaining the content of the input image, thereby obtaining a sentence explaining the content of the image; a determination unit that determines whether the content of the sentence indicates the existence of a problematic phenomenon that is a problem in the situation of the vehicle; and an operation unit that performs an operation to resolve the problematic phenomenon when the determination unit determines that the content of the sentence indicates the existence of the problematic phenomenon.
また、本発明の他の態様に係るプログラムは、コンピュータに、カメラを備える車両から、当該車両の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する取得ステップと、入力された画像の内容を説明する文章を生成する言語モデルに、前記取得ステップで取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成ステップと、前記文章の内容が、前記車両の状況において問題となる問題事象を示しているか否かを判断する判断ステップと、前記文章の内容が前記問題事象を示していると前記判断ステップで判断した場合に、当該問題事象を解消するための動作を行う動作ステップと、を実行させる。 In addition, a program according to another aspect of the present invention causes a computer to execute the following steps: an acquisition step of acquiring at least one of an image showing the exterior and an image showing the interior of a vehicle from a vehicle equipped with a camera; a generation step of inputting the image acquired in the acquisition step into a language model that generates a sentence explaining the content of the input image, thereby obtaining a sentence explaining the content of the image; a determination step of determining whether the content of the sentence indicates a problematic phenomenon that is a problem in the situation of the vehicle; and an operation step of performing an operation to resolve the problematic phenomenon if it is determined in the determination step that the content of the sentence indicates the problematic phenomenon.
以下、本発明の一実施形態について、詳細に説明する。 One embodiment of the present invention is described in detail below.
＜構成＞
図１に示したように、本実施形態に係るシステム１００は、遠隔監視装置１と、遠隔監視装置１と通信する車両２と、を備える運転システムのうち、遠隔監視装置１に搭載されている。このため、ここでは、システム１００の構成を遠隔監視装置１の構成として説明する。なお、システム１００が設けられる場所は特に限定されない。例えば、システム１００は、車両２に搭載されていてもよいし、運転システムを構成する図示しない他の装置に搭載されていてもよい。また、システム１００は、運転システムを構成する複数の装置（例えば遠隔監視装置および車両２）に分散して組み込まれていてもよいし、運転システムとは別の装置として設けられてもよい。
<Configuration>
As shown in FIG. 1 , the system 100 according to this embodiment is installed in the remote monitoring device 1 of a driving system including the remote monitoring device 1 and a vehicle 2 that communicates with the remote monitoring device 1. For this reason, the configuration of the system 100 will be described here as the configuration of the remote monitoring device 1. Note that the location where the system 100 is installed is not particularly limited. For example, the system 100 may be installed in the vehicle 2, or may be installed in another device (not shown) that constitutes the driving system. Furthermore, the system 100 may be incorporated in a distributed manner in multiple devices that constitute the driving system (e.g., the remote monitoring device and the vehicle 2), or may be installed as a device separate from the driving system.
［車両］
本実施形態に係る車両２は、自動運転車両である。また、本実施形態に係る車両２は運転手を必要としないレベル４以上の自動運転車両である。このため、車両２は、当該車両２の外側を撮影するカメラ、および内側を撮影するカメラの少なくとも一方を備える。そして、車両２は、当該車両２の外側が写った画像および内側が写った画像の少なくとも一方の画像に基づいて自身の状況を認知する。そして、車両２は、認知した結果に基づいて所定時間先の自身の状況を予測する。そして、車両２は、予測した結果に基づいて走行計画を策定し、策定した走行計画に従って自動的に走行する。また、本実施形態に係る車両２は、カメラが生成した画像のデータを直ちに遠隔監視装置１へ送信する。なお、車両２は、自動運転機能を有していないコネクテッドカーであってもよい。
[vehicle]
The vehicle 2 according to this embodiment is an autonomous vehicle. Furthermore, the vehicle 2 according to this embodiment is an autonomous vehicle of level 4 or higher that does not require a driver. Therefore, the vehicle 2 is equipped with at least one of a camera that captures the exterior of the vehicle 2 and a camera that captures the interior of the vehicle 2. The vehicle 2 recognizes its own situation based on at least one of an image capturing the exterior of the vehicle 2 and an image capturing the interior of the vehicle 2. The vehicle 2 then predicts its own situation a predetermined time into the future based on the recognition results. The vehicle 2 then formulates a driving plan based on the predicted results and automatically drives according to the formulated driving plan. Furthermore, the vehicle 2 according to this embodiment immediately transmits image data generated by the camera to the remote monitoring device 1. The vehicle 2 may also be a connected car that does not have an autonomous driving function.
［遠隔監視装置］
遠隔監視装置１は、遠隔監視者が車両２を遠隔監視するのに用いられる。遠隔監視装置１は、通信部１１と、記憶部１２と、演算部１３と、出力部１４と、を備える。なお、車両２が自動運転機能を有していない場合、遠隔監視装置１は、車両２を遠隔制御する機能を有していなくてもよい。
[Remote monitoring device]
The remote monitoring device 1 is used by a remote monitor to remotely monitor the vehicle 2. The remote monitoring device 1 includes a communication unit 11, a storage unit 12, a calculation unit 13, and an output unit 14. Note that if the vehicle 2 does not have an autonomous driving function, the remote monitoring device 1 does not need to have a function to remotely control the vehicle 2.
〔通信部〕
通信部１１は、１または複数の車両２と通信する。本実施形態に係る通信部１１は、無線通信モジュールで構成されている。すなわち、本実施形態に係る通信部１１は、車両２と無線通信する。なお、システム１００の少なくとも一部が車両２に搭載されている場合、通信部１１は、車両２と有線通信してもよい。
[Communications Department]
The communication unit 11 communicates with one or more vehicles 2. The communication unit 11 according to this embodiment is configured with a wireless communication module. That is, the communication unit 11 according to this embodiment communicates wirelessly with the vehicles 2. Note that, when at least a part of the system 100 is mounted on the vehicle 2, the communication unit 11 may communicate with the vehicle 2 via a wired connection.
〔記憶部〕
記憶部１２は、プログラム１２１と、言語モデル１２２と、を記憶している。また、本実施形態に係る記憶部１２は、データベース１２３を更に記憶している。すなわち、遠隔監視装置１はデータベース１２３を備える。本実施形態に係る記憶部１２は、半導体メモリ、ハードディスク等で構成されている。
[Storage section]
The storage unit 12 stores a program 121 and a language model 122. The storage unit 12 according to this embodiment further stores a database 123. That is, the remote monitoring device 1 includes the database 123. The storage unit 12 according to this embodiment is configured with a semiconductor memory, a hard disk, etc.
プログラム１２１は、遠隔監視装置１の動作が記述されたものである。 Program 121 describes the operation of the remote monitoring device 1.
言語モデル１２２は、入力された画像の内容を説明する文章を生成する学習済モデル（生成ＡＩ（Artificial Intelligence）の一種）である。本実施形態に係る言語モデル１２２は、例えばＭＶ－ＧＰＴ（End to end Generative Pre-Training for Multimodal Video Captioning）により構築された学習済モデル（例えばＧＰＴ－４）である。この言語モデル１２２は、少なくとも画像が入力されると説明文を出力する。「説明文」は、入力した画像の内容を説明する文章である。 The language model 122 is a trained model (a type of generative AI (Artificial Intelligence)) that generates sentences that explain the content of an input image. The language model 122 in this embodiment is a trained model (e.g., GPT-4) constructed using MV-GPT (End to End Generative Pre-Training for Multimodal Video Captioning). This language model 122 outputs a description when at least an image is input. The "description" is a sentence that explains the content of the input image.
データベース１２３は、動作情報を蓄積するものである。動作情報の詳細については後述する。本実施形態に係るデータベース１２３は、言語モデル１２２が生成した説明文と、問題事象に関する例文と、を更に蓄積する。「問題事象」は、車両２の状況において問題となる事象である。「問題事象」には、例えば下記（１）～（３）の少なくともいずれかが含まれる。
（１）車両２の走行経路上であって当該車両２の進行方向に障害物が存在している。
（２）車両２に乗っている人に異常が生じている。
（３）車両２が故障した。
The database 123 stores operation information. Details of the operation information will be described later. The database 123 according to this embodiment further stores explanatory sentences generated by the language model 122 and example sentences related to problematic events. A "problematic event" is an event that becomes a problem in the situation of the vehicle 2. A "problematic event" includes, for example, at least one of the following (1) to (3):
(1) An obstacle exists on the travel route of vehicle 2 in the direction of travel of vehicle 2.
(2) Something is wrong with the person in vehicle 2.
(3) Vehicle 2 broke down.
また、「問題事象に関する例文」は、問題事象の例を示す文章である。「例文」には、例えば「近くの道路上で人が倒れている」、「車内の人が倒れている」といった文章が含まれる。なお、データベース１２３は、例文を、テキストの形式で蓄積していてもよいし、単語ベクトルの集合の形式で蓄積していてもよい。 Furthermore, "example sentences related to problematic events" are sentences that show examples of problematic events. "Example sentences" include, for example, sentences such as "There is a person lying on the road nearby" and "There is a person lying in a car." Note that database 123 may store example sentences in the form of text, or in the form of a set of word vectors.
なお、記憶部１２は、プログラム１２１、言語モデル１２２およびデータベース１２３のいずれかを格納するものと、その他を格納するものと、に分けられていてもよい。また、プログラム１２１、言語モデル１２２およびデータベース１２３の少なくともいずれかは、システム１００とは別に設けられるとともにシステム１００と通信する記憶装置に格納されていてもよい。また、データベース１２３は、動作情報、説明文および例文のいずれかを蓄積するものと、その他を蓄積するものと、に分けられていてもよい。 The memory unit 12 may be divided into one that stores any of the program 121, language model 122, and database 123, and one that stores the others. Furthermore, at least one of the program 121, language model 122, and database 123 may be stored in a storage device that is provided separately from the system 100 and communicates with the system 100. Furthermore, the database 123 may be divided into one that stores any of the action information, explanatory sentences, and example sentences, and one that stores the others.
〔出力部〕
出力部１４は、車両２の遠隔監視に必要な各種情報を遠隔監視者へ向けて出力する。本実施形態に係る出力部１４は、モニターで構成されている。すなわち、本実施形態に係る出力部１４は、各種情報を遠隔監視者が視認できるように表示する。なお、出力部１４は、スピーカで構成されていてもよいし、モニター及びスピーカで構成されていてもよい。出力部１４がスピーカの場合、出力部１４は各種情報を遠隔監視者が聞き取れるように音声を発する。
[Output section]
The output unit 14 outputs various pieces of information necessary for remote monitoring of the vehicle 2 to the remote monitor. The output unit 14 according to this embodiment is configured as a monitor. That is, the output unit 14 according to this embodiment displays various pieces of information so that the remote monitor can visually recognize them. The output unit 14 may be configured as a speaker, or may be configured as a monitor and a speaker. If the output unit 14 is a speaker, the output unit 14 emits sounds so that the remote monitor can hear the various pieces of information.
〔演算部〕
演算部１３は、取得部１３１と、出力制御部１３２と、生成部１３３と、判断部１３４と、動作部１３５と、を備える。本実施形態に係る遠隔監視装置１は、コンピュータで構成されている。このため、本実施形態に係る演算部１３は、プロセッサで構成されている。このプロセッサが記憶部１２に記憶されているプログラム１２１を図２に示したような流れで実行することにより、プログラム１２１は演算部１３を各制御ブロック１３１～１３４として機能させることができる。
[Calculation section]
The calculation unit 13 includes an acquisition unit 131, an output control unit 132, a generation unit 133, a determination unit 134, and an operation unit 135. The remote monitoring device 1 according to this embodiment is configured with a computer. Therefore, the calculation unit 13 according to this embodiment is configured with a processor. When this processor executes the program 121 stored in the storage unit 12 according to the flow shown in FIG. 2, the program 121 causes the calculation unit 13 to function as each of the control blocks 131 to 134.
（取得部）
取得部１３１は、取得ステップＳ１を実行する。取得ステップＳ１において、取得部１３１は、車両２から、当該車両２の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する。「画像」は、動画であってもよいし静止画であってもよい。本実施形態に係る取得部１３１は、車両２の外側の事象に関する情報および内側の事象に関する情報の少なくとも一方の情報であって、画像とは異なる情報を更に取得する。「画像とは異なる情報」には、例えば音声、車両２が備える各種センサが生成した検知データ等が含まれる。
(Acquisition Department)
The acquisition unit 131 executes an acquisition step S1. In the acquisition step S1, the acquisition unit 131 acquires at least one of an image showing the outside of the vehicle 2 and an image showing the inside of the vehicle 2 from the vehicle 2. The "image" may be a video or a still image. The acquisition unit 131 according to this embodiment further acquires at least one of information relating to events outside the vehicle 2 and information relating to events inside the vehicle 2, which is information other than the image. The "information other than the image" includes, for example, audio, detection data generated by various sensors provided in the vehicle 2, and the like.
（出力制御部）
出力制御部１３２は、取得部１３１が取得した画像を、遠隔監視に必要な各種情報の一つとして出力部１４に表示させる。これにより、遠隔監視者は、車両２の外側の状況および内側の状況の少なくとも一方の状況をリアルタイムで把握することができる。
(Output control section)
The output control unit 132 displays the image acquired by the acquisition unit 131 on the output unit 14 as one of various pieces of information required for remote monitoring. This allows the remote monitor to grasp at least one of the conditions outside and inside the vehicle 2 in real time.
（生成部）
画像を取得した後、生成部１３３は、生成ステップＳ２を実行する。生成ステップＳ２において、生成部１３３は、言語モデル１２２に、取得部１３１が取得した画像を入力し、説明文を得る。生成部１３３が例えば図３左側に示したような画像を言語モデル１２２に入力すると、生成部１３３は、言語モデル１２２から、例えば「左方に車が停まっている」といった説明文を得る。また、生成部１３３が例えば図３中央に示したような画像を言語モデル１２２に入力すると、生成部１３３は、言語モデル１２２から、例えば「歩道に人が座っている」といった説明文を得る。また、生成部１３３が例えば図３右側に示したような画像を言語モデル１２２に入力すると、生成部１３３は、言語モデル１２２から、例えば「車内の人が倒れている」といった説明文を得る。本実施形態に係る生成部１３３は、説明文を生成すると、それをデータベース１２３へ蓄積させる。
(Generation part)
After acquiring the image, the generation unit 133 executes a generation step S2. In the generation step S2, the generation unit 133 inputs the image acquired by the acquisition unit 131 into the language model 122 and obtains a description. When the generation unit 133 inputs an image such as that shown on the left side of FIG. 3 into the language model 122, the generation unit 133 obtains a description such as "A car is parked on the left side" from the language model 122. When the generation unit 133 inputs an image such as that shown in the center of FIG. 3 into the language model 122, the generation unit 133 obtains a description such as "A person is sitting on the sidewalk" from the language model 122. When the generation unit 133 inputs an image such as that shown on the right side of FIG. 3 into the language model 122, the generation unit 133 obtains a description such as "A person in the car is lying down" from the language model 122. After generating a description, the generation unit 133 according to this embodiment stores the generated description in the database 123.
上述したように、本実施形態に係る言語モデルは、ＭＶ－ＧＰＴにより構築された学習済モデルである。このため、本実施形態に係る生成部１３３は、マルチモーダルビデオキャプションの手法を用いて説明文を得る。すなわち、本実施形態に係る生成部１３３は、取得部１３１が取得した画像、および画像とは異なる情報を言語モデル１２２に入力し、当該画像および当該情報の内容を説明する説明文を得るよう構成されている。これにより、言語モデル１２２が、画像以外の情報を加味して状況をより正確に説明する説明文を生成できるため、説明文の内容が問題事象を示しているか否かを後述する判断部１３４がより正確に判断することができる。 As described above, the language model according to this embodiment is a trained model constructed using MV-GPT. Therefore, the generation unit 133 according to this embodiment obtains explanatory text using a multimodal video caption technique. That is, the generation unit 133 according to this embodiment is configured to input the image acquired by the acquisition unit 131 and information other than the image into the language model 122 and obtain explanatory text that explains the content of the image and that information. This allows the language model 122 to generate explanatory text that more accurately describes the situation by taking into account information other than the image, thereby enabling the determination unit 134, described below, to more accurately determine whether the content of the explanatory text indicates a problematic phenomenon.
（判断部）
説明文を生成した後、判断部１３４は、判断ステップＳ３を実行する。判断ステップＳ３において、判断部１３４は、説明文の内容が、車両２の状況において問題となる問題事象の存在を示しているか否かを判断する。本実施形態に係る判断部１３４は、説明文と例文との内容の近さに基づいて判断する。具体的には、判断部１３４は、まず、図４に示したように、説明文を構成する各単語を単語ベクトルにそれぞれ変換する。そして、判断部１３４は、差分情報を算出する。差分情報は、説明文の各単語の単語ベクトルと、予め用意されている（データベース１２３に蓄積されている）、問題事象に関する例文を構成する各単語の単語ベクトルとの差を示す情報である。「差分情報」は、コサイン類似度であってもよいし、ユークリッド距離であってもよい。「コサイン類似度」は、文章の各単語の単語ベクトルと、例文の各単語の単語ベクトルとのなす角（コサインの値）である。「ユークリッド距離」は、文章の各単語の単語ベクトルと、例文の各単語の単語ベクトルとの距離である。そして、判断部１３４は、差分情報が示す差が所定以下となる単語ベクトルに対応する単語（類義語）を複数含む例文が存在した場合に、説明文の内容が問題事象の存在を示していると判断する。これにより、説明文の単語と例文の単語が完全に一致していなくても、説明文の意味するところが例文に近いものであれば、後述する動作部１３５が動作する。このため、問題事象の見逃しを防ぐことができる。
(Judgment Department)
After generating the explanatory sentence, the determination unit 134 executes a determination step S3. In the determination step S3, the determination unit 134 determines whether the content of the explanatory sentence indicates the existence of a problematic phenomenon that is problematic in the situation of the vehicle 2. The determination unit 134 according to the present embodiment makes a determination based on the similarity of the content of the explanatory sentence and the example sentence. Specifically, as shown in FIG. 4 , the determination unit 134 first converts each word constituting the explanatory sentence into a word vector. Then, the determination unit 134 calculates difference information. The difference information is information indicating the difference between the word vector of each word in the explanatory sentence and the word vector of each word constituting the example sentence related to the problematic phenomenon that has been prepared in advance (stored in the database 123). The "difference information" may be cosine similarity or Euclidean distance. The "cosine similarity" is the angle (cosine value) between the word vector of each word in the sentence and the word vector of each word in the example sentence. The "Euclidean distance" is the distance between the word vector of each word in the sentence and the word vector of each word in the example sentence. Then, the determination unit 134 determines that the content of the explanatory sentence indicates the presence of a problematic phenomenon when there is an example sentence containing multiple words (synonyms) corresponding to word vectors whose difference indicated by the difference information is equal to or less than a predetermined value. As a result, even if the words in the explanatory sentence and the words in the example sentence do not completely match, the operation unit 135, which will be described later, will operate as long as the meaning of the explanatory sentence is close to that of the example sentence. This makes it possible to prevent problematic phenomena from being overlooked.
（動作部）
説明文の内容が問題事象の存在を示していると判断部１３４が判断した場合に、動作部１３５は、動作ステップＳ４を実行する。動作ステップＳ４において、動作部１３５は、当該問題事象を解消するための動作を行う。「問題事象を解消するための動作」には、例えば下記（１）、（２）の少なくとも一方の動作が含まれる。
（１）出力部１４にアラート（遠隔監視に必要な各種情報の一つ）を出力させる。
（２）減速、停止および方向転換の少なくともいずれかを指示する制御信号を車両２に送信する。
(Operating part)
When the determination unit 134 determines that the content of the explanation indicates the existence of a problem, the operation unit 135 executes operation step S4. In operation step S4, the operation unit 135 performs an operation to resolve the problem. The "operation to resolve the problem" includes, for example, at least one of the following operations (1) and (2).
(1) The output unit 14 outputs an alert (one of the various types of information required for remote monitoring).
(2) Transmitting a control signal to the vehicle 2 to instruct it to slow down, stop, or change direction.
本実施形態に係る動作部１３５は、説明文の内容が問題事象の存在を示していると判断部１３４が判断した場合、動作情報をデータベース１２３蓄積させる。「動作情報」は、説明文の内容が問題事象の存在を示していると判断部１３４が判断したときの動作部１３５の動作に関する情報である。「動作に関する情報」には、出力部１４が出力したアラートの内容、および制御信号の内容の少なくとも一方が含まれる。これにより、動作情報を、後からシステム１００が行った判断の検証に利用したり、一度行った判断を変更する際の基準に用いたりすることができるようになる。 In this embodiment, the operation unit 135 stores operation information in the database 123 when the determination unit 134 determines that the content of the explanatory text indicates the presence of a problematic event. The "operation information" is information related to the operation of the operation unit 135 when the determination unit 134 determines that the content of the explanatory text indicates the presence of a problematic event. The "information related to the operation" includes at least one of the content of the alert output by the output unit 14 and the content of the control signal. This makes it possible to use the operation information to verify a decision made by the system 100 later, or as a criterion for changing a decision made once.
（判断部・動作部その２）
また、上記判断部１３４は、説明文の内容が問題事象の存在を示しているか否かを判断する度に、データベース１２３に蓄積されている動作情報を参照して、最新の判断と前回（直近の過去）の判断とを比較する。そして、前回の判断が、説明文の内容が問題事象の存在を示しているとの判断（前回の判断により動作情報が蓄積されている場合）であって、最新の判断が、説明文の内容が問題事象の存在を示していないとの判断であった場合、動作部１３５は、問題事象を解消するための動作を停止する。「停止する」には、例えば下記（１）、（２）の少なくとも一方の動作が含まれる。これにより、問題事象が解消した後も、不要となった問題事象を解消するための動作が継続するのを防ぐことができる。
（１）出力部１４に出力させているアラートを停止させる。
（２）加速を指示する制御信号を車両２に送信する。
(Determination and operation part 2)
Furthermore, each time the determination unit 134 determines whether the content of the explanatory text indicates the existence of a problem, it refers to the operation information stored in the database 123 and compares the latest determination with the previous (most recent) determination. If the previous determination was that the content of the explanatory text indicates the existence of a problem (if operation information has been stored based on the previous determination), and the latest determination is that the content of the explanatory text does not indicate the existence of a problem, the operation unit 135 stops the operation to resolve the problem. "Stopping" includes, for example, at least one of the following operations (1) and (2). This makes it possible to prevent the operation to resolve a problem that is no longer necessary from continuing even after the problem has been resolved.
(1) Stop the alert being output by the output unit 14.
(2) A control signal instructing acceleration is transmitted to vehicle 2.
（判断部・動作部その３）
また、本実施形態に係る判断部１３４は、データベース１２３に蓄積されている動作情報を参照して、説明文の内容が問題事象の存在を示しているとの判断が所定期間に所定回数行われたか否かを判断する。そして、説明文の内容が問題事象の存在を示しているとの判断が所定期間に所定回数行われたと判断部１３４が判断した場合、動作部１３５は、第二動作を行う。「第二動作」は、説明文の内容が問題事象の存在を示しているとの所定回数目の判断が行われる前に行っていた動作よりも実効性の高い動作である。「実効性の高い動作」には、例えば下記（１）、（２）の少なくとも一方の動作が含まれる。これにより、問題事象が解消されない状態が継続した場合に、問題事象を解消するための動作を強めることができる。
（１）障害物と衝突する可能性がある旨のアラートを出力部１４に出力させる（それまで、障害物が接近している旨のアラートを出力部１４に出力させていた場合）。
（２）急ブレーキをかけることを指示する制御信号を送信する（それまで、減速および方向転換の少なくともいずれかを指示する制御信号を送信していた場合）。
(Determination and operation part 3)
Furthermore, the determination unit 134 according to this embodiment references the operation information stored in the database 123 to determine whether a predetermined number of times within a predetermined period of time have been determined that the contents of the explanatory text indicate the existence of a problematic event. If the determination unit 134 determines that a predetermined number of times within a predetermined period of time have been determined that the contents of the explanatory text indicate the existence of a problematic event, the operation unit 135 performs a second operation. The "second operation" is an operation that is more effective than the operation performed before the predetermined number of times of determination that the contents of the explanatory text indicate the existence of a problematic event was made. The "highly effective operation" includes, for example, at least one of the following operations (1) and (2). This makes it possible to strengthen the operation to resolve the problematic event if the problematic event remains unresolved.
(1) An alert indicating the possibility of a collision with an obstacle is output from the output unit 14 (if an alert indicating that an obstacle is approaching has been output from the output unit 14 up until that point).
(2) Transmit a control signal instructing the vehicle to apply sudden braking (if a control signal instructing at least one of deceleration and change of direction has been transmitted up until that point).
＜作用効果＞
以上説明してきたシステム１００の言語モデル１２２が出力する、画像の内容を説明する説明文は、認知した複数の事象を紐づけたものに相当する。このため、システム１００によれば、従来のようなデータを事象ごとに分解して認知し、これらを紐付けるという複雑な処理が不要となる。また、システム１００は、問題事象の有無を生成された説明文の内容から判断する。このため、システム１００によれば、言語モデル１２２に自動運転のための特別訓練データを学習させる必要が無い。このため、システム１００によれば、自動運転における学習のための膨大な訓練データを用意したり、それを学習させたりする作業も不要となる。その結果、人の視点で車両２が安全に走行できているか否かを判断する仕組みを容易に構築することができる。
<Action and effect>
The explanatory text describing the content of an image output by the language model 122 of the system 100 described above corresponds to a link between multiple recognized events. Therefore, the system 100 eliminates the need for the complex process of breaking down data into individual events, recognizing them, and linking them together, as in the past. Furthermore, the system 100 determines whether or not a problematic event exists based on the content of the generated explanatory text. Therefore, the system 100 does not require the language model 122 to learn special training data for autonomous driving. Therefore, the system 100 does not require the work of preparing and learning massive amounts of training data for autonomous driving. As a result, it is possible to easily build a mechanism for determining whether the vehicle 2 is traveling safely from a human perspective.
また、このような効果は、例えば、国連が提唱する持続可能な開発目標（ＳＤＧｓ）の目標３「すべての人に健康と福祉を」、目標１１「住み続けられるまちづくりを」等の達成にも貢献するものである。 Furthermore, these effects will also contribute to achieving the United Nations' Sustainable Development Goals (SDGs), such as Goal 3 "Ensure good health and well-being for all" and Goal 11 "Ensure sustainable cities and communities."
＜変形例＞
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。例えば、上記プログラム１２１は、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラム１２１は、有線または無線の任意の伝送媒体を介して上記遠隔監視装置１に供給されてもよい。
<Modification>
The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope of the claims. For example, the program 121 may be recorded on one or more computer-readable recording media, rather than being temporary. The recording media may or may not be included in the device. In the latter case, the program 121 may be supplied to the remote monitoring device 1 via any wired or wireless transmission medium.
また、上記各制御ブロック１３１～１３４の機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。 Furthermore, some or all of the functions of each of the control blocks 131-134 can be realized by logic circuits. For example, the scope of the present invention also includes integrated circuits formed with logic circuits that function as each of the control blocks. In addition, the functions of each of the control blocks can also be realized by, for example, a quantum computer.
また、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 Furthermore, embodiments obtained by appropriately combining the technical means disclosed in different embodiments are also included within the technical scope of the present invention.
＜まとめ＞
本発明の態様１に係るシステムは、カメラを備える車両から、当該車両の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する取得部と、入力された画像の内容を説明する文章を生成する言語モデルに、前記取得部が取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成部と、前記文章の内容が、前記車両の状況において問題となる問題事象の存在を示しているか否かを判断する判断部と、前記文章の内容が前記問題事象の存在を示していると前記判断部が判断した場合に、当該問題事象を解消するための動作を行う動作部と、を備える、構成である。
<Summary>
The system according to aspect 1 of the present invention comprises an acquisition unit that acquires at least one of an image showing the outside of a vehicle and an image showing the inside of the vehicle from a vehicle equipped with a camera; a generation unit that inputs the image acquired by the acquisition unit into a language model that generates a sentence explaining the content of the input image, thereby obtaining a sentence explaining the content of the image; a judgment unit that determines whether the content of the sentence indicates the existence of a problematic phenomenon that is a problem in the situation of the vehicle; and an operation unit that performs an operation to resolve the problematic phenomenon when the judgment unit determines that the content of the sentence indicates the existence of the problematic phenomenon.
本発明の態様２に係るシステムは、上記の態様１において、前記取得部は、前記車両の外側の事象に関する情報および内側の事象に関する情報の少なくとも一方の情報であって、前記画像とは異なる情報を更に取得し、前記生成部は、前記取得部が取得した前記画像および前記情報を前記言語モデルに入力し、当該画像および当該情報の内容を説明する文章を得るよう構成されている、構成としてもよい。 A system according to Aspect 2 of the present invention may be configured as in Aspect 1 above, wherein the acquisition unit further acquires at least one of information relating to events outside the vehicle and information relating to events inside the vehicle, the information being different from the image, and the generation unit is configured to input the image and information acquired by the acquisition unit into the language model to obtain sentences describing the content of the image and the information.
本発明の態様３に係るシステムは、上記の態様１または２において、前記判断部は、前記文章を構成する各単語を単語ベクトルにそれぞれ変換し、前記文章の各単語の単語ベクトルと、予め用意されている、問題事象に関する例文を構成する各単語の単語ベクトルとの差を示す差分情報を算出し、前記差分情報が示す差が所定以下となる単語ベクトルに対応する単語を含む例文が存在した場合に、前記文章の内容が前記問題事象の存在を示していると判断する、構成としてもよい。 A system according to aspect 3 of the present invention may be configured in accordance with aspect 1 or 2 above, wherein the determination unit converts each word constituting the sentence into a word vector, calculates difference information indicating the difference between the word vector of each word in the sentence and the word vector of each word constituting pre-prepared example sentences relating to the problematic phenomenon, and, if there is an example sentence containing a word corresponding to a word vector whose difference indicated by the difference information is equal to or less than a predetermined value, determines that the content of the sentence indicates the presence of the problematic phenomenon.
本発明の態様４に係るシステムは、上記の態様３において、前記差は、前記文章の各単語の単語ベクトルと、前記例文の各単語の単語ベクトルとのコサイン類似度であり、前記判断部は、前記コサイン類似度が所定以上となる単語ベクトルに対応する単語を含む例文が存在した場合に、前記文章の内容が前記問題事象の存在を示していると判断する、構成としてもよい。 A system according to Aspect 4 of the present invention may be configured in Aspect 3 above, where the difference is the cosine similarity between the word vector of each word in the sentence and the word vector of each word in the example sentence, and the determination unit determines that the content of the sentence indicates the presence of the problem phenomenon when there is an example sentence containing a word corresponding to a word vector whose cosine similarity is equal to or greater than a predetermined value.
本発明の態様５に係るシステムは、上記の態様１から４のいずれかにおいて、前記文章の内容が前記問題事象の存在を示していると前記判断部が判断したときの前記動作部の動作に関する情報を蓄積するデータベースを更に備える、構成としてもよい。 The system according to aspect 5 of the present invention may be configured in any one of aspects 1 to 4 above, further comprising a database that stores information regarding the operation of the operation unit when the determination unit determines that the content of the sentence indicates the existence of the problem event.
本発明の態様６に係るシステムは、上記の態様５において、前記判断部は、前記データベースに蓄積されている前記情報を参照して、前記文章の内容が前記問題事象の存在を示しているとの判断が所定期間に所定回数行われたか否かを判断し、前記文章の内容が前記問題事象の存在を示しているとの判断が所定期間に所定回数行われたと前記判断部が判断した場合、前記動作部は、前記文章の内容が前記問題事象の存在を示しているとの所定回数目の判断が行われる前に行っていた前記動作よりも実効性の高い動作を行う、構成としてもよい。 A system according to Aspect 6 of the present invention may be configured in Aspect 5 above, wherein the determination unit references the information stored in the database to determine whether a determination that the content of the sentence indicates the existence of the problematic event has been made a predetermined number of times within a predetermined period of time, and when the determination unit determines that the content of the sentence indicates the existence of the problematic event has been made a predetermined number of times within a predetermined period of time, the operation unit performs an operation that is more effective than the operation performed before the predetermined number of determinations that the content of the sentence indicates the existence of the problematic event were made.
本発明の態様７に係るシステムは、上記の態様５または６において、前記判断部は、前記文章の内容が前記問題事象の存在を示しているか否かを判断する度に、前記データベースに蓄積されている前記情報を参照して、最新の判断と前回の判断とを比較し、前回の判断が、前記文章の内容が前記問題事象の存在を示しているとの判断であって、最新の判断が、前記文章の内容が前記問題事象の存在を示していないとの判断であった場合、前記動作部は、前記問題事象を解消するための動作を停止する、構成としてもよい。 A system according to aspect 7 of the present invention may be configured in the above aspect 5 or 6 such that, each time the determination unit determines whether the content of the text indicates the existence of the problematic event, it references the information stored in the database and compares the latest determination with the previous determination; if the previous determination was that the content of the text indicates the existence of the problematic event and the latest determination is that the content of the text does not indicate the existence of the problematic event, the operation unit stops operation to resolve the problematic event.
本発明の態様８に係るプログラムは、コンピュータに、カメラを備える車両から、当該車両の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する取得ステップと、入力された画像の内容を説明する文章を生成する言語モデルに、前記取得ステップで取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成ステップと、前記文章の内容が、前記車両の状況において問題となる問題事象を示しているか否かを判断する判断ステップと、前記文章の内容が前記問題事象を示していると前記判断ステップで判断した場合に、当該問題事象を解消するための動作を行う動作ステップと、を実行させる、構成である。 A program according to aspect 8 of the present invention causes a computer to execute the following steps: an acquisition step of acquiring at least one of an image showing the exterior and an image showing the interior of a vehicle from a vehicle equipped with a camera; a generation step of inputting the image acquired in the acquisition step into a language model that generates a sentence explaining the content of the input image, thereby obtaining a sentence explaining the content of the image; a determination step of determining whether the content of the sentence indicates a problematic phenomenon that is a problem in the situation of the vehicle; and an operation step of, if it is determined in the determination step that the content of the sentence indicates the problematic phenomenon, performing an operation to resolve the problematic phenomenon.
１００ システム
１ 遠隔監視装置
１１ 通信部
１２ 記憶部
１２１ プログラム
１２２ 言語モデル
１２３ データベース
１３ 演算部
１３１ 取得部
１３２ 出力制御部
１３３ 生成部
１３４ 判断部
１３５ 動作部
１４ 出力部
２ 車両
Ｓ１ 取得ステップ
Ｓ２ 生成ステップ
Ｓ３ 判断ステップ
Ｓ４ 動作ステップ
REFERENCE SIGNS LIST 100 System 1 Remote monitoring device 11 Communication unit 12 Storage unit 121 Program 122 Language model 123 Database 13 Calculation unit 131 Acquisition unit 132 Output control unit 133 Generation unit 134 Determination unit 135 Operation unit 14 Output unit 2 Vehicle S1 Acquisition step S2 Generation step S3 Determination step S4 Operation step
Claims (9)
入力された動画の内容を説明する文章を生成する言語モデルに、前記取得部が取得した前記動画を入力し、当該動画の内容を説明する文章を得る生成部と、
前記文章の内容が、前記車両の走行において問題となる問題事象の存在を示しているか否かを判断する判断部と、
前記文章の内容が前記問題事象の存在を示していると前記判断部が判断した場合に、当該問題事象を解消するための動作を行う動作部と、
を備える、
ことを特徴とするシステム。 an acquisition unit that acquires at least one of a video showing the outside of a vehicle and a video showing the inside of the vehicle from a moving vehicle equipped with a camera;
a generation unit that inputs the video acquired by the acquisition unit into a language model that generates sentences that explain the content of the input video , and obtains sentences that explain the content of the video ;
a determination unit that determines whether the content of the sentence indicates the existence of a problematic event that may cause a problem in the running of the vehicle;
an operation unit that, when the determination unit determines that the content of the sentence indicates the existence of the problem, performs an operation to resolve the problem;
Equipped with
A system characterized by:
前記生成部は、前記取得部が取得した前記動画および前記情報を前記言語モデルに入力し、当該動画および当該情報の内容を説明する文章を得るよう構成されている、
ことを特徴とする請求項１に記載のシステム。 the acquisition unit further acquires at least one of information regarding an event outside the vehicle and information regarding an event inside the vehicle, the information being different from the video ;
The generation unit is configured to input the video and the information acquired by the acquisition unit into the language model and obtain sentences that explain the contents of the video and the information.
The system of claim 1 .
入力された画像の内容を説明する文章を生成する言語モデルに、前記取得部が取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成部と、
前記文章の内容が、前記車両の状況において問題となる問題事象の存在を示しているか否かを判断する判断部と、
前記文章の内容が前記問題事象の存在を示していると前記判断部が判断した場合に、当該問題事象を解消するための動作を行う動作部と、
を備え、
前記判断部は、
前記文章を構成する各単語を単語ベクトルにそれぞれ変換し、
前記文章の各単語の単語ベクトルと、予め用意されている、問題事象に関する例文を構成する各単語の単語ベクトルとの差を示す差分情報を算出し、
前記差分情報が示す差が所定以下となる単語ベクトルに対応する単語を含む例文が存在した場合に、前記文章の内容が前記問題事象の存在を示していると判断する、
ことを特徴とするシステム。 an acquisition unit that acquires at least one of an image showing the outside of a vehicle and an image showing the inside of the vehicle from a vehicle equipped with a camera;
a generation unit that inputs the image acquired by the acquisition unit into a language model that generates a sentence that explains the content of the input image, and obtains a sentence that explains the content of the image;
a determination unit that determines whether the content of the sentence indicates the existence of a problematic event that is a problem in the situation of the vehicle;
an operation unit that, when the determination unit determines that the content of the sentence indicates the existence of the problem, performs an operation to resolve the problem;
Equipped with
The determination unit
Converting each word constituting the sentence into a word vector;
Calculating difference information indicating the difference between the word vector of each word in the sentence and the word vector of each word constituting a pre-prepared example sentence relating to the problem phenomenon;
If there is an example sentence containing a word corresponding to a word vector whose difference indicated by the difference information is equal to or smaller than a predetermined value, it is determined that the content of the sentence indicates the existence of the problem phenomenon.
A system characterized by:
前記判断部は、前記コサイン類似度が所定以上となる単語ベクトルに対応する単語を含む例文が存在した場合に、前記文章の内容が前記問題事象の存在を示していると判断する、
ことを特徴とする請求項３に記載のシステム。 the difference information is a cosine similarity between a word vector of each word in the sentence and a word vector of each word in the example sentence;
the determination unit determines that the content of the sentence indicates the existence of the problem phenomenon when there is an example sentence including a word corresponding to a word vector having a cosine similarity equal to or greater than a predetermined value.
4. The system of claim 3.
ことを特徴とする請求項１に記載のシステム。 The system further includes a database that stores information regarding the operation of the operation unit when the determination unit determines that the content of the sentence indicates the existence of the problem event.
The system of claim 1 .
入力された画像の内容を説明する文章を生成する言語モデルに、前記取得部が取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成部と、
前記文章の内容が、前記車両の状況において問題となる問題事象の存在を示しているか否かを判断する判断部と、
前記文章の内容が前記問題事象の存在を示していると前記判断部が判断した場合に、当該問題事象を解消するための動作を行う動作部と、
前記文章の内容が前記問題事象の存在を示していると前記判断部が判断したときの前記動作部の動作に関する情報を蓄積するデータベースと、
を備え、
前記判断部は、前記データベースに蓄積されている前記情報を参照して、前記文章の内容が前記問題事象の存在を示しているとの判断が所定期間に所定回数行われたか否かを判断し、
前記文章の内容が前記問題事象の存在を示しているとの判断が所定期間に所定回数行われたと前記判断部が判断した場合、前記動作部は、前記文章の内容が前記問題事象の存在を示しているとの所定回数目の判断が行われる前に行っていた前記動作よりも実効性の高い動作を行う、
ことを特徴とするシステム。 an acquisition unit that acquires at least one of an image showing the outside of a vehicle and an image showing the inside of the vehicle from a vehicle equipped with a camera;
a generation unit that inputs the image acquired by the acquisition unit into a language model that generates a sentence that explains the content of the input image, and obtains a sentence that explains the content of the image;
a determination unit that determines whether the content of the sentence indicates the existence of a problematic event that is a problem in the situation of the vehicle;
an operation unit that, when the determination unit determines that the content of the sentence indicates the existence of the problem, performs an operation to resolve the problem;
a database that stores information about the operation of the operation unit when the determination unit determines that the content of the sentence indicates the existence of the problem event;
Equipped with
The determination unit refers to the information stored in the database and determines whether or not a determination that the content of the sentence indicates the existence of the problem event has been made a predetermined number of times within a predetermined period of time,
When the determination unit determines that the content of the sentence indicates the existence of the problem phenomenon a predetermined number of times within a predetermined period, the operation unit performs an operation that is more effective than the operation that was performed before the predetermined number of determinations that the content of the sentence indicates the existence of the problem phenomenon were made.
A system characterized by:
入力された画像の内容を説明する文章を生成する言語モデルに、前記取得部が取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成部と、
前記文章の内容が、前記車両の状況において問題となる問題事象の存在を示しているか否かを判断する判断部と、
前記文章の内容が前記問題事象の存在を示していると前記判断部が判断した場合に、当該問題事象を解消するための動作を行う動作部と、
前記文章の内容が前記問題事象の存在を示していると前記判断部が判断したときの前記動作部の動作に関する情報を蓄積するデータベースと、
を備え、
前記判断部は、前記文章の内容が前記問題事象の存在を示しているか否かを判断する度に、前記データベースに蓄積されている前記情報を参照して、最新の判断と前回の判断とを比較し、
前回の判断が、前記文章の内容が前記問題事象の存在を示しているとの判断であって、最新の判断が、前記文章の内容が前記問題事象の存在を示していないとの判断であった場合、前記動作部は、前記問題事象を解消するための動作を停止する、
ことを特徴とするシステム。 an acquisition unit that acquires at least one of an image showing the outside of a vehicle and an image showing the inside of the vehicle from a vehicle equipped with a camera;
a generation unit that inputs the image acquired by the acquisition unit into a language model that generates a sentence that explains the content of the input image, and obtains a sentence that explains the content of the image;
a determination unit that determines whether the content of the sentence indicates the existence of a problematic event that is a problem in the situation of the vehicle;
an operation unit that, when the determination unit determines that the content of the sentence indicates the existence of the problem, performs an operation to resolve the problem;
a database that stores information about the operation of the operation unit when the determination unit determines that the content of the sentence indicates the existence of the problem event;
Equipped with
the determination unit, each time determining whether the content of the sentence indicates the existence of the problem phenomenon, refers to the information accumulated in the database and compares the latest determination with the previous determination;
If the previous determination was that the content of the sentence indicates the existence of the problem event and the latest determination is that the content of the sentence does not indicate the existence of the problem event, the operation unit stops the operation for resolving the problem event.
A system characterized by:
前記車両の走行経路上であって当該車両の進行方向に障害物が存在していること、There is an obstacle on the travel route of the vehicle in the direction of travel of the vehicle;
前記車両に乗っている人に異常が生じていること、There is something wrong with the person in the vehicle,
前記車両が故障したこと、that the vehicle has broken down;
の少なくともいずれかが含まれる、At least one of the following is included:
請求項１に記載のシステム。The system of claim 1 .
カメラを備える走行中の車両から、当該車両の外側が写った動画および内側が写った動画の少なくとも一方の動画を取得する取得ステップと、
入力された動画の内容を説明する文章を生成する言語モデルに、前記取得ステップで取得した前記動画を入力し、当該動画の内容を説明する文章を得る生成ステップと、
前記文章の内容が、前記車両の走行において問題となる問題事象を示しているか否かを判断する判断ステップと、
前記文章の内容が前記問題事象を示していると前記判断ステップで判断した場合に、当該問題事象を解消するための動作を行う動作ステップと、
を実行させる、
ことを特徴とするプログラム。 On the computer,
an acquisition step of acquiring at least one of a video showing the outside of a vehicle and a video showing the inside of the vehicle from a moving vehicle equipped with a camera;
a generation step of inputting the video acquired in the acquisition step into a language model that generates a sentence that explains the content of the input video , and obtaining a sentence that explains the content of the video ;
a determining step of determining whether the content of the sentence indicates a problematic event that may cause a problem in the running of the vehicle;
an action step of performing an action to resolve the problematic event when it is determined in the determination step that the content of the sentence indicates the problematic event;
Execute
A program characterized by:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023130357A JP7738610B2 (en) | 2023-08-09 | 2023-08-09 | System and Program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023130357A JP7738610B2 (en) | 2023-08-09 | 2023-08-09 | System and Program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2025025521A JP2025025521A (en) | 2025-02-21 |
| JP7738610B2 true JP7738610B2 (en) | 2025-09-12 |
Family
ID=94644967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023130357A Active JP7738610B2 (en) | 2023-08-09 | 2023-08-09 | System and Program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7738610B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7850193B2 (en) * | 2024-03-27 | 2026-04-22 | ソフトバンク株式会社 | Training data generation system, training data generation program, and training data generation method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009205594A (en) | 2008-02-29 | 2009-09-10 | Sogo Keibi Hosho Co Ltd | Security device and suspicious person determining method |
| JP2010170317A (en) | 2009-01-22 | 2010-08-05 | Oki Semiconductor Co Ltd | Vehicle monitoring device, vehicle monitoring system, vehicle monitoring program, and semiconductor device |
| JP2018101317A (en) | 2016-12-21 | 2018-06-28 | ホーチキ株式会社 | Anomaly monitoring system |
| JP2023012856A (en) | 2021-07-14 | 2023-01-26 | パイオニア株式会社 | Image generation apparatus, image generation method, image generation program, and storage medium |
-
2023
- 2023-08-09 JP JP2023130357A patent/JP7738610B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009205594A (en) | 2008-02-29 | 2009-09-10 | Sogo Keibi Hosho Co Ltd | Security device and suspicious person determining method |
| JP2010170317A (en) | 2009-01-22 | 2010-08-05 | Oki Semiconductor Co Ltd | Vehicle monitoring device, vehicle monitoring system, vehicle monitoring program, and semiconductor device |
| JP2018101317A (en) | 2016-12-21 | 2018-06-28 | ホーチキ株式会社 | Anomaly monitoring system |
| JP2023012856A (en) | 2021-07-14 | 2023-01-26 | パイオニア株式会社 | Image generation apparatus, image generation method, image generation program, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2025025521A (en) | 2025-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11577746B2 (en) | Explainability of autonomous vehicle decision making | |
| US11200467B2 (en) | Artificial intelligence apparatus and method for recognizing object included in image data | |
| CN104108395B (en) | Method and apparatus for the configuration of the drive assist system of changing motor vehicles | |
| CN115038936B (en) | System for scene-aware interactions | |
| US10459440B2 (en) | System and method for remotely assisting autonomous vehicle operation | |
| US20190351918A1 (en) | Artificial intelligence apparatus for providing notification related to lane-change of vehicle and method for the same | |
| JP2022525586A (en) | Autonomous vehicle system | |
| JP7593328B2 (en) | Information processing device, information processing method, and information processing program | |
| US20190270408A1 (en) | Remote assist feedback system for autonomous vehicles | |
| JP6141964B2 (en) | Autonomous control device | |
| KR20190098090A (en) | Artificial intelligence apparatus for recognizing speech of user using personalized language model and method for the same | |
| KR20190096307A (en) | Artificial intelligence device providing voice recognition service and operating method thereof | |
| CN111051171B (en) | Detection of anomalies in the interior of an autonomous vehicle | |
| Chen et al. | An advanced driving agent with the multimodal large language model for autonomous vehicles | |
| KR20210057886A (en) | Apparatus and method for preventing vehicle collision | |
| JP7738610B2 (en) | System and Program | |
| US20210334461A1 (en) | Artificial intelligence apparatus and method for generating named entity table | |
| KR20190098089A (en) | Artificial intelligence apparatus for recognizing speech of user in consideration of user's application usage log and method for the same | |
| US20230182754A1 (en) | Determining an anomalous event from a scenario and an action of interest | |
| US20250342326A1 (en) | Trust through transparency: explainable social navigation for autonomous mobile robots via vision-language models | |
| WO2025235195A1 (en) | Visualization of external audio commands | |
| CN119992487A (en) | Vision-Language Planning (VLP) Model with Agent-by-Agent Learning for Autonomous Driving | |
| KR102260574B1 (en) | Deep learning-based autonomous vehicle auditory system for the visually impaired and method thereof | |
| WO2022103346A1 (en) | Automatic lane change system and control method for vehicles | |
| JP7827042B2 (en) | Autonomous Driving System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240321 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250422 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250826 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250902 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7738610 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |