JP7598757B2 - Image processing device and program - Google Patents
Image processing device and program Download PDFInfo
- Publication number
- JP7598757B2 JP7598757B2 JP2020216804A JP2020216804A JP7598757B2 JP 7598757 B2 JP7598757 B2 JP 7598757B2 JP 2020216804 A JP2020216804 A JP 2020216804A JP 2020216804 A JP2020216804 A JP 2020216804A JP 7598757 B2 JP7598757 B2 JP 7598757B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image data
- additional information
- blindness
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Color Image Communication Systems (AREA)
Description
本発明は、画像データを画面上に表示させるとともに、その画像データに対して追加情報を追加して表示させる画像処理装置およびプログラムに関する。 The present invention relates to an image processing device and a program that displays image data on a screen and adds and displays additional information to the image data.
従来、画像データを表示する際、色弱者（色覚異常者）が適切に認識できるように画像データに対して所定の処理を行うことが提案されている。 Conventionally, when displaying image data, it has been proposed to carry out a specific process on the image data so that people with color-blindness (people with color vision deficiencies) can properly recognize the image data.
たとえば特許文献１においては、第１の色と第２の色とを含む画像を構成する画像データを表示する際、色弱者が、第１の色と第２の色とを区別できないと判定した場合には、第１の色と第２の色とのいずれか一方に対して、複数の明度が混在する明度差ディザを加算することが提案されている。 For example, Patent Document 1 proposes that when displaying image data constituting an image including a first color and a second color, if it is determined that a person with color-blindness cannot distinguish between the first color and the second color, a brightness difference dither with a mixture of multiple brightness levels is added to either the first color or the second color.
ここで、画像データを画面上に表示した後、その画像データに関する情報を追加して表示することがある。たとえば文章を含む画像データを表示する際、その文章に対するコメントを追加して表示する場合や、画像データに対して凡例を追加して表示する場合などが考えられる。 Here, after the image data is displayed on the screen, information about the image data may be added and displayed. For example, when displaying image data containing text, it may be necessary to add and display a comment about the text, or to add and display a legend about the image data.
このような場合、色弱者が、追加したコメントや凡例の色を周囲の画像データの色と判別できず、コメントや凡例を認識できない問題が起こり得る。 In such cases, people with color-blindness may not be able to distinguish the color of the added comments or legend from the color of the surrounding image data, and may not be able to recognize the comments or legend.
特許文献１では、表示される画像データ自体に処理を施すことは提案されているが、上述したように画像データに対して追加して表示されるコメントや凡例を、色弱者が認識可能に表示する方法については何も提案されていない。 Patent Document 1 proposes processing the image data itself to be displayed, but does not propose any method for displaying comments and legends added to the image data in a way that can be recognized by people with color-blindness, as described above.
本発明は、上記事情に鑑み、画像データに対して追加して表示される情報を、色弱者が識別し易い色で表示することができる画像処理装置およびプログラムを提供することを目的とするものである。 In view of the above circumstances, the present invention aims to provide an image processing device and program that can display additional information to be displayed on image data in colors that are easily distinguishable by color-blind people.
本発明の画像処理装置は、入力された画像データを画面上に表示させ、かつ画面上に表示された画像に対して追加情報を追加して表示させる表示制御部と、色弱者を特定する特定部と、画像データと特定部より特定された色弱者の種類に基づいて、追加情報の色を決定する色決定部とを備える。 The image processing device of the present invention includes a display control unit that displays input image data on a screen and adds and displays additional information to the image displayed on the screen, an identification unit that identifies a person with color-blindness, and a color determination unit that determines the color of the additional information based on the image data and the type of color-blindness identified by the identification unit.
本発明の画像処理装置およびプログラムによれば、画像データを画面上に表示させ、かつ画面上に表示された画像に対して追加情報を追加して表示させる際、色弱者を特定し、画像データと特定した色弱者の種類に基づいて、上記追加情報の色を決定する。 According to the image processing device and program of the present invention, when image data is displayed on a screen and additional information is added to the image displayed on the screen, a person with color-blindness is identified, and the color of the additional information is determined based on the image data and the type of color-blindness identified.
これにより、画像データに対して追加して表示される追加情報を、色弱者が識別し易い色で表示することができ、追加情報の可読性を向上することができる。 This allows the additional information added to the image data to be displayed in colors that are easy for color-blind people to distinguish, improving the readability of the additional information.
以下、図面を参照して本発明の画像処理装置の一実施形態を用いた画像表示システムについて詳細に説明する。図１は、本実施形態の画像表示システム１の概略構成を示すブロック図である。 Below, an image display system using an embodiment of the image processing device of the present invention will be described in detail with reference to the drawings. Figure 1 is a block diagram showing the schematic configuration of an image display system 1 of this embodiment.
本実施形態の画像表示システム１は、図１に示すように、表示制御装置１０と、表示装置２０とを備えている。表示制御装置１０と表示装置２０とは、有線または無線の通信回線で接続されており、互いに通信可能に構成されている。 As shown in FIG. 1, the image display system 1 of this embodiment includes a display control device 10 and a display device 20. The display control device 10 and the display device 20 are connected by a wired or wireless communication line and are configured to be able to communicate with each other.
表示制御装置１０は、画像データ生成部１１および画像処理部１２を備えている。そして、画像処理部１２は、画像データ解析部１２ａ、表示制御部１２ｂ、特定部１２ｃおよび色決定部１２ｄを備えている。 The display control device 10 includes an image data generation unit 11 and an image processing unit 12. The image processing unit 12 includes an image data analysis unit 12a, a display control unit 12b, a specification unit 12c, and a color determination unit 12d.
本実施形態の表示制御装置１０は、たとえばユーザが作成した文章などを含む画像データを表示装置２０に表示させるとともに、その文章を解析し、読み手が読みやすい文章となるように、文章に対するコメントを上記画像データに重ねてポップアップ表示させる。 The display control device 10 of this embodiment displays image data including, for example, text created by a user on the display device 20, analyzes the text, and displays comments on the text in a pop-up display superimposed on the image data to make the text easier for the reader to read.
画像データ生成部１１は、たとえばMicrosoft社製のWordなどの文書作成アプリケーションを起動することによって、ユーザが作成した文章などを含む画像データを生成する。 The image data generating unit 11 generates image data including text created by the user, for example, by starting a word processing application such as Microsoft Word.
画像処理部１２は、画像データ生成部１１によって生成された画像データに対して所定の処理を施して表示装置２０に表示させる。なお、本実施形態の画像処理部１２は、本発明の画像処理装置に相当する構成である。以下、画像処理部１２の各部の構成について説明する。 The image processing unit 12 performs a predetermined process on the image data generated by the image data generating unit 11 and displays the result on the display device 20. The image processing unit 12 in this embodiment corresponds to the image processing device of the present invention. The configuration of each part of the image processing unit 12 will be described below.
画像データ解析部１２ａは、画像データ生成部１１によって生成された画像データが入力され、その画像データに含まれる文章を解析し、読み手が読みやすい文章であるか否かを解析する。画像データ解析部１２ａは、たとえば文章を構成する文字の大きさや行間が適切に設定されているか否かを解析するが、解析内容についてはこれに限らず、その他の公知な技術を用いることができる。なお、画像データ解析部１２ａに入力される画像データは、Wordによって作成された画像データそのものでもよいし、これをPDF（Portable Document Format）化したファイルでもよい。また、本実施形態においては、画像データ解析部１２ａの解析結果が、本発明の追加情報に相当する。 The image data analysis unit 12a receives the image data generated by the image data generation unit 11, analyzes the text contained in the image data, and analyzes whether the text is easy for the reader to read. For example, the image data analysis unit 12a analyzes whether the size of the characters and the line spacing that make up the text are set appropriately, but the analysis content is not limited to this, and other known techniques can be used. The image data input to the image data analysis unit 12a may be the image data itself created by Word, or it may be a file that has been converted into a PDF (Portable Document Format). In this embodiment, the analysis result of the image data analysis unit 12a corresponds to the additional information of the present invention.
表示制御部１２ｂは、画像データ生成部１１によって生成された画像データを表示装置２０に表示させるとともに、画像データ解析部１２ａの解析結果を上記画像データに追加して表示装置２０に表示させる。 The display control unit 12b causes the display device 20 to display the image data generated by the image data generation unit 11, and also adds the analysis results of the image data analysis unit 12a to the image data and causes the display device 20 to display the image data.
そして、表示制御部１２ｂは、画像データに重ねて解析結果であるコメントをポップアップ表示する際、そのポップアップ表示が、その周囲の画像データの色に対して色弱者にとって認識し易い色で表示する。 Then, when the display control unit 12b displays the comment that is the analysis result as a pop-up superimposed on the image data, the pop-up is displayed in a color that is easy for color-blind people to recognize compared to the color of the surrounding image data.
特定部１２ｃは、色弱者の種類を特定する。色弱者の種類としては、たとえば１型２色覚、２型２色覚、３型２色覚、１型３色覚、２型３色覚および３型３色覚などがある。特定部１２ｃは、たとえば表示装置２０上に表示された色弱者の種類の設定画面上で指定された色弱者の種類を取得し、これにより色弱者の種類を特定する。 The identification unit 12c identifies the type of color-blind person. Examples of types of color-blind people include protanopia, deuteranopia, tritanopia, protanopia, deuteranopia, and tritanopia. The identification unit 12c acquires the type of color-blind person specified on a setting screen for the type of color-blind person displayed on the display device 20, for example, and thereby identifies the type of color-blind person.
色決定部１２ｄは、画像データ生成部１１によって生成された画像データと特定部１２ｃによって特定された色弱者の種類とに基づいて、画像データ解析部１２ａの解析結果であるコメントをポップアップ表示する際に用いられる色、すなわち色弱者が認識し易い色を決定する。色決定部１２ｄにおける色決定処理については、後で詳述する。 The color determination unit 12d determines the colors to be used when displaying the comment that is the analysis result of the image data analysis unit 12a in a pop-up display, i.e., the colors that are easy for color-blind people to recognize, based on the image data generated by the image data generation unit 11 and the type of color-blindness identified by the identification unit 12c. The color determination process in the color determination unit 12d will be described in detail later.
表示制御装置１０は、コンピュータから構成されるものであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random access memory）などの半導体メモリ、ハードディスクなどのストレージ、並びに通信Ｉ／Ｆを備えている。そして、表示制御装置１０のストレージには、本発明の画像処理プログラムの一実施形態がインストールされており、この画像処理プログラムがＣＰＵによって実行されることによって、表示制御装置１０の画像処理部１２が動作する。 The display control device 10 is composed of a computer and includes a CPU (Central Processing Unit), semiconductor memory such as ROM (Read Only Memory) and RAM (Random access memory), storage such as a hard disk, and a communication I/F. An embodiment of the image processing program of the present invention is installed in the storage of the display control device 10, and the image processing unit 12 of the display control device 10 operates when this image processing program is executed by the CPU.
なお、本実施形態においては、画像処理部１２の各部の機能を画像処理プログラムにより実現するようにしたが、これに限らず、一部または全部の機能もしくは制御をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）、その他の電気回路などのハードウェアによって実現するようにしてもよい。 In this embodiment, the functions of each part of the image processing unit 12 are realized by an image processing program, but this is not limited to the above, and some or all of the functions or controls may be realized by hardware such as an ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), or other electrical circuits.
表示装置２０は、液晶ディスプレイなどの表示デバイスから構成される。なお、本実施形態においては、表示制御装置１０と表示装置２０とを別々に構成しているが、たとえばノート型パソコンやタブレット端末を用いて、表示制御装置１０と表示装置２０を一体化した構成としてもよい。 The display device 20 is composed of a display device such as a liquid crystal display. Note that in this embodiment, the display control device 10 and the display device 20 are configured separately, but the display control device 10 and the display device 20 may be integrated into one device, for example, a notebook computer or a tablet terminal.
次に、本実施形態の画像表示システム１における色決定処理について、図２に示すフローチャートを参照しながら説明する。 Next, the color determination process in the image display system 1 of this embodiment will be described with reference to the flowchart shown in FIG.
まず、画像データ生成部１１において、ユーザが作成した文章などを含む画像データが生成され、その生成された画像データが、画像データ解析部１２ａによって取得される（Ｓ１０）。そして、画像データ解析部１２ａにおいて、画像データに含まれる文章の解析が行われる（Ｓ１２）。 First, image data including text created by the user is generated in the image data generation unit 11, and the generated image data is acquired by the image data analysis unit 12a (S10). Then, the image data analysis unit 12a analyzes the text included in the image data (S12).
画像データ解析部１２ａにおける文章の解析によって、コメントを追加表示する必要があると判断された場合には（Ｓ１４，ＹＥＳ）、色決定部１２ｄにおける色決定処理が行われる。以下、本実施形態における色決定処理について、詳細に説明する。 If the analysis of the text in the image data analysis unit 12a determines that a comment needs to be added (S14, YES), the color determination unit 12d performs a color determination process. The color determination process in this embodiment will be described in detail below.
まず、特定部１２ｃによって色弱者の種類が特定される（Ｓ１６）。次いで、色決定部１２ｄは、画像データ生成部１１において生成されたＲＧＢの画像データをＸＹＺ表色系に変換し、さらに画像データを構成する各画素の信号をxy色度図上の色情報に変換する（Ｓ１８）。なお、ＲＧＢからＸＹＺ表色系への変換およびＸＹＺ表色系からxy色度図上の色情報への変換については、既存の式を用いることができる。ＸＹＺ表色系からxy色度図上の色情報への変換については、たとえば下式を用いることができる。
ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）
ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）
First, the type of color-blind person is identified by the identification unit 12c (S16). Next, the color determination unit 12d converts the RGB image data generated by the image data generation unit 11 into the XYZ color system, and further converts the signals of each pixel constituting the image data into color information on the xy chromaticity diagram (S18). Note that existing formulas can be used for the conversion from RGB to the XYZ color system and from the XYZ color system to color information on the xy chromaticity diagram. For example, the following formula can be used for the conversion from the XYZ color system to color information on the xy chromaticity diagram.
x=X/(X+Y+Z)
y=Y/(X+Y+Z)
次いで、色決定部１２ｄは、図３に示すように、ｘｙ色度図上に表した各画素（たとえば図３に示すＰ１、Ｐ２およびＰ３）の色情報を混同色線を利用して、xy色度図上の直線Ｐ上に投影する。具体的には、色決定部１２ｄは、各画素の色情報を含む混同色線と直線Ｐとの交点を計算する（Ｓ２０）。 Then, as shown in FIG. 3, the color determination unit 12d projects the color information of each pixel (for example, P1, P2, and P3 shown in FIG. 3) shown on the xy chromaticity diagram onto a straight line P on the xy chromaticity diagram using a confusion color line. Specifically, the color determination unit 12d calculates the intersection of the confusion color line containing the color information of each pixel and the straight line P (S20).
ここで、混同色線とは、図３に示す混同色中心Ｃから放射状に無数に引かれる直線である。色弱者は、混同色線上の色が、全て直線Ｐとの交点に位置する色に見える。すなわち、色弱者は、混同色線上の色同士を区別することができない。なお、混同色中心Ｃは、１型２色覚の色弱者の場合、（x，y）＝（0.7465，0.2534）であり、２型２色覚の色弱者の場合、（x，y）＝（1.400，-0.400）であり、３型２色覚の色弱者の場合、（x，y）＝（0.1748，0.0）である。 Here, the confusion lines are countless straight lines drawn radially from the confusion center C shown in Figure 3. To a person with color-blindness, all colors on the confusion lines appear to be the colors located at the intersections with the line P. In other words, a person with color-blindness cannot distinguish between colors on the confusion lines. Note that the confusion center C is (x, y) = (0.7465, 0.2534) for a person with protanopia, (x, y) = (1.400, -0.400) for a person with deutanopia, and (x, y) = (0.1748, 0.0) for a person with tritanopia.
また、図３に示す直線Ｐは、１型２色覚の色弱者の場合の直線であり、下式で表すことができる。
ｙ＝1.415919ｘ－0.082680
Moreover, a straight line P shown in FIG. 3 is a straight line for a person with type 1 dichromatic color deficiency, and can be expressed by the following formula.
y = 1.415919x - 0.082680
そして、上述した１型２色覚の他、２型２色覚、３型２色覚、１型３色覚、２型３色覚および３型３色覚の色弱者の場合も、xy色度図上で認識可能な直性Ｐが存在する。 In addition to the above-mentioned protanopia, color-blind people with deuteranopia, tritanopia, protanopia, deuteranopia, and tritanopia also have a direct P that can be recognized on the xy chromaticity diagram.
色決定部１２ｄには、色弱者の種類に応じた混同色線および直線Ｐが予め設定されており、色決定部１２ｄは、特定部１２ｃにより特定された色弱者の種類に基づいて、混同色線および直線Ｐを決定する。 The color determination unit 12d has a confusion color line and a straight line P preset according to the type of color-blind person, and determines the confusion color line and the straight line P based on the type of color-blind person identified by the identification unit 12c.
そして、色決定部１２ｄは、上述したように直線Ｐ上に投影された各投影点の頻度を算出し、図４に示すようなヒストグラムを計算する（Ｓ２２）。次いで、色決定部１２ｄは、図５に示すように、Ｓ２２で計算したヒストグラムを混合ガウス分布でフィッティングする（Ｓ２４）。 Then, the color determination unit 12d calculates the frequency of each projection point projected onto the line P as described above, and calculates a histogram as shown in FIG. 4 (S22). Next, the color determination unit 12d fits the histogram calculated in S22 with a mixed Gaussian distribution as shown in FIG. 5 (S24).
次に、色決定部１２ｄは、図６に示すように、フィッティング関数の極小値（微分係数がゼロになる点）を計算する（Ｓ２６）。そして、色決定部１２ｄは、極小値におけるフィッティング関数の値が小さい順に、コメントに使用する色を決定する（Ｓ２８）。すなわち、色決定部１２ｄは、コメントが１つの場合には、フィッティング関数の値が最も小さい極小値における色をコメントの色として決定する。また、色決定部１２ｄは、コメントが複数である場合には、上述したように極小値におけるフィッティング関数の値が小さい順に、コメントに使用する色を決定する。 Next, as shown in FIG. 6, the color determination unit 12d calculates the minimum value of the fitting function (the point where the differential coefficient is zero) (S26). Then, the color determination unit 12d determines the color to be used for the comment in ascending order of the fitting function value at the minimum value (S28). That is, when there is one comment, the color determination unit 12d determines the color at the minimum value where the fitting function value is the smallest as the color of the comment. Also, when there are multiple comments, the color determination unit 12d determines the color to be used for the comment in ascending order of the fitting function value at the minimum value as described above.
次いで、色決定部１２ｄは、Ｓ２６で決定した色情報を表示制御部１２ｂに出力し、表示制御部１２ｂは、入力されたxy色度図上のxyzの値をＸＹＺ表色系に変換し、さらにＸＹＺ表色系をＲＧＢの信号に変換する（Ｓ３０）。 Next, the color determination unit 12d outputs the color information determined in S26 to the display control unit 12b, and the display control unit 12b converts the input xyz values on the xy chromaticity diagram into the XYZ color system, and further converts the XYZ color system into an RGB signal (S30).
そして、表示制御部１２ｂは、Ｓ２８で変換されたＲＧＢの信号を用いて、画像データ上にコメントを追加表示する（Ｓ３２）。図７は、画像データに含まれる文章に対してコメントＣ１およびコメントＣ２を追加してポップアップ表示した例を示す図である。 Then, the display control unit 12b uses the RGB signal converted in S28 to add and display the comment on the image data (S32). Figure 7 shows an example in which comments C1 and C2 are added to the text included in the image data and displayed as a pop-up.
なお、Ｓ１２における画像データの解析の結果、その文章に対するコメントが無い場合には（Ｓ１４，ＮＯ）、特にポップアップ表示など行うことなく、そのまま処理を終了する。 If the analysis of the image data in S12 shows that there are no comments for the text (S14, NO), the process ends without displaying a pop-up or the like.
上記実施形態の画像表示システム１によれば、画像データを画面上に表示させ、かつ画面上に表示された画像に対して追加情報を追加して表示させる際、画像データと色弱者の種類とに基づいて、上記追加情報の色を決定する。 According to the image display system 1 of the above embodiment, when image data is displayed on a screen and additional information is added to the image displayed on the screen, the color of the additional information is determined based on the image data and the type of color blindness.
これにより、画像データに対して追加して表示される追加情報を、色弱者が識別し易い色で表示することができ、追加情報の可読性を向上することができる。 This allows the additional information added to the image data to be displayed in colors that are easy for color-blind people to distinguish, improving the readability of the additional information.
また、上記実施形態の画像表示システム１によれば、画像データを構成する各画素の情報をｘｙ色度図上の点に変換し、その変換した点を混同色線を用いて色弱者が認識可能な直線Ｐ上に投影した結果に基づいて、上記追加情報の色を決定するようにしたので、色弱者の種類に応じた混同色線および直線Ｐを用いてことによって、色弱者の種類に応じた適切な色を決定することができる。 In addition, according to the image display system 1 of the above embodiment, the information of each pixel constituting the image data is converted into a point on an xy chromaticity diagram, and the color of the additional information is determined based on the result of projecting the converted point onto a line P that can be recognized by a person with color weakness using a color confusion line. Therefore, by using the color confusion line and line P according to the type of color weakness, an appropriate color according to the type of color weakness can be determined.
また、上記実施形態の画像表示システム１によれば、色弱者が認識可能な直線Ｐ上に投影した結果に基づいてヒストグラムを生成し、その生成したヒストグラムを用いて追加情報の色を決定するようにしたので、画像データの色を考慮して追加情報の色を決定することができる。 In addition, according to the image display system 1 of the above embodiment, a histogram is generated based on the results projected onto a straight line P that can be recognized by a color-blind person, and the color of the additional information is determined using the generated histogram, so that the color of the additional information can be determined taking into account the color of the image data.
また、上記実施形態の画像表示システム１によれば、ヒストグラムを所定の関数でフィッティングし、そのフィッティングした関数の極小値に基づいて、追加情報の色を決定するようにしたので、簡易な演算方法によって画像データの色を考慮した追加情報の色を決定することができる。 In addition, according to the image display system 1 of the above embodiment, the histogram is fitted with a predetermined function, and the color of the additional information is determined based on the minimum value of the fitted function, so that the color of the additional information can be determined by a simple calculation method, taking into account the color of the image data.
なお、上記実施形態においては、色決定部１２ｄが、画像データを構成する各画素の信号をxy色度図上の色情報に変換するようにしたが、この際、画像データに対して解像度を低下させる処理を施し、その処理後の各画素の信号をｘｙ色度図上の点に変換するようにしてもよい。これにより、色決定処理の処理速度を上げることができる。 In the above embodiment, the color determination unit 12d converts the signals of each pixel constituting the image data into color information on the xy chromaticity diagram. However, in this case, the image data may be subjected to a process that reduces the resolution, and the signals of each pixel after this process may be converted into points on the xy chromaticity diagram. This can increase the processing speed of the color determination process.
解像度を低下させる処理としては、たとえば画素の間引き処理や、隣接する複数画素をまとめて１つの画素に変換する処理などを用いるようにすればよい。 Examples of processes that can reduce the resolution include pixel thinning and converting multiple adjacent pixels into a single pixel.
また、画像データを構成する各画素の信号をxy色度図上の色情報に変換する際、全ての画素の信号を変換するのではなく、コメントを表示する位置周辺の一部の画素の信号のみを変換するようにしてもよい。これにより、色決定処理の処理速度を上げることができる。なお、コメントを表示する位置周辺の範囲については、予め設定するようにすればよい。 In addition, when converting the signals of each pixel that makes up the image data into color information on the xy chromaticity diagram, instead of converting the signals of all pixels, it is possible to convert only the signals of some of the pixels around the position where the comment is to be displayed. This can increase the processing speed of the color determination process. Note that the range around the position where the comment is to be displayed can be set in advance.
また、上記実施形態においては、ユーザによって作成された文章の解析結果を追加情報として追加表示するようにしたが、追加情報としてはこれに限らず、たとえばユーザが任意に設定入力したコメントを追加情報としてもよいし、凡例を追加情報としてもよく、画像データに対して追加表示される情報であれば如何なるものでもよい。 In addition, in the above embodiment, the analysis results of the text created by the user are displayed as additional information, but the additional information is not limited to this. For example, the additional information may be a comment arbitrarily set and input by the user, or a legend, or any other information that can be added to and displayed in relation to the image data.
また、上記実施形態においては、色決定部１２ｄが、ヒストグラムをフィッティングしたフィッティング関数の極小値を用いて色を決定するようにしたが、たとえば図８Ａに示すようにヒストグラムが極小値を持たない場合もあり得る。 In addition, in the above embodiment, the color determination unit 12d determines the color using the minimum value of the fitting function that fits the histogram, but there may be cases where the histogram does not have a minimum value, for example as shown in FIG. 8A.
このような場合、色決定部１２ｄは、図８Ｂに示すようにヒストグラムを混合ガウス分布でフィッティングした頂点の色または単純に最も頻度が高い色から、直線Ｐ上で予め設定された閾値以上離れた点の色をコメントの色として決定する。 In such a case, the color determination unit 12d determines the color of the comment as the color of the point on the line P that is at least a preset threshold away from the color of the apex of the histogram fitted with a mixed Gaussian distribution as shown in FIG. 8B, or simply the most frequent color.
また、色決定部１２ｄで生成したヒストグラムが、図９に示すように頂点を持たないヒストグラムである場合もあり得る。この場合、色決定部１２ｄは、ヒストグラムの各頻度の各色の明度と、予め設定した無彩色の各色（たとえば（Ｒ，Ｇ，Ｂ）＝（０，０，０）、（Ｒ，Ｇ，Ｂ）＝（６８，６８，６８）、（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，１２８）、（Ｒ，Ｇ，Ｂ）＝（１９６，１９６，１９６）および（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）など）の明度との明度差を算出し、最も明度差が大きい色をコメントの色として決定する。 In addition, the histogram generated by the color determination unit 12d may be a histogram that does not have a peak, as shown in FIG. 9. In this case, the color determination unit 12d calculates the difference in brightness between the brightness of each color of each frequency in the histogram and the brightness of each achromatic color that is preset (for example, (R,G,B)=(0,0,0), (R,G,B)=(68,68,68), (R,G,B)=(128,128,128), (R,G,B)=(196,196,196), and (R,G,B)=(255,255,255)), and determines the color with the largest brightness difference as the color of the comment.
また、上記実施形態においては、色決定部１２ｄが、ヒストグラムを用いてコメントの色を決定するようにしたが、ヒストグラムを用いずに色を決定するようにしてもよい。具体的には、色決定部１２ｄは、直線Ｐ上に投影した各投影点から、直線Ｐ上において最も遠い点Ｘの色をコメントの色として決定するようにしてもよい。 In addition, in the above embodiment, the color determination unit 12d determines the color of the comment using a histogram, but the color may be determined without using a histogram. Specifically, the color determination unit 12d may determine the color of the comment to be the color of point X on the line P that is the furthest from each projection point projected onto the line P.
上述した最も遠い点Ｘを求める方法としては、たとえば図１０に示すように直線Ｐ上で点Ｘを端から少しずつ移動させ、移動後の各位置の場合について、それぞれ各投影点からの距離（図１０に示す例の場合、距離Ｄ１、距離Ｄ２および距離Ｄ３）を求め、その合計を計算する。色決定部１２ｄは、上記合計値が大きい点Ｘの順でコメントの色を決定する。 As a method for finding the above-mentioned farthest point X, for example, as shown in Fig. 10, point X is moved little by little from the end on line P, and for each position after the movement, the distance from each projection point (distance D1 , distance D2, and distance D3 in the example shown in Fig. 10) is found and the total is calculated. The color determination unit 12d determines the color of the comment in descending order of the point X with the largest total value.
また、最も遠い点Ｘを求めるその他の方法として、直線Ｐ上の各投影点の座標の平均値を最も遠い点Ｘとしてもよい。なお、この場合、点Ｘが一つしか求まらないため、複数のコメントの色を決定する場合には、たとえば求めた点Ｘを既存の投影点の一つとして加え、さらに平均値を求めることで２番目以降のコメントの色を決定するようにすればよい。 As another method for finding the farthest point X, the average value of the coordinates of each projection point on the line P may be used as the farthest point X. In this case, since only one point X is found, when determining the colors of multiple comments, for example, the found point X can be added as one of the existing projection points, and the average value can be found to determine the colors of the second and subsequent comments.
本発明に関し、さらに以下の付記を開示する。
（付記）
The present invention further discloses the following supplementary notes.
(Additional Note)
本発明の画像処理装置において、色決定部は、画像データを構成する各画素の情報をｘｙ色度図上の点に変換し、その変換した点を、色弱者の種類に応じた混同色線を用いて上記色弱者が認識可能な直線上に投影した結果に基づいて、追加情報の色を決定することができる。 In the image processing device of the present invention, the color determination unit converts the information of each pixel constituting the image data into a point on an xy chromaticity diagram, and determines the color of the additional information based on the result of projecting the converted points onto a straight line that can be recognized by the color-blind person using a confusion color line according to the type of color-blind person.
本発明の画像処理装置において、色決定部は、色弱者が認識可能な直線上に投影した結果に基づいてヒストグラムを生成し、その生成したヒストグラムを用いて追加情報の色を決定することができる。 In the image processing device of the present invention, the color determination unit generates a histogram based on the results of projecting onto a straight line that can be recognized by a color-blind person, and can use the generated histogram to determine the color of the additional information.
また、本発明の画像処理装置において、色決定部は、ヒストグラムを所定の関数でフィッティングし、そのフィッティングした関数の極小値に基づいて、追加情報の色を決定することができる。 In addition, in the image processing device of the present invention, the color determination unit can fit the histogram with a predetermined function and determine the color of the additional information based on the minimum value of the fitted function.
また、本発明の画像処理装置において、色決定部は、画像データに対して解像度を低下させる処理を施し、その処理後の各画素の情報をｘｙ色度図上の点に変換することができる。 In addition, in the image processing device of the present invention, the color determination unit can perform a process to reduce the resolution of the image data and convert the information of each pixel after the process into a point on the xy chromaticity diagram.
本発明の画像処理プログラムは、入力された画像データを画面上に表示させるステップと、画像データを構成する各画素をｘｙ色度図上の点に変換し、その変換した点を混同色線を用いて色弱者が認識可能な直線上に投影した結果に基づいて、追加情報の色を決定するステップと、画面上に表示された画像に対して、追加情報を決定した色で追加して表示させるステップとをコンピュータに実行させる。 The image processing program of the present invention causes a computer to execute the steps of: displaying input image data on a screen; converting each pixel constituting the image data into a point on an xy chromaticity diagram, projecting the converted points onto a straight line recognizable by a color-blind person using a color confusion line, and determining the color of the additional information based on the result; and adding and displaying the additional information in the determined color to the image displayed on the screen.
１ 画像表示システム
１０ 表示制御装置
１１ 画像データ生成部
１２ 画像処理部
１２ａ 画像データ解析部
１２ｂ 表示制御部
１２ｃ 特定部
１２ｄ 色決定部
２０ 表示装置
Ｃ 混同色中心
Ｃ１ コメント
Ｃ２ コメント
1 Image display system 10 Display control device 11 Image data generation unit 12 Image processing unit 12a Image data analysis unit 12b Display control unit 12c Identification unit 12d Color determination unit 20 Display device C Confusion color center C1 Comment C2 Comment
Claims (5)
色弱者の種類を特定する特定部と、
前記画像データと前記特定部により特定された色弱者の種類に基づいて、前記追加情報の色を決定する色決定部とを備え、
前記色決定部は、前記画像データを構成する各画素の情報をｘｙ色度図上の点に変換し、該変換した点を、前記色弱者の種類に応じた混同色線を用いて前記色弱者が認識可能な直線上に投影した結果に基づいて、前記追加情報の色を決定する画像処理装置。 a display control unit that displays the input image data on a screen and adds and displays additional information to the image displayed on the screen;
An identification unit for identifying a type of color blindness;
a color determination unit that determines a color of the additional information based on the image data and the type of color-blindness identified by the identification unit ,
The color determination unit is an image processing device that converts the information of each pixel that constitutes the image data into a point on an xy chromaticity diagram, and determines the color of the additional information based on the result of projecting the converted points onto a straight line that can be recognized by the color-blind person using a color confusion line that corresponds to the type of color-blindness .
色弱者の種類を特定するステップと、
前記画像データと前記特定した色弱者の種類に基づいて、追加情報の色を決定するステップと、
前記画面上に表示された画像に対して、前記追加情報を前記決定した色で追加して表示させるステップとをコンピュータに実行させる画像処理プログラムであって、
前記色を決定するステップにおいて、前記画像データを構成する各画素の情報をｘｙ色度図上の点に変換し、該変換した点を、前記色弱者の種類に応じた混同色線を用いて前記色弱者が認識可能な直線上に投影した結果に基づいて、前記追加情報の色を決定する画像処理プログラム。 displaying the input image data on a screen;
Identifying a type of color blindness;
determining a color of the additional information based on the image data and the identified type of color blindness;
and adding and displaying the additional information in the determined color to the image displayed on the screen ,
An image processing program that, in the step of determining the color, converts the information of each pixel that constitutes the image data into a point on an xy chromaticity diagram, and determines the color of the additional information based on the result of projecting the converted point onto a straight line that can be recognized by the color-blind person using a confusion color line corresponding to the type of color-blindness.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020216804A JP7598757B2 (en) | 2020-12-25 | 2020-12-25 | Image processing device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020216804A JP7598757B2 (en) | 2020-12-25 | 2020-12-25 | Image processing device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022102204A JP2022102204A (en) | 2022-07-07 |
| JP7598757B2 true JP7598757B2 (en) | 2024-12-12 |
Family
ID=82273528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020216804A Active JP7598757B2 (en) | 2020-12-25 | 2020-12-25 | Image processing device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7598757B2 (en) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006053682A (en) | 2004-08-10 | 2006-02-23 | Nikon Corp | Image composition apparatus and method |
| JP2009071541A (en) | 2007-09-12 | 2009-04-02 | Ricoh Co Ltd | Image processing apparatus, image processing method, program, and recording medium |
| WO2009150946A1 (en) | 2008-06-09 | 2009-12-17 | コニカミノルタホールディングス株式会社 | Information conversion method, information conversion device, and information conversion program |
| JP2011024191A (en) | 2009-06-17 | 2011-02-03 | Ricoh Co Ltd | Image processing apparatus, image processing method, program, and recording medium |
| JP2011043711A (en) | 2009-08-21 | 2011-03-03 | Ricoh Co Ltd | Image forming apparatus, image display method, program and recording medium |
| JP2011250167A (en) | 2010-05-27 | 2011-12-08 | Sony Corp | Color conversion apparatus, color conversion method and program |
| JP2014123891A (en) | 2012-12-21 | 2014-07-03 | Toshiba Corp | Video processing apparatus, video processing method and video processing program |
| JP2018098525A (en) | 2016-12-08 | 2018-06-21 | 東洋インキＳｃホールディングス株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP2019220748A (en) | 2018-06-15 | 2019-12-26 | 三菱電機エンジニアリング株式会社 | Color information adjustment device, color information adjustment method, and color information adjustment system |
-
2020
- 2020-12-25 JP JP2020216804A patent/JP7598757B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006053682A (en) | 2004-08-10 | 2006-02-23 | Nikon Corp | Image composition apparatus and method |
| JP2009071541A (en) | 2007-09-12 | 2009-04-02 | Ricoh Co Ltd | Image processing apparatus, image processing method, program, and recording medium |
| WO2009150946A1 (en) | 2008-06-09 | 2009-12-17 | コニカミノルタホールディングス株式会社 | Information conversion method, information conversion device, and information conversion program |
| JP2011024191A (en) | 2009-06-17 | 2011-02-03 | Ricoh Co Ltd | Image processing apparatus, image processing method, program, and recording medium |
| JP2011043711A (en) | 2009-08-21 | 2011-03-03 | Ricoh Co Ltd | Image forming apparatus, image display method, program and recording medium |
| JP2011250167A (en) | 2010-05-27 | 2011-12-08 | Sony Corp | Color conversion apparatus, color conversion method and program |
| JP2014123891A (en) | 2012-12-21 | 2014-07-03 | Toshiba Corp | Video processing apparatus, video processing method and video processing program |
| JP2018098525A (en) | 2016-12-08 | 2018-06-21 | 東洋インキＳｃホールディングス株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP2019220748A (en) | 2018-06-15 | 2019-12-26 | 三菱電機エンジニアリング株式会社 | Color information adjustment device, color information adjustment method, and color information adjustment system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022102204A (en) | 2022-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10296803B2 (en) | Image display apparatus, image display method, and computer program product | |
| US6140997A (en) | Color feature extracting apparatus and method therefor capable of easily transforming a RGB color space into a color space close to human sense | |
| EP3499456B1 (en) | Circuit device, electronic instrument, and error detection method | |
| CN110164341B (en) | Circuit device, electronic apparatus, and error detection method | |
| US7729013B2 (en) | Image processing apparatus, image processing method, and computer program product | |
| JP4423076B2 (en) | Recognition object cutting apparatus and method | |
| JP2019015893A (en) | Image processing apparatus, display system, image processing method, and program | |
| US10931942B2 (en) | Evaluation system and evaluation method | |
| JP7598757B2 (en) | Image processing device and program | |
| EP3358502A1 (en) | Image processing device, image processing method and computer-readable medium | |
| US7071950B2 (en) | Super imposed image display color selection system and method | |
| US11094093B2 (en) | Color processing program, color processing method, color sense inspection system, output system, color vision correction image processing system, and color vision simulation image processing system | |
| CN114942815A (en) | Method, apparatus, device and storage medium for presenting information | |
| US8315458B2 (en) | Image-processing device, image-forming device, image-processing method, and computer readable medium | |
| US12456228B2 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium storing information processing program | |
| JP2018157270A (en) | Image processing apparatus, image processing method, and program | |
| KR20170025173A (en) | Method and apparatus for detecting parking area | |
| US20100245862A1 (en) | Image-processing device, image-forming device, image-processing method, and computer readable medium | |
| JPH08339279A (en) | Picture output device | |
| JP2011188367A (en) | Image processing apparatus, image processing method, image processing program and recording medium | |
| JP2010231278A (en) | Image processing apparatus, image forming apparatus, and program | |
| JP6808575B2 (en) | Color scheme conversion method, color scheme conversion device and program | |
| KR20070093431A (en) | Use of input black and white bitmaps to generate highlighted anti-aliased bitmaps | |
| US11467784B2 (en) | Information processing apparatus, image collating method, and program | |
| WO2022123654A1 (en) | Information processing device and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231102 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240806 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240904 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241119 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7598757 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |