JP7665165B2

JP7665165B2 - Computer program, information processing device, and information processing method

Info

Publication number: JP7665165B2
Application number: JP2024109180A
Authority: JP
Inventors: 栄美田名後; 正樹河野
Original assignee: FENRIR INC.
Current assignee: FENRIR INC.
Priority date: 2023-07-07
Filing date: 2024-07-05
Publication date: 2025-04-21
Anticipated expiration: 2044-07-05
Also published as: JP2025096308A; JP2025010527A

Description

本発明は、絵コンテの作成を支援するコンピュータプログラム、情報処理装置、及び情報処理方法に関する。 The present invention relates to a computer program, an information processing device, and an information processing method that support the creation of storyboards.

映像制作、アニメーション制作の現場では、イメージの共有のために第一義的に、簡単な手書きのポンチ絵を時系列に並べた絵コンテを作成する。昨今では、旧来の手書きのポンチ絵の絵コンテの作成から、画像編集ソフトウェアを用いて描かれた絵を並べる絵コンテの作成が可能となっている。制作される映像をイメージするために、並べられた画像を続けて再生して動画として出力する機能なども制作支援技術として提案されている（特許文献１等）。 In video and animation production, storyboards are primarily created in order to share the image of the production. These days, it is possible to move away from the traditional method of creating storyboards using hand-drawn rough sketches and create storyboards that use images drawn using image editing software. Production support technologies have also been proposed that include a function to play the images in sequence and output them as a video in order to visualize the video to be produced (Patent Document 1, etc.).

画像処理に関するハードウェアの技術進歩により、画像編集プログラムの機能は、多種多様に膨大化しており、絵コンテを作成する機能を有しているとしても、他の機能を外すことができない。絵コンテを作成する機能のみを欲しているユーザにとって、そのような画像編集プログラムを使用することは、他の機能があることで高コストになったり、より処理能力が高いハードウェアが必要になったりするなど、冗長な構成であった。 Due to technological advances in image processing hardware, the functions of image editing programs have become increasingly diverse and extensive, and even if a program has the ability to create storyboards, it is not possible to exclude other functions. For users who only want the ability to create storyboards, using such an image editing program is a redundant configuration, as the inclusion of other functions increases costs and requires hardware with higher processing power.

特開２００５－２８５０７６号公報JP 2005-285076 A

本発明は、手軽に絵コンテを作成できるように機能を絞ったコンピュータプログラム、情報処理装置、及び情報処理方法を提供することを目的とする。 The present invention aims to provide a computer program, an information processing device, and an information processing method with limited functionality to enable easy creation of storyboards.

本開示の一実施形態のコンピュータプログラムは、タッチパネル内蔵のディスプレイを備えるコンピュータに、絵コンテを構成する複数のコマにそれぞれ対応する複数のオブジェクトを、各コマに対して描画された画像のサムネイルと共に時系列に並べて前記ディスプレイに表示し、前記複数のオブジェクトの中から、編集対象のコマに対応するオブジェクトの選択を前記ディスプレイ上で受け付け、選択されたオブジェクトに対応するコマの編集画面を、前記複数のオブジェクトと同一画面内に表示させ、表示させた編集画面にて、前記コマへの描画編集を受け付け、前記同一画面内に、前記複数のコマを、設定されている時間軸に合わせて動画として再生させる再生ボタンを表示し、前記再生ボタンが前記ディスプレイ上で選択されると、前記複数のコマを動画として再生させる処理を実行させる。 A computer program according to an embodiment of the present disclosure causes a computer having a display with a built-in touch panel to display on the display a plurality of objects corresponding to a plurality of frames constituting a storyboard in chronological order together with thumbnails of images drawn for each frame, to accept on the display a selection of an object corresponding to a frame to be edited from among the plurality of objects, to display an editing screen for the frame corresponding to the selected object on the same screen as the plurality of objects, to accept drawing edits for the frame on the displayed editing screen, to display on the same screen a play button for playing the plurality of frames as a video according to a set time axis, and to execute a process for playing the plurality of frames as a video when the play button is selected on the display.

本開示の一実施形態の情報処理装置は、タッチパネル内蔵のディスプレイと、処理部とを備え、前記処理部は、絵コンテを構成する複数のコマにそれぞれ対応する複数のオブジェクトを、各コマに対して描画された画像のサムネイルと共に時系列に並べて前記ディスプレイに表示し、前記複数のオブジェクトの中から、編集対象のコマに対応するオブジェクトの選択を受け付け、選択されたオブジェクトに対応するコマの編集画面を、前記複数のオブジェクトと同一画面内に表示させ、表示させた編集画面にて、前記コマへの描画編集を受け付け、前記同一画面内に、前記複数のコマを、設定されている時間軸に合わせて動画再生させる再生ボタンを表示し、前記再生ボタンが前記ディスプレイ上で選択されると、前記複数のコマを動画再生させる処理部を備える。 An information processing device according to an embodiment of the present disclosure includes a display with a built-in touch panel and a processing unit, which displays on the display a plurality of objects corresponding to a plurality of frames constituting a storyboard in chronological order together with thumbnails of images drawn for each frame, accepts selection of an object corresponding to a frame to be edited from among the plurality of objects, displays an editing screen for the frame corresponding to the selected object on the same screen as the plurality of objects, accepts drawing edits for the frame on the displayed editing screen, displays on the same screen a play button for playing a video of the plurality of frames according to a set time axis, and includes a processing unit for playing a video of the plurality of frames when the play button is selected on the display.

本開示の一実施形態の情報処理方法は、タッチパネル内蔵のディスプレイを備えるコンピュータが、絵コンテを構成する複数のコマにそれぞれ対応する複数のオブジェクトを、各コマに対して描画された画像のサムネイルと共に時系列に並べて前記ディスプレイに表示し、前記複数のオブジェクトの中から、編集対象のコマに対応するオブジェクトの選択を、前記ディスプレイ上で受け付け、選択されたオブジェクトに対応するコマの編集画面を、前記複数のオブジェクトと同一画面内に表示させ、表示させた編集画面にて、前記コマへの描画編集を受け付け、前記同一画面内に、前記複数のコマを、設定されている時間軸に合わせて動画再生させる再生ボタンを表示し、前記再生ボタンが前記ディスプレイ上で選択されると、前記複数のコマを動画再生させる。 In an information processing method according to an embodiment of the present disclosure, a computer equipped with a display incorporating a touch panel displays on the display a plurality of objects corresponding to a plurality of frames constituting a storyboard in chronological order together with thumbnails of images drawn for each frame, accepts on the display a selection of an object corresponding to a frame to be edited from among the plurality of objects, displays an editing screen for the frame corresponding to the selected object on the same screen as the plurality of objects, accepts drawing edits for the frame on the displayed editing screen, displays on the same screen a play button for playing a video of the plurality of frames according to a set time axis, and plays a video of the plurality of frames when the play button is selected on the display.

画像処理の分野において、各コマのサムネイルの表示と、画像編集の操作の受付とでは、ＯＳ（Operating System）や、プログラムに基づく制御のベースとなるソフトウェアの呼び出しに関し、呼び出す際のメモリの参照の仕方や、メモリへの展開の仕方が異なることがある。この場合、同一画面内に表示するデータとして、いずれも一時記憶領域に保持しながら編集を受け付けたり、動画を表示したりすることは、シンプルな構成であっても容易ではなく、メモリ等のハードウェア資源が必ずしも十分な環境で使用されるとは限られないことから、従来の画像編集プログラムで実現されている例は少なかった。更に、上述のような参照の仕方や、メモリへの展開の仕方は、ＯＳのアップデートや、ベースとなるソフトウェアのアップデートによって、それらの方法が変更される場合もある。 In the field of image processing, displaying thumbnails of each frame and accepting image editing operations may differ in the way memory is referenced and expanded into memory when calling the OS (Operating System) or software that is the basis for program-based control. In this case, accepting edits and displaying videos while holding both in temporary storage as data to be displayed on the same screen is not easy even in a simple configuration, and since the data is not always used in an environment with sufficient hardware resources such as memory, there have been few examples of this being achieved in conventional image editing programs. Furthermore, the above-mentioned methods of reference and expansion into memory may change when the OS or the underlying software is updated.

手軽に絵コンテを作成できるように機能を絞ったコンピュータプログラムを実現するにあたって、機能をシンプルに絞り込むことのみならず、シンプルにするためにソフトウェアの構成には、工夫を要する。上述したように、メモリ及び描画用のハードウェア資源に限りがあるような、タブレット型情報端末又はスマートフォンのような情報端末では特に、メモリの参照の仕方が異なるサムネイルの表示及び編集の受け付けは、同一画面内では実行されていなかった。 In order to realize a computer program with limited functionality to easily create storyboards, it is necessary not only to simplify the functions, but also to devise a software configuration to make it simple. As mentioned above, especially in information terminals such as tablet information terminals or smartphones that have limited memory and hardware resources for drawing, displaying thumbnails and accepting edits, which have different ways of referencing memory, have not been performed on the same screen.

本開示のコンピュータプログラム、情報処理装置、及び情報処理方法では、タッチパネル内蔵のディスプレイを備えるタブレット端末、又はスマートフォン等にて、絵コンテの各コマのサムネイルの表示と、選択したコマへの画像の編集とが同一画面内で実現される。 The computer program, information processing device, and information processing method disclosed herein enable display of thumbnails of each storyboard frame and editing of the image of a selected frame on the same screen on a tablet terminal or smartphone equipped with a display with a built-in touch panel.

本開示の一実施形態のコンピュータプログラムは、前記コンピュータに、前記編集画面を表示中、前記複数のコマに対応する前記複数のオブジェクトの表示方法を切り替えるインタフェースを表示し、前記インタフェースが選択される都度、前記複数のオブジェクトの表示方法を切り替える処理を実行させてもよい。 A computer program according to an embodiment of the present disclosure may cause the computer to display an interface for switching the display method of the plurality of objects corresponding to the plurality of frames while the editing screen is being displayed, and to execute a process for switching the display method of the plurality of objects each time the interface is selected.

本開示の一実施形態のコンピュータプログラムは、前記コンピュータに、前記再生ボタンが選択された場合に前記動画と同期させて出力する音の波形を、前前記複数のコマを時系列に並べた前記複数のオブジェクトと略平行に表示する処理を実行させてもよい。 A computer program according to an embodiment of the present disclosure may cause the computer to execute a process of displaying a waveform of a sound that is output in synchronization with the video when the play button is selected, approximately parallel to the plurality of objects that are a chronological arrangement of the previous plurality of frames.

本開示の一実施形態のコンピュータプログラムは、前記コンピュータに、前記複数のコマを時系列に並べた前記複数のオブジェクトに重畳させて、前記並べられた方向に移動可能にカーソルを表示し、前記カーソルの移動に応じて、前記複数のコマを切り換えつつ表示する処理を実行させてもよい。 A computer program according to an embodiment of the present disclosure may cause the computer to execute a process of superimposing the plurality of frames on the plurality of objects arranged in chronological order, displaying a cursor movable in the arranged direction, and switching between and displaying the plurality of frames in response to the movement of the cursor.

本開示の一実施形態のコンピュータプログラムは、前記コンピュータに、前記コマそれぞれに対応する前記動画における再生時間を表示する処理を実行させてもよい。 A computer program according to an embodiment of the present disclosure may cause the computer to execute a process of displaying the playback time of the video corresponding to each of the frames.

本開示のコンピュータプログラムによれば、各コマのサムネイルを表示しつつ、そのサムネイルからいずれか任意のものを選択して、前後のコマのサムネイルを確認しながら同一画面内でコマの編集が可能である。更に、編集されたコマを時系列に表示する動画再生も、画面の切り替えなしに実行できる。このように、絵コンテの制作に必要な機能に絞ったコンピュータプログラムが実現される。 According to the computer program disclosed herein, while thumbnails of each frame are displayed, any one of the thumbnails can be selected, and a frame can be edited on the same screen while checking thumbnails of the previous and next frames. Furthermore, video playback that displays the edited frames in chronological order can also be performed without switching screens. In this way, a computer program that focuses on the functions necessary for storyboard production is realized.

本開示の情報処理装置の構成を示すブロック図である。1 is a block diagram showing a configuration of an information processing device according to the present disclosure. 情報処理装置にて実行される処理手順の一例を示すフローチャートである。11 is a flowchart illustrating an example of a processing procedure executed by an information processing device. 情報処理装置にて実行される処理手順の一例を示すフローチャートである。11 is a flowchart illustrating an example of a processing procedure executed by an information processing device. 情報処理装置にて実行される処理手順の一例を示すフローチャートである。11 is a flowchart illustrating an example of a processing procedure executed by an information processing device. 絵コンテ作成画面の一例を示す図である。FIG. 13 is a diagram showing an example of a storyboard creation screen. 絵コンテ作成画面の他の一例を示す図である。FIG. 13 is a diagram showing another example of the storyboard creation screen. 絵コンテ作成画面の他の一例を示す図である。FIG. 13 is a diagram showing another example of the storyboard creation screen. 動画再生時の絵コンテ作成画面の一例を示す。13 shows an example of a storyboard creation screen during video playback. 表示切替ボタンが選択された絵コンテ作成画面の一例を示す。13 shows an example of the storyboard creation screen with the display switching button selected. 絵コンテ作成画面の他の一例を示す図である。FIG. 13 is a diagram showing another example of the storyboard creation screen. 絵コンテ作成画面の他の一例を示す図である。FIG. 13 is a diagram showing another example of the storyboard creation screen. 変形例における絵コンテ作成画面の一例を示す図である。FIG. 13 is a diagram showing an example of a storyboard creation screen in a modified example. コメント追加ボタンの説明図であるAn explanatory diagram of a comment addition button. 第２編集画面における操作受付の処理手順の一例を示すフローチャートである。10 is a flowchart illustrating an example of a processing procedure for accepting an operation on the second editing screen. 第２編集画面の表示例を示す。13 shows a display example of a second editing screen. 第２編集画面の表示例を示す。13 shows a display example of a second editing screen.

本開示をその実施の形態を示す図面を参照して具体的に説明する。以下の実施の形態では、本開示のコンピュータプログラムを利用した絵コンテの作成方法について説明する。 The present disclosure will be specifically described with reference to drawings showing embodiments thereof. In the following embodiment, a method for creating a storyboard using the computer program of the present disclosure will be described.

図１は、本開示の情報処理装置１の構成を示すブロック図である。情報処理装置１は、タッチパネル内蔵のディスプレイを表示部１３として備えるタブレット端末である。情報処理装置１は、スマートフォンであってもよい。情報処理装置１は、デスクトップ型又はラップトップ型のパーソナルコンピュータであってもよい。 FIG. 1 is a block diagram showing the configuration of an information processing device 1 of the present disclosure. The information processing device 1 is a tablet terminal equipped with a display with a built-in touch panel as a display unit 13. The information processing device 1 may be a smartphone. The information processing device 1 may be a desktop or laptop personal computer.

情報処理装置１は、処理部１０、記憶部１１、通信部１２、表示部１３、操作部１４、及び音声入出力部１５を備える。 The information processing device 1 includes a processing unit 10, a memory unit 11, a communication unit 12, a display unit 13, an operation unit 14, and an audio input/output unit 15.

処理部１０は、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、及び／又は、ＭＰＵ（Micro-Processing Unit ）を用いたプロセッサ１００を含む。処理部１０は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory ）、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリ１０１を含む。処理部１０は、処理中に生成したデータをメモリ１０１又は記憶部１１に記憶しつつ、記憶部１１に記憶されている絵コンテプログラムＰ１に基づき演算を実行する。 The processing unit 10 includes a processor 100 using a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and/or an MPU (Micro-Processing Unit). The processing unit 10 includes a memory 101 such as a DRAM (Dynamic Random Access Memory), an SRAM (Static Random Access Memory), or an SDRAM (Synchronous Dynamic Random Access Memory). The processing unit 10 stores data generated during processing in the memory 101 or the storage unit 11, and executes calculations based on a storyboard program P1 stored in the storage unit 11.

記憶部１１は、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の不揮発性メモリを用いる。記憶部１１は、処理部１０が用いるデータを記憶する。記憶部１１は、絵コンテプログラムＰ１を記憶する。絵コンテプログラムＰ１は、記憶媒体９に記憶されている絵コンテプログラムＰ９を処理部１０が読み出して記憶部１１に複製したものであってよい。絵コンテプログラムＰ１は、処理部１０が通信部１２を介して他のプログラムサーバ装置からダウンロードし、記憶部１１に実行可能に記憶したものでもよい。 The storage unit 11 uses a non-volatile memory such as a flash memory or an SSD (Solid State Drive). The storage unit 11 stores data used by the processing unit 10. The storage unit 11 stores a storyboard program P1. The storyboard program P1 may be a storyboard program P9 stored in the storage medium 9 that is read by the processing unit 10 and copied to the storage unit 11. The storyboard program P1 may be a program that the processing unit 10 downloads from another program server device via the communication unit 12 and stores in an executable manner in the storage unit 11.

通信部１２は、インターネット又はキャリアネットワークを含むネットワークを介したサーバ装置２との通信を実現する。通信部１２は具体的には、ネットワークカードである。通信部１２は、キャリアネットワークと接続する無線通信モジュールであってもよいし、Ｗｉ－Ｆｉ（登録商標）用の無線通信モジュールであってもよい。処理部１０は、通信部１２によって図示しないサーバ装置等の外部装置との間でデータを送受信できる。 The communication unit 12 realizes communication with the server device 2 via a network including the Internet or a carrier network. Specifically, the communication unit 12 is a network card. The communication unit 12 may be a wireless communication module that connects to a carrier network, or may be a wireless communication module for Wi-Fi (registered trademark). The processing unit 10 can transmit and receive data to and from an external device such as a server device (not shown) via the communication unit 12.

表示部１３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイである。表示部１３は、絵コンテプログラムＰ１のＧＵＩ（Graphical User Interface）を表示する。表示部１３は、タッチパネル内蔵型ディスプレイである。表示部１３は、タッチパネル内蔵型に限られない。 The display unit 13 is a display such as a liquid crystal display or an organic EL (Electro Luminescence) display. The display unit 13 displays a GUI (Graphical User Interface) of the storyboard program P1. The display unit 13 is a display with a built-in touch panel. The display unit 13 is not limited to a display with a built-in touch panel.

操作部１４は、処理部１０との間で入出力が可能なユーザインタフェースである。操作部１４は、一例では、表示部１３が内蔵するタッチパネルである。操作部１４は、タッチパネル用のペンを含んでもよい。操作部１４は、マウス、キーボード等であってもよい。操作部１４は、物理ボタンを含んでもよい。 The operation unit 14 is a user interface capable of inputting and outputting data to and from the processing unit 10. In one example, the operation unit 14 is a touch panel built into the display unit 13. The operation unit 14 may include a pen for the touch panel. The operation unit 14 may be a mouse, a keyboard, etc. The operation unit 14 may include physical buttons.

音声入出力部１５は、スピーカ及びマイクロフォンを含む。処理部１０は、音声をスピーカから出力し、マイクロフォンから音声入力を受け付けることができる。処理部１０は、操作部１４による操作の一部として音声入出力部１５を用いてもよい。つまり処理部１０は、マイクロフォンにて入力音声から操作内容を認識し、スピーカで出力する音声との対話形式で操作を受け付けてもよい。 The audio input/output unit 15 includes a speaker and a microphone. The processing unit 10 can output audio from the speaker and accept audio input from the microphone. The processing unit 10 may use the audio input/output unit 15 as part of the operation by the operation unit 14. In other words, the processing unit 10 may recognize the operation content from the input audio via the microphone and accept the operation in an interactive format with the audio output from the speaker.

このように構成される汎用的な情報処理装置１は、絵コンテプログラムＰ１に基づき、絵コンテを手軽な作成を実現する。図２－図４は、情報処理装置１にて実行される処理手順の一例を示すフローチャートである。処理部１０は、絵コンテプログラムＰ１がユーザによって選択されて起動し、絵コンテプログラムＰ１が表示する新規の絵コンテの作成メニューが選択されると、以下の処理手順を実行する。 The general-purpose information processing device 1 configured in this manner realizes easy creation of storyboards based on the storyboard program P1. Figures 2 to 4 are flowcharts showing an example of processing procedures executed by the information processing device 1. When the storyboard program P1 is selected and started by the user and a new storyboard creation menu displayed by the storyboard program P1 is selected, the processing unit 10 executes the following processing procedures.

処理部１０は、新規の絵コンテを構成する１つ目のコマを縮小化したオブジェクトと、１つ目のコマの編集画面とを含む絵コンテ作成画面を表示部１３に表示する（ステップＳ１０１）。ステップＳ１０１において、処理部１０は、編集画面を、メモリ１０１にコマ全体の描画データを展開して表示しつつ、オブジェクトについては、対応するコマに対する描画データをメモリ１０１から参照することで表示する。描画データは、コマの識別データに対応付けて、レイヤ別にベクター形式又はラスター形式で記述されたものである。 The processing unit 10 displays on the display unit 13 a storyboard creation screen including a scaled-down object of the first frame that constitutes a new storyboard and an editing screen for the first frame (step S101). In step S101, the processing unit 10 displays the editing screen by expanding the drawing data for the entire frame in the memory 101, while displaying the object by referencing the drawing data for the corresponding frame from the memory 101. The drawing data is associated with the identification data of the frame and described in vector format or raster format by layer.

処理部１０は、編集画面への編集操作を操作部１４にて受け付けるか否かを判断する（ステップＳ１０２）。編集操作を受け付けると判断した場合（Ｓ１０２：ＹＥＳ）、処理部１０は、編集操作に応じて、編集画面上に描画し（ステップＳ１０３）、処理をステップＳ１０４へ進める。ステップＳ１０３で描画した結果は、１つ目のコマに対応するオブジェクトに、そのメモリ１０１からの参照によって反映される。 The processing unit 10 determines whether or not an editing operation on the editing screen is accepted by the operation unit 14 (step S102). If it is determined that the editing operation is accepted (S102: YES), the processing unit 10 draws on the editing screen in accordance with the editing operation (step S103) and proceeds to step S104. The result of drawing in step S103 is reflected in the object corresponding to the first frame by referencing it from the memory 101.

編集画面への編集操作を受け付けないと判断された場合（Ｓ１０２：ＮＯ）、処理部１０は、そのまま処理をステップＳ１０４へ進める。 If it is determined that editing operations on the editing screen are not to be accepted (S102: NO), the processing unit 10 proceeds to step S104.

処理部１０は、コマの新規追加又は複製の操作を受け付けたか否かを判断する（ステップＳ１０４）。絵コンテ作成画面には、白紙のコマの新規追加の操作を受け付けるインタフェースと、選択中のコマの複製の操作を受け付けるインタフェースとを含み（図５参照）、処理部１０はいずれかのインタフェースの操作部１４による操作を受け付ける。コマの新規追加又は複製の操作を受け付けていないと判断された場合（Ｓ１０４：ＮＯ）、処理部１０は、処理をステップＳ１０２へ戻す。 The processing unit 10 determines whether an operation to add a new frame or to duplicate a frame has been accepted (step S104). The storyboard creation screen includes an interface that accepts an operation to add a new blank frame and an interface that accepts an operation to duplicate a selected frame (see FIG. 5), and the processing unit 10 accepts operations from the operation unit 14 of either interface. If it is determined that an operation to add a new frame or to duplicate a frame has not been accepted (S104: NO), the processing unit 10 returns the process to step S102.

コマの新規追加又は複製を受け付けたと判断された場合（Ｓ１０４：ＹＥＳ）、処理部１０は、１つ目のコマの編集画面への描画結果の描画データを、コマの識別データと対応付けて記憶部１１の一時記憶領域又はメモリ１０１の他の領域に記憶（移動）し（ステップＳ１０５）、１つ目のコマの編集画面を絵コンテ作成画面から削除する（ステップＳ１０６）。処理部１０は、１つ目のコマのオブジェクトの描画データの参照先を、メモリ１０１から記憶先に切り替え（ステップＳ１０７）、オブジェクトを、新規追加又は複製されたコマのオブジェクトと区別可能に表示させる（ステップＳ１０８）。 If it is determined that a new addition or duplication of a frame has been accepted (S104: YES), the processing unit 10 stores (moves) the drawing data of the drawing result on the editing screen of the first frame in association with the identification data of the frame to a temporary storage area of the storage unit 11 or another area of the memory 101 (step S105), and deletes the editing screen of the first frame from the storyboard creation screen (step S106). The processing unit 10 switches the reference destination of the drawing data of the object of the first frame from the memory 101 to the storage destination (step S107), and displays the object so as to be distinguishable from the object of the newly added or duplicated frame (step S108).

処理部１０は、新規追加又は複製された新たなコマについて、２つ目のコマとしての識別データ（２つ目）を付与し（ステップＳ１０９）、新たなコマへの編集画面を絵コンテ作成画面内に表示する（ステップＳ１１０）。新たなコマのオブジェクトを、１つ目のコマよりも後の時間に対応する箇所に、１つ目のコマと並べて表示する（ステップＳ１１１）。ステップＳ１１０において処理部１０は、ステップＳ１０１の１つ目のコマ同様に、編集画面を、メモリ１０１にコマ全体の描画データを展開して表示する。ステップＳ１１１において処理部１０は、オブジェクトについては、対応するコマに対する描画データをメモリ１０１から参照することで表示する。 The processing unit 10 assigns identification data (second) to the newly added or duplicated frame as a second frame (step S109), and displays an editing screen for the new frame on the storyboard creation screen (step S110). The objects of the new frame are displayed alongside the first frame at a location corresponding to a later time than the first frame (step S111). In step S110, the processing unit 10 expands the drawing data of the entire frame in memory 101 and displays the editing screen, as with the first frame in step S101. In step S111, the processing unit 10 displays the objects by referencing the drawing data for the corresponding frame from memory 101.

処理部１０は、絵コンテ作成画面にて、新たなコマへの編集操作を操作部１４にて受け付けるかを判断する（ステップＳ１１２）。編集操作を受け付けると判断した場合（Ｓ１１２：ＹＥＳ）、処理部１０は、編集操作に応じて、編集画面上に描画し（ステップＳ１１３）、処理をステップＳ１１４へ進める。ステップＳ１１３で描画した結果は、新たなコマに対応するオブジェクトに、そのメモリ１０１からの参照によって反映される。 The processing unit 10 judges whether an editing operation for a new frame is to be accepted by the operation unit 14 on the storyboard creation screen (step S112). If it is judged that the editing operation is to be accepted (S112: YES), the processing unit 10 draws on the editing screen in accordance with the editing operation (step S113) and proceeds to the process of step S114. The result of drawing in step S113 is reflected in the object corresponding to the new frame by referencing it from the memory 101.

編集画面への編集操作を受け付けないと判断された場合（Ｓ１１２：ＮＯ）、処理部１０は、そのまま処理をステップＳ１１４へ進める。 If it is determined that editing operations on the editing screen are not to be accepted (S112: NO), the processing unit 10 proceeds to step S114.

処理部１０は、３つ目以降のコマの新規追加又は複製の操作を受け付けたか否かを判断する（ステップＳ１１４）。コマの新規追加又は複製の操作を受け付けたと判断された場合（Ｓ１１４：ＹＥＳ）、処理部１０は、表示中であった編集画面への描画結果の描画データを、対象のコマの識別データと対応付けて記憶部１１の一時記憶領域又はメモリ１０１の他の領域に記憶（移動）し（ステップＳ１１５）、新たなコマを追加する前に表示していた編集画面を絵コンテ作成画面から削除する（ステップＳ１１６）。処理部１０は、追加する前に表示していた編集画面に対応するコマのオブジェクトの描画データの参照先を、メモリ１０１から記憶先に切り替え（ステップＳ１１７）、オブジェクトを、新たなコマのオブジェクトと区別可能に表示させる（ステップＳ１１８）。 The processing unit 10 judges whether an operation to add or duplicate a third or subsequent frame has been received (step S114). If it is judged that an operation to add or duplicate a frame has been received (S114: YES), the processing unit 10 stores (moves) the drawing data of the drawing result on the editing screen that was being displayed in association with the identification data of the target frame in a temporary storage area of the storage unit 11 or another area of the memory 101 (step S115), and deletes the editing screen that was displayed before the new frame was added from the storyboard creation screen (step S116). The processing unit 10 switches the reference destination of the drawing data of the object of the frame corresponding to the editing screen that was displayed before the addition from the memory 101 to the storage destination (step S117), and displays the object in a manner distinguishable from the object of the new frame (step S118).

処理部１０は、新規追加又は複製された新たなコマについて、追加前に編集画面を表示していたコマの次のコマとしての識別データを付与する（ステップＳ１１９）。処理部１０は、新たなコマへの編集画面を絵コンテ作成画面内に表示し（ステップＳ１２０）、新たなコマのオブジェクトを、追加前に編集画面を表示していたコマのオブジェクトと並べて表示し（ステップＳ１２１）、処理をステップＳ１２８へ進める。 The processing unit 10 assigns identification data to the newly added or duplicated frame as the frame following the frame whose editing screen was displayed before the addition (step S119). The processing unit 10 displays the editing screen for the new frame within the storyboard creation screen (step S120), displays the objects of the new frame alongside the objects of the frame whose editing screen was displayed before the addition (step S121), and proceeds to step S128.

処理部１０は、ステップＳ１１４において、コマの新規追加又は複製の操作を受け付けていないと判断された場合（Ｓ１１４：ＮＯ）、他のコマのオブジェクトを操作部１４にて選択する操作を受け付けたか否かを判断する（ステップＳ１２２）。 If the processing unit 10 determines in step S114 that an operation to add a new frame or to duplicate a frame has not been received (S114: NO), it determines whether an operation to select an object of another frame using the operation unit 14 has been received (step S122).

他のコマのオブジェクトを選択する操作を受け付けたと判断した場合（Ｓ１２２：ＹＥＳ）、処理部１０は、表示中であった編集画面への描画結果の描画データを、対象のコマの識別データと対応付けて記憶部１１の一時記憶領域又はメモリ１０１の他の領域に記憶（移動）する（ステップＳ１２３）。処理部１０は、他のコマのオブジェクトを選択する前に表示していた編集画面を絵コンテ作成画面から削除する（ステップＳ１２４）。処理部１０は、他のコマのオブジェクトを選択する前に表示していた編集画面に対応するコマのオブジェクトの描画データの参照先を、メモリ１０１から記憶先に切り替え（ステップＳ１２５）、オブジェクトを、選択されたコマのオブジェクトと区別可能に表示させる（ステップＳ１２６）。処理部１０は、選択されたコマへの編集画面を絵コンテ作成画面内に表示し（ステップＳ１２７）、処理をステップＳ１２８へ進める。 When it is determined that an operation to select an object in another frame has been accepted (S122: YES), the processing unit 10 stores (moves) the drawing data of the drawing result on the editing screen that was being displayed in association with the identification data of the target frame in a temporary storage area of the storage unit 11 or another area of the memory 101 (step S123). The processing unit 10 deletes the editing screen that was displayed before the object in the other frame was selected from the storyboard creation screen (step S124). The processing unit 10 switches the reference destination of the drawing data of the object in the frame corresponding to the editing screen that was displayed before the object in the other frame was selected from the memory 101 to the storage destination (step S125), and displays the object in a manner distinguishable from the object in the selected frame (step S126). The processing unit 10 displays the editing screen for the selected frame in the storyboard creation screen (step S127), and proceeds to the process of step S128.

処理部１０は、編集中のコマを含む複数のコマに基づく動画再生が選択されたか否かを判断する（ステップＳ１２８）。動画再生が選択されていないと判断された場合（Ｓ１２８：ＮＯ）、処理部１０は処理をステップＳ１１２へ戻し、表示中の編集画面への編集操作や、他のコマの選択、新たなコマの追加等を受け付ける。 The processing unit 10 determines whether video playback based on multiple frames including the frame being edited has been selected (step S128). If it is determined that video playback has not been selected (S128: NO), the processing unit 10 returns the process to step S112 and accepts editing operations on the displayed editing screen, selection of other frames, addition of new frames, etc.

動画再生が選択されたと判断された場合（Ｓ１２８：ＹＥＳ）、処理部１０は、追加済みのコマを含む複数のコマを、時系列に合わせて動画として再生する（ステップＳ１２９）。ステップＳ１２９において処理部１０は、設定されている時間軸に合わせて描画された描画データを含むコマを時系列に表示させる。処理部１０は例えば、１コマを２秒等の設定時間ごとに切り替えて表示する。後述するように、各コマに表示時間が設定されてもよい。処理部１０は、表示中の編集画面に重畳させて表示してもよいし、絵コンテ作成画面内の他の利用可能な領域に表示させてもよい。 If it is determined that video playback has been selected (S128: YES), the processing unit 10 plays multiple frames, including the added frame, as a video in chronological order (step S129). In step S129, the processing unit 10 displays frames including drawing data that has been drawn in accordance with the set time axis in chronological order. The processing unit 10 switches and displays one frame at a time, for example, every set time such as 2 seconds. As will be described later, a display time may be set for each frame. The processing unit 10 may display the frames by superimposing them on the editing screen being displayed, or may display them in another available area within the storyboard creation screen.

処理部１０は、絵コンテプログラムＰ１の終了が選択されたか否かを判断する（ステップＳ１３０）。絵コンテプログラムＰ１の終了が選択されていないと判断された場合（Ｓ１３０：ＮＯ）、処理部１０は、処理をステップＳ１１２へ戻す。 The processing unit 10 determines whether or not the end of the storyboard program P1 has been selected (step S130). If it is determined that the end of the storyboard program P1 has not been selected (S130: NO), the processing unit 10 returns the process to step S112.

絵コンテプログラムＰ１の終了が選択されたと判断された場合（Ｓ１３０：ＹＥＳ）、処理部１０は、絵コンテプログラムＰ１を終了する。 If it is determined that the end of the storyboard program P1 has been selected (S130: YES), the processing unit 10 ends the storyboard program P1.

図２－図４に示すように、絵コンテ作成画面内で、複数のコマそれぞれのサムネイルを含むオブジェクトを表示しつつ、複数のコマのいずれか１つに対する編集画面を表示し、コマの追加や選択を受け付けるには、メモリ１０１上に描画データを展開させたり参照先を切り替えたりする処理が必要である。描画を受け付ける機能など、ＯＳや既存の開発エンジンを用いて描画処理を最適化するには、メモリ１０１上のデータの扱いや参照の仕方はそれらの既存のプログラムに対応させる必要があるため、後述するようなシンプルなインタフェースの実現が難しかった。上述の処理手順の実施により、シンプルなインタフェースでの絵コンテ作成が可能になる。 As shown in Figures 2 to 4, in order to display an object containing thumbnails of each of the multiple frames on the storyboard creation screen while displaying an editing screen for one of the multiple frames and accepting the addition or selection of a frame, processing is required to expand drawing data on memory 101 and switch the reference destination. To optimize the drawing process using the OS or existing development engine, such as the function to accept drawings, the way data on memory 101 is handled and referenced must be made compatible with those existing programs, making it difficult to realize a simple interface as described below. By implementing the processing procedure described above, it becomes possible to create storyboards with a simple interface.

図２－図４に示した処理手順について、絵コンテプログラムＰ１のインタフェースの具体例を参照して機能を説明する。図５は、絵コンテ作成画面３００の一例を示す図である。図５において絵コンテ作成画面３００は、１つ目のコマの編集画面３０１と、１つ目のコマのサムネイルに対応するオブジェクト３０２とを含む。図５において、新規に絵コンテのデータを作成したばかりなので、コマは１つである。表示部１３のディスプレイに表示中の編集画面３０１に、ユーザがタブレット用のタッチペンなどで絵を描くと、その軌跡がそのまま操作部１４にて受け付けられ、処理部１０により描画データに基づき、図５に示すようにプレビューが表示される。編集画面３０１内での拡大及び縮小は、編集画面３０１上でのピンチアウト、ピンチインなどによって実施可能である。編集画面３０１への編集操作において、線を描いたりする描画操作に限られず、タッチペンやユーザの指を用いたジェスチャーそれぞれに割り当てられたRedo、Undo等の編集機能を実現し、直感的な操作を実現するようにしてもよい。プレビューは、編集画面３０１に表示しているコマに対応するオブジェクト３０２のサムネイルにも反映されている。 The processing procedure shown in FIG. 2-FIG. 4 will be described with reference to a specific example of the interface of the storyboard program P1. FIG. 5 is a diagram showing an example of a storyboard creation screen 300. In FIG. 5, the storyboard creation screen 300 includes an editing screen 301 of the first frame and an object 302 corresponding to the thumbnail of the first frame. In FIG. 5, since new storyboard data has just been created, there is only one frame. When a user draws a picture on the editing screen 301 displayed on the display of the display unit 13 using a touch pen for a tablet, the trajectory is accepted by the operation unit 14 as is, and a preview is displayed as shown in FIG. 5 by the processing unit 10 based on the drawing data. Enlarging and reducing within the editing screen 301 can be performed by pinching out and pinching in on the editing screen 301. Editing operations on the editing screen 301 are not limited to drawing operations such as drawing lines, and editing functions such as Redo and Undo assigned to gestures using a touch pen or a user's finger may be realized to realize intuitive operations. The preview is also reflected in the thumbnail of the object 302 that corresponds to the frame displayed on the editing screen 301.

絵コンテ作成画面３００は、編集画面に表示中のコマの削除を受け付ける削除ボタン３０３と、白紙のコマの新規追加の操作を受け付ける新規追加ボタン３０４と、選択中のコマの複製の操作を受け付ける複製ボタン３０５とを含む。 The storyboard creation screen 300 includes a delete button 303 that accepts the deletion of a frame currently displayed on the editing screen, a new add button 304 that accepts the operation of adding a new blank frame, and a duplicate button 305 that accepts the operation of duplicating a selected frame.

削除ボタン３０３が選択された場合の処理は図２－図４の処理手順には記載していないが、処理部１０は、選択中のコマの表示を削除し、メモリ１０１及び記憶部１１上の対応するコマのデータを削除する。 The process when the Delete button 303 is selected is not described in the processing procedure of Figures 2-4, but the processing unit 10 deletes the display of the selected frame and deletes the data of the corresponding frame from the memory 101 and the storage unit 11.

新規追加ボタン３０４が選択されると、図２－図４の処理手順のうち、ステップＳ１０４、Ｓ１１４の処理によって、表示されていたコマの次のコマとして、新たな白紙のコマが挿入される。挿入位置はこれに限られず、前のコマとして挿入されるようにしてもよい。 When the Add New button 304 is selected, a new blank frame is inserted as the frame following the frame that was displayed by the processing of steps S104 and S114 in the processing procedure of Figures 2-4. The insertion position is not limited to this, and it may be inserted as the previous frame.

複製ボタン３０５が選択されると、図２－図４の処理手順のうち、ステップＳ１０４、Ｓ１１４の処理によって、表示されていたコマの複製のコマが、次のコマとして挿入される。コマに対応付けられる描画データが複製され、別のコマの識別データに対応付けられて記憶される。複製されたコマに対しては編集画面３０１にて、更なる描き込みや、削除等の編集が、複製元のコマと独立して可能である。 When the Duplicate button 305 is selected, a duplicate of the displayed frame is inserted as the next frame through the processing of steps S104 and S114 of the processing procedure in Figures 2-4. The drawing data associated with the frame is duplicated and stored in association with the identification data of another frame. The duplicated frame can be further edited, such as by deleting data, on the editing screen 301, independently of the original frame.

編集画面３０１に対する編集作業エリア３０１０には、図５に示すように、レイヤの切り替えボタン３０１１を含んでもよい。編集画面３０１に対し、編集画面３０１内への画像データの挿入ボタン３０１２と、編集画面３０１上の範囲や点を選択するためのポインタボタン３０１３と、選択された箇所を消す消しゴムボタン３０１４と、選択された箇所に、選択中のペン種で描画する描画ボタン３０１５とが表示される。ユーザは、レイヤの切り替えボタン３０１１、挿入ボタン３０１２、ポインタボタン３０１３、消しゴムボタン３０１４、及び描画ボタン３０１５を逐次選択して編集画面３０１上で描画が可能である。 As shown in FIG. 5, the editing work area 3010 for the editing screen 301 may include a layer switching button 3011. On the editing screen 301, a button 3012 for inserting image data into the editing screen 301, a pointer button 3013 for selecting an area or point on the editing screen 301, an eraser button 3014 for erasing the selected area, and a drawing button 3015 for drawing on the selected area with the selected pen type are displayed. The user can draw on the editing screen 301 by successively selecting the layer switching button 3011, the insert button 3012, the pointer button 3013, the eraser button 3014, and the drawing button 3015.

編集画面３０１に対する拡大縮小スライド３０１６が表示されてもよい。拡大縮小スライド３０１６は、消しゴムボタン３０１４又は描画ボタン３０１５を選択した場合に表示される。拡大縮小スライド３０１６に対して操作すると、消しゴムの大きさが拡大又は縮小するか、描画のペン（ブラシ）の大きさが拡大又は縮小する。 A zoom slide 3016 for the editing screen 301 may be displayed. The zoom slide 3016 is displayed when the eraser button 3014 or the drawing button 3015 is selected. When the zoom slide 3016 is operated, the size of the eraser is enlarged or reduced, or the size of the drawing pen (brush) is enlarged or reduced.

絵コンテ作成画面３００は他に、動画再生ボタン３０６を含む。動画再生ボタン３０６は、常時的に表示されているが、コマの数が２つ以上となった時点で有効化されるようにしてもよい。 The storyboard creation screen 300 also includes a video playback button 306. The video playback button 306 is always displayed, but may be enabled when the number of frames reaches two or more.

絵コンテ作成画面３００は、絵コンテプログラムＰ１を終了するためのメニューボタン３０７を含む。メニューボタン３０７が選択されると、例えば、図２－図４のフローチャートに示したステップＳ１３０の処理手順が実行され、絵コンテプログラムＰ１が終了する。 The storyboard creation screen 300 includes a menu button 307 for ending the storyboard program P1. When the menu button 307 is selected, for example, the processing procedure of step S130 shown in the flowcharts of FIGS. 2-4 is executed, and the storyboard program P1 ends.

絵コンテ作成画面３００は、複数のコマそれぞれに対する経過時間設定を示すスケール３０８を含む。スケール３０８は、目盛りが所定の単位間隔で含む。スケール３０８により、コマそれぞれに対応する動画における再生時間を確認できる。図５の絵コンテ作成画面３００では、コマが１つしかないので、初期設定にしたがって各コマに対して１秒間が割り当てられており、コマの開始から終了までが１秒であることが示されている。スケール３０８により、オブジェクト３０２のスケール３０８に沿う方向の長さによって、図６に示すように、各コマが占める時間の長さを設定することが可能である。スケール３０８上には、図１１に示すように、マーカ３１１をうつことができ、そのマーカにより、音声データ等で特にタイミングを図ったシーン切り替えができるようなコマの割り当てをユーザが考えることもできる。 The storyboard creation screen 300 includes a scale 308 that indicates the elapsed time setting for each of the multiple frames. The scale 308 includes graduations at a predetermined unit interval. The scale 308 allows the user to check the playback time of the video corresponding to each frame. In the storyboard creation screen 300 of FIG. 5, since there is only one frame, one second is assigned to each frame according to the initial setting, and it is shown that one second is taken from the start to the end of the frame. The scale 308 allows the user to set the length of time each frame occupies, as shown in FIG. 6, depending on the length of the object 302 in the direction along the scale 308. As shown in FIG. 11, a marker 311 can be placed on the scale 308, and the user can use the marker to consider the allocation of frames that allow scene switching to be particularly timed with audio data, etc.

絵コンテ作成画面３００は、画面のオブジェクト３０２の並び方向と平行させて、複数のコマの再生と同期させて出力する音声や楽曲等の音のデータを受け付けるための音受付部３０９を含む。図５の絵コンテ作成画面３００では、音は受け付けられておらず、空白となっている。 The storyboard creation screen 300 includes a sound receiving section 309 for receiving sound data such as voice or music to be output in synchronization with the playback of multiple frames, parallel to the arrangement direction of the objects 302 on the screen. In the storyboard creation screen 300 in FIG. 5, sound is not being received and the screen is blank.

図６は、絵コンテ作成画面３００の他の一例を示す図である。図６の絵コンテ作成画面３００は、コマが２つ追加された後の状態を示す。図５と共通する構成要素については同一の符号を付して詳細な説明を省略する。図６の絵コンテ作成画面３００では、作成中の絵コンテを構成する複数のコマにそれぞれ対応する複数のオブジェクト３０２が、各コマに対して描画された画像のサムネイルと共に時系列に並べられている。オブジェクト３０２が並ぶ方向は、図６では画像における水平方向（横方向、幅方向）であるがこれに限らず、画像における垂直方向（縦方向、高さ方向）であってもよい。 Figure 6 is a diagram showing another example of the storyboard creation screen 300. The storyboard creation screen 300 in Figure 6 shows the state after two frames have been added. Components in common with Figure 5 are given the same reference numerals and detailed description will be omitted. In the storyboard creation screen 300 in Figure 6, a number of objects 302 corresponding to the frames that make up the storyboard being created are arranged in chronological order together with thumbnails of images drawn for each frame. The direction in which the objects 302 are arranged is the horizontal direction (horizontal direction, width direction) of the image in Figure 6, but is not limited to this and may be the vertical direction (vertical direction, height direction) of the image.

複数のオブジェクト３０２のうち、編集対象のコマに対応するオブジェクト３０２はハイライト表示されており、他のコマのオブジェクト３０２は、グレーにマスクされて表示されて、選択中のコマとそれ以外とが区別可能である。 Of the multiple objects 302, the object 302 that corresponds to the frame to be edited is highlighted, and the objects 302 of the other frames are displayed masked in gray, making it possible to distinguish between the selected frame and the others.

図６の絵コンテ作成画面３００では、１つ目のコマが占める時間が２倍に延ばされている。スケール３０８に合わせて、オブジェクト３０２を引き伸ばすようにする操作で時間が延びるようにしてもよい。スケール３０８の目盛りをグラブできるようにしてもよい。 In the storyboard creation screen 300 in FIG. 6, the time taken by the first frame is doubled. The time may be extended by stretching the object 302 to match the scale 308. The scale 308 may be made grabable.

図７は、絵コンテ作成画面３００の他の一例を示す図である。図７では、オブジェクト３０２のうちの選択されたコマに対し、コマが占める時間を変更するためのツマミ３０２１が表示されている。図７の絵コンテ作成画面３００では、図６の絵コンテ作成画面３００と比較して、選択中のコマの開始時間が０．５秒早められ、更に、選択中のコマの終了時間が０．５秒遅く調整されていることが示されている。このように、本開示の絵コンテプログラムＰ１により、選択中のコマに対する編集画面３０１を表示しつつ、コマの流れと、各コマの全体に対するタイミングの調整とが直感的に調整可能である。 FIG. 7 is a diagram showing another example of the storyboard creation screen 300. In FIG. 7, a knob 3021 for changing the time occupied by a selected frame of the object 302 is displayed. In the storyboard creation screen 300 of FIG. 7, the start time of the selected frame is advanced by 0.5 seconds, and the end time of the selected frame is adjusted to be delayed by 0.5 seconds, compared to the storyboard creation screen 300 of FIG. 6. In this way, the storyboard program P1 of the present disclosure makes it possible to intuitively adjust the flow of frames and the overall timing of each frame while displaying the editing screen 301 for the selected frame.

図６に戻り説明を続ける。図６の絵コンテ作成画面３００では、複数のコマを時系列に並べた複数のオブジェクト３０２に重畳させて、時間軸方向に移動可能なカーソル３１２が表示されている。カーソル３１２は、ユーザの操作によって移動可能である。例えば、経過時間を表示する時間表示部３１３に対し、時間を指定する入力操作を行なうと、カーソル３１２がその指定された時間の場所に移動する。カーソル３１２そのものに対して移動操作が可能であってもよい。カーソル３１２の移動が検知されると、処理部１０は、カーソル３１２の位置に応じたコマの画像を編集画面３０１と同一の範囲に表示してもよい。これにより、後述の図８に示すように動画の冒頭から再生することに限らず、一部の流れをアニメーションのようにコマを切り替えて表示させることも可能である。 Returning to FIG. 6, the explanation will be continued. In the storyboard creation screen 300 in FIG. 6, a cursor 312 that can be moved in the time axis direction is displayed superimposed on a plurality of objects 302 in which a plurality of frames are arranged in chronological order. The cursor 312 can be moved by a user's operation. For example, when an input operation to specify a time is performed on a time display section 313 that displays the elapsed time, the cursor 312 moves to the location of the specified time. The cursor 312 itself may be moved. When the movement of the cursor 312 is detected, the processing section 10 may display an image of a frame corresponding to the position of the cursor 312 in the same range as the editing screen 301. This makes it possible to display a part of the flow by switching frames like an animation, rather than being limited to playing from the beginning of the video, as shown in FIG. 8 described later.

ユーザは、操作部１４によって、オブジェクト３０２を選択して、編集画面３０１にコマを表示させて編集したり、カーソル３１２を移動させながらコマを切り替えて表示させたり、動画再生ボタン３０６によって動画として再生させたりすることができる。 The user can use the operation unit 14 to select an object 302 and display and edit the frames on the editing screen 301, move the cursor 312 to switch between frames, or use the video playback button 306 to play the object as a video.

本開示の絵コンテプログラムＰ１を用いることにより、編集画面３０１と時系列に並べられた各コマのサムネイルに該当する複数のオブジェクト３０２とを同一の絵コンテ作成画面３００内に並べて表示しつつ、複数のオブジェクト３０２からいずれか編集対象のコマを任意に選択可能である。編集画面３０１の編集対象は、選択されたコマに対応するものへ、操作に応じて切り替えられる。ユーザは、コマに対して描画操作をしたまま、同一画面内で動画再生ボタン３０６を選択してすぐにプレビューを確認できる。 By using the storyboard program P1 of the present disclosure, an editing screen 301 and a plurality of objects 302 corresponding to thumbnails of each frame arranged in chronological order can be displayed side by side on the same storyboard creation screen 300, and any frame to be edited can be selected from the plurality of objects 302. The editing object on the editing screen 301 can be switched to the one corresponding to the selected frame in response to an operation. While performing drawing operations on a frame, the user can select the video playback button 306 on the same screen to immediately check a preview.

図８は、動画再生時の絵コンテ作成画面３００の一例を示す。図８に示す符号４は、絵コンテ作成画面３００内で動画が再生される範囲を示す。図８に示すように、動画再生ボタン３０６が選択されると、動画は編集画面３０１内の編集エリア内でそれまでの編集時のレイアウトと同様の範囲に再生される。これにより、ユーザは各コマの編集をしながら、動画にした場合の見え方を確認することが逐次できる。 Figure 8 shows an example of the storyboard creation screen 300 when a video is being played. Reference numeral 4 in Figure 8 indicates the range in which the video is played on the storyboard creation screen 300. As shown in Figure 8, when the video playback button 306 is selected, the video is played within the editing area of the editing screen 301 in the same range as the layout at the time of editing up to that point. This allows the user to check successively how each frame will look when made into a video while editing.

図８の絵コンテ作成画面３００には、各コマのオブジェクト３０２の時間軸の方向に移動するカーソル３１２が表示されている。カーソル３１２は、複数のコマを時系列に並べた複数のオブジェクト３０２上に重畳させて、時間軸に沿って移動可能である。カーソル３１２は、範囲４内での動画の表示に合わせて移動するように制御されてもよい。これにより、再生中のコマがいずれのコマであるかを、ユーザは、複数のオブジェクト３０２上のカーソル３１２の位置で確認することができる。 The storyboard creation screen 300 in FIG. 8 displays a cursor 312 that moves in the direction of the time axis of the objects 302 of each frame. The cursor 312 can be moved along the time axis by being superimposed on the multiple objects 302 that arrange the multiple frames in chronological order. The cursor 312 may be controlled to move in accordance with the display of the video within range 4. This allows the user to confirm which frame is currently being played by the position of the cursor 312 on the multiple objects 302.

図６に戻り説明を続ける。図６の絵コンテ作成画面３００には、表示切替ボタン３１０が示されている。表示切替ボタン３１０は、時系列に並べられるオブジェクト３０２、スケール３０８、音受付部３０９を含む範囲を縮小させ、編集画面３０１の表示部１３内に占める範囲を増加させるためのボタンである。 Returning to FIG. 6 for further explanation, the storyboard creation screen 300 in FIG. 6 shows a display switch button 310. The display switch button 310 is a button for reducing the area including the objects 302, scale 308, and sound receiving section 309 arranged in chronological order, and increasing the area that is occupied within the display section 13 of the editing screen 301.

図９は、表示切替ボタン３１０が選択された絵コンテ作成画面３００の一例を示す。図９に示す絵コンテ作成画面３００は、図６に示した絵コンテ作成画面３００にて表示切替ボタン３１０がユーザによって選択され、オブジェクト３０２等を表示するエリアが縮小された様子を示している。これにより、図９に示す絵コンテ作成画面３００は、図６に示した絵コンテ作成画面３００と比較して、編集画面３０１及び編集作業エリア３０１０の範囲が拡大されており、ユーザのコマへの編集操作の操作性が向上する。 Figure 9 shows an example of the storyboard creation screen 300 with the display switch button 310 selected. The storyboard creation screen 300 shown in Figure 9 shows the state in which the display switch button 310 has been selected by the user on the storyboard creation screen 300 shown in Figure 6, and the area displaying the objects 302 and the like has been reduced. As a result, the storyboard creation screen 300 shown in Figure 9 has an expanded range of the editing screen 301 and editing work area 3010 compared to the storyboard creation screen 300 shown in Figure 6, improving the operability of the user's editing operations on the frames.

図９に示す絵コンテ作成画面３００で、表示切替ボタン３１０が選択されると、逆に、時系列に並べられるオブジェクト３０２、スケール３０８、音受付部３０９を含む範囲が、図６に示した範囲に戻り、編集画面３０１は初期的な範囲に戻る。このように、他のコマとの繋がりを確認するためのオブジェクト３０２の並びと、編集画面３０１とを同一画面内に一度に把握できる表示方法と、絵コンテ制作者であるユーザによって編集しやすい編集画面３０１とを１つのインタフェースに対する操作で容易に切り替えられ、操作性が向上する。 Conversely, when the display switch button 310 is selected on the storyboard creation screen 300 shown in FIG. 9, the range including the objects 302, scale 308, and sound receiving section 309 arranged in chronological order returns to the range shown in FIG. 6, and the editing screen 301 returns to its initial range. In this way, a display method that allows the arrangement of objects 302 for checking connections with other frames and the editing screen 301 to be grasped at once on the same screen, and an editing screen 301 that is easy for the user (storyboard creator) to edit, can be easily switched by operating a single interface, improving operability.

表示切替ボタン３１０を選択した場合の絵コンテ作成画面３００のバリエーションはこれに限らない。図１０は、絵コンテ作成画面３００の他の一例を示す図である。図１０では、オブジェクト３０２の表示方法として、オブジェクト３０２が折り畳まれ、非表示となった様子を示している。このように、同一画面内でオブジェクト３０２を一時的に非表示にすることも可能である。 The variations of the storyboard creation screen 300 when the display switch button 310 is selected are not limited to this. FIG. 10 is a diagram showing another example of the storyboard creation screen 300. FIG. 10 shows a method of displaying the object 302 in which the object 302 is folded and hidden. In this way, it is also possible to temporarily hide the object 302 within the same screen.

図１１は、絵コンテ作成画面３００の他の一例を示す図である。図１１の絵コンテ作成画面３００では、音受付部３０９にて音声、効果音又はＢＧＭ等の音が設定されている。音受付部３０９では、音受付部３０９の範囲内を選択した後に、新規追加ボタン３０４を選択すると、表示される音声、効果音又はＢＧＭ等の音のリストから、追加操作が可能である。その他、音の設定は、音受付部３０９の範囲内のボタン（図５等で示す音符の記号）を選択するか、音受付部３０９内の範囲を長押しすると表示される音のリストから、追加操作が可能であってもよい。図１１では、音受付部３０９には、時系列に並んだオブジェクト３０２と平行させて、動画と同期させて出力する音の波形が表示されている。音受付部３０９に表示されている波形は、時系列方向に、オブジェクト３０２の並びに対してずらすことができている。 11 is a diagram showing another example of the storyboard creation screen 300. In the storyboard creation screen 300 of FIG. 11, sounds such as voice, sound effects, or background music are set in the sound reception section 309. In the sound reception section 309, when the range of the sound reception section 309 is selected and then the new addition button 304 is selected, an addition operation can be performed from a list of sounds such as voice, sound effects, or background music. In addition, sound settings can be performed by selecting a button (a musical note symbol shown in FIG. 5, etc.) within the range of the sound reception section 309, or by pressing and holding the range within the sound reception section 309 and then adding from a list of sounds that is displayed. In FIG. 11, the sound reception section 309 displays the waveform of the sound to be output in parallel with the objects 302 arranged in chronological order and in synchronization with the video. The waveform displayed in the sound reception section 309 can be shifted in the chronological order with respect to the arrangement of the objects 302.

図１１に示す絵コンテ作成画面３００では、スケール３０８上に、マーカ３１１が付けられている。マーカ３１１は、ユーザが操作部１４にてスケール３０８上の任意の箇所を選択して配置可能である。処理部１０は、スケール３０８上のマーカ３１１の位置に対応する複数のコマを動画として再生した場合の動画先頭からの再生時間を記憶する。ユーザは、マーカ３１１を、同期して出力させる音の波形を参照しながらうつことができ、その時点に表示させるべきコマを選択したり、各コマの時間を設定したりする操作が容易化される。マーカ３１１の位置は、動画として再生中にマーカ３１１の受付インタフェースを表示させて受け付けてもよい。動画再生中に受付インタフェースをタップした際のカーソル３１２の位置に相当する時間軸上に、マーカ３１１をうつことが可能である。処理部１０は、マーカ３１１の位置に対応する動画上の時間をそれぞれ区別して記憶する。各マーカ３１１が選択されるとそのマーカ３１１に相当する時間のコマを表示させることも可能である。 In the storyboard creation screen 300 shown in FIG. 11, a marker 311 is placed on the scale 308. The user can select and place the marker 311 at any position on the scale 308 using the operation unit 14. The processing unit 10 stores the playback time from the beginning of the video when multiple frames corresponding to the position of the marker 311 on the scale 308 are played as a video. The user can place the marker 311 while referring to the waveform of the sound to be output synchronously, which facilitates the operation of selecting the frame to be displayed at that time and setting the time of each frame. The position of the marker 311 may be received by displaying a reception interface for the marker 311 during playback as a video. The marker 311 can be placed on the time axis corresponding to the position of the cursor 312 when the reception interface is tapped during video playback. The processing unit 10 stores the time on the video corresponding to the position of the marker 311 separately. When each marker 311 is selected, it is also possible to display the frame at the time corresponding to the marker 311.

絵コンテプログラムＰ１に基づき処理部１０は、他の機能を実現することも可能である。例えば、絵コンテプログラムＰ１のメニューは、コメント追加メニュー、書き出しメニューを含んでもよい。コメント追加メニューが選択された場合、処理部１０は、各コマに対して動作を説明するテキストデータの入力を受け付け、入力されたテキストデータを、コマの識別データに対応付けて記憶部１１に記憶する。書き出しメニューが選択された場合、処理部１０は、コマの番号、コマに対して描画された画像、書き込まれたテキストデータ、タイムスタンプを表形式で出力する。処理部１０は、表形式のデータとして、例えばPDFデータなどのドキュメントデータを記憶部１１に保存してもよい。 Based on the storyboard program P1, the processing unit 10 can also realize other functions. For example, the menu of the storyboard program P1 may include an add comment menu and an export menu. When the add comment menu is selected, the processing unit 10 accepts input of text data explaining the action for each frame, and stores the input text data in the storage unit 11 in association with the frame identification data. When the export menu is selected, the processing unit 10 outputs the frame number, the image drawn for the frame, the written text data, and a timestamp in a table format. The processing unit 10 may store document data, such as PDF data, in the storage unit 11 as table format data.

絵コンテプログラムＰ１を使用することで、絵コンテを簡易な操作で作成できる。聴覚でのコミュニケーションが困難なユーザが、手書きの絵や文字を簡単に描いて同一画面内で簡単に再生してコミュニケーションを取るために、絵コンテプログラムＰ１を使用することもでき、用途は絵コンテ作成のみに限られない。 By using the storyboard program P1, storyboards can be created with simple operations. Users who have difficulty communicating through hearing can also use the storyboard program P1 to easily draw pictures and write text by hand and play them back on the same screen to communicate, so the uses are not limited to creating storyboards.

（変形例）
変形例では、上述した絵コンテプログラムＰ１に基づく機能が更に追加される。図１２は、変形例における絵コンテ作成画面３００の一例を示す図である。変形例の絵コンテ作成画面３００は、図５に示した絵コンテ作成画面３００に対し、編集作業エリア３０１０にコメント追加ボタン３０１７が加えられている。コメント追加ボタン３０１７は、上述したコメント追加メニューに相当する。 (Modification)
In the modified example, a function based on the above-mentioned storyboard program P1 is further added. Fig. 12 is a diagram showing an example of a storyboard creation screen 300 in the modified example. The storyboard creation screen 300 in the modified example has an add comment button 3017 added to the editing work area 3010, in comparison with the storyboard creation screen 300 shown in Fig. 5. The add comment button 3017 corresponds to the add comment menu described above.

図１３は、コメント追加ボタン３０１７の説明図である。図１３は、絵コンテ作成画面３００上でコメント追加ボタン３０１７が選択されて描画がされた後の表示例を示す。コメント追加ボタン３０１７が選択された場合、描画ボタン３０１５と同様に、タッチパネル用のペンを用いて自由な軌跡で描ける。他のボタンが選択されるまで、編集画面３０１上で描かれた軌跡は、コメント用のレイヤ上に表示される。コメント用のレイヤ上の描画データは、選択中のコマの識別データに対応付けて、各コマに対する動作を説明するためのコメントデータとして記憶される。図１３では、コメントデータの一例を軌跡５０で示す。コメントの描画の際のペン（ブラシ）の種類（色、太さ等）は、描画ボタン３０１５を選択した場合のペン（ブラシ）と区別できるように選択可能である。図１３では、軌跡５０は例えば、風が舞う演出を示す手書き文字と舞う動きを示す線として描かれている。 13 is an explanatory diagram of the comment add button 3017. FIG. 13 shows an example of the display after the comment add button 3017 is selected on the storyboard creation screen 300 and drawing is performed. When the comment add button 3017 is selected, a free trajectory can be drawn using a touch panel pen, similar to the drawing button 3015. Until another button is selected, the trajectory drawn on the editing screen 301 is displayed on the comment layer. The drawing data on the comment layer is stored as comment data for explaining the action for each frame in association with the identification data of the selected frame. In FIG. 13, an example of comment data is shown as a trajectory 50. The type (color, thickness, etc.) of the pen (brush) used to draw the comment can be selected so as to be distinguished from the pen (brush) used when the drawing button 3015 is selected. In FIG. 13, the trajectory 50 is drawn, for example, as handwritten characters indicating a wind-blown performance and a line indicating a fluttering movement.

コメントデータに対し、絵コンテのデータが動画として再生される際に、各コマ上に重ねて出力するか否かを設定可能である。重ねて出力するように設定されている場合、処理部１０は、動画再生が選択された場合に（図４、Ｓ１２８：ＹＥＳ）、各コマに対するコメントの軌跡５０をコマそれぞれに重ねた状態で時系列に合わせて再生する。処理部１０は、再生される動画を動画データとして出力することができるが、その際に、コメントデータの軌跡５０を重ねた状態の動画として出力するか、重ねない状態の動画として出力するかについても設定可能である。これにより、ユーザがイメージするアニメーションや実写動画の絵コンテの状態で、各コマに追加すべきコマで表現される動きを補足するような情報を加えることができる。動画にコメントを重ねたまま再生できることにより、絵コンテを共有する他のユーザと、絵コンテを元に完成されるアニメーションや実写動画上での演出として同じものを想起できる。 It is possible to set whether or not the comment data is to be output superimposed on each frame when the storyboard data is played back as a video. If it is set to be output superimposed, when video playback is selected (FIG. 4, S128: YES), the processing unit 10 plays back the comment trajectory 50 for each frame in chronological order with each frame superimposed. The processing unit 10 can output the video to be played back as video data, but it is also possible to set whether to output the video with the comment data trajectory 50 superimposed or not superimposed. This allows the user to add information that supplements the movement expressed in the frame to be added to each frame in the storyboard state of the animation or live-action video that the user imagines. By being able to play back the video with the comments superimposed, other users who share the storyboard can imagine the same thing as the direction of the animation or live-action video that is completed based on the storyboard.

図１２に戻り説明を続ける。変形例の絵コンテ作成画面３００は、編集作業エリア３０１０内に、画面切替ボタン３２を含む。図１２に示す絵コンテ作成画面３００では、編集画面３０１での編集が選択されている。画面切替ボタン３２は、編集画面３０１のように各コマへの描画をするための画面ではなく、従来の所謂絵コンテと呼ばれる表形式の状態で、各コマの絵柄とそのコマにおけるアクションを説明するテキストの書き込みが可能な第２編集画面３２０（図１５参照）との間での切替を実現する。第２編集画面３２０は、印刷出力された場合の結果をプレビュー且つ編集が可能な画面である。つまり、第２編集画面３２０で表示される態様のまま、例えばPDFデータなどのドキュメントデータでの出力が可能となる。第２編集画面３２０については後述で詳細を説明する。 Returning to FIG. 12, the explanation will be continued. The storyboard creation screen 300 of the modified example includes a screen switching button 32 in the editing work area 3010. In the storyboard creation screen 300 shown in FIG. 12, editing in the editing screen 301 is selected. The screen switching button 32 realizes switching between a second editing screen 320 (see FIG. 15) which is not a screen for drawing in each frame like the editing screen 301, but allows writing of the image of each frame and text explaining the action in that frame in a table format called a conventional storyboard. The second editing screen 320 is a screen where the result when printed out can be previewed and edited. In other words, it is possible to output document data such as PDF data while keeping the format displayed in the second editing screen 320. The second editing screen 320 will be explained in detail later.

第２編集画面３２０への切替の受け付け処理は、例えば、図２－図４に示した処理手順中の例えばステップＳ１０４にてＮＯと判断された場合に行なう。処理部１０は、絵コンテ作成画面３００にて、ステップＳ１０２の編集画面への編集操作と、ステップＳ１０４のコマの新規追加又は複製の操作とのいずれかに加え、第２編集画面３２０へ切り替える操作がされたかのいずれかに応じて処理を進める。 The process of accepting switching to the second editing screen 320 is performed, for example, when it is judged as NO in step S104 in the processing procedure shown in Figs. 2-4. The processing unit 10 proceeds with the process in response to whether an operation to switch to the second editing screen 320 has been performed on the storyboard creation screen 300 in addition to the editing operation to the editing screen in step S102 or the operation to add a new frame or duplicate in step S104.

図１４は、第２編集画面３２０における操作受付の処理手順の一例を示すフローチャートである。処理部１０は、第２編集画面３２０へ切り替える操作がされた場合、以下の処理を実行する。処理中に再度画面切替ボタン３２が選択されると、図２－図４に示した処理手順に戻る。 Figure 14 is a flowchart showing an example of the processing procedure for accepting an operation on the second editing screen 320. When an operation to switch to the second editing screen 320 is performed, the processing unit 10 executes the following processing. When the screen switching button 32 is selected again during processing, the processing returns to the processing procedure shown in Figures 2 to 4.

処理部１０は、第２編集画面３２０を表示する（ステップＳ３０１）。処理部１０は、第２編集画面３２０上で、テキスト入力が選択されているか否かを判断する（ステップＳ３０２）。テキスト入力が選択されていると判断した場合（Ｓ３０２：ＹＥＳ）、処理部１０は、テキストを入力する欄の選択を画面上で受け付け（ステップＳ３０３）、選択された欄に対してテキスト編集を受け付ける（ステップＳ３０４）。ステップＳ３０４において処理部１０は、入力済みテキストも編集可能な状態で表示させ、ソフトキーボードを表示させてもよいし、情報処理装置１に接続されたキーボードからテキストを受け付けてもよい。処理部１０は、入力欄コマの識別データに対応付けてテキストを記憶し（ステップＳ３０５）、処理をステップＳ３０２へ戻す。 The processing unit 10 displays the second editing screen 320 (step S301). The processing unit 10 determines whether or not text input is selected on the second editing screen 320 (step S302). If it is determined that text input is selected (S302: YES), the processing unit 10 accepts the selection of a field into which text is to be input on the screen (step S303) and accepts text editing for the selected field (step S304). In step S304, the processing unit 10 displays the input text in an editable state, and may display a soft keyboard or accept text from a keyboard connected to the information processing device 1. The processing unit 10 stores the text in association with the identification data of the input field frame (step S305) and returns the process to step S302.

テキスト入力が選択されていないと判断された場合（Ｓ３０２：ＮＯ）、処理部１０は、コメント入力が選択されているか否かを判断する（ステップＳ３０６）。処理部１０は、コメント入力が選択されていると判断した場合（Ｓ３０６：ＹＥＳ）、全体を覆うレイヤ上で、自由な軌跡の描画を受け付け（ステップＳ３０７）、描画データを表形式の態様を覆うレイヤ上の位置に対応付けて記憶する（ステップＳ３０８）。ステップＳ３０８において処理部１０は、印刷出力のページ単位でレイヤを分けてそれぞれで描画データを記憶してもよい。処理部１０は、処理をステップＳ３０２へ戻し、コメント入力が選択されている間は、描画を受け付けて描画データを更新する。 If it is determined that text input has not been selected (S302: NO), the processing unit 10 determines whether or not comment input has been selected (step S306). If it is determined that comment input has been selected (S306: YES), the processing unit 10 accepts free trajectory drawing on a layer that covers the entirety (step S307) and stores the drawing data in association with a position on the layer that covers the tabular form (step S308). In step S308, the processing unit 10 may separate the layers by page of the print output and store drawing data in each layer. The processing unit 10 returns the process to step S302, and while comment input is selected, accepts drawings and updates the drawing data.

コメント入力が選択されていないと判断された場合（Ｓ３０６：ＮＯ）、処理部１０は、コマの表示エリアに対する特定の操作がされたか否かを判断する（ステップＳ３０９）。特定の操作は例えばダブルタップである。特定の操作がされていないと判断した場合（Ｓ３０９：ＮＯ）、処理部１０は処理をステップＳ３０２へ戻す。 If it is determined that comment input has not been selected (S306: NO), the processing unit 10 determines whether or not a specific operation has been performed on the display area of the frame (step S309). An example of the specific operation is a double tap. If it is determined that a specific operation has not been performed (S309: NO), the processing unit 10 returns the process to step S302.

特定の操作がされたと判断された場合（Ｓ３０９：ＹＥＳ）、処理部１０は、操作対象のコマの識別データを特定し（ステップＳ３１０）、特定した識別データのコマの編集画面３０１、即ち図５等の画面を表示する（ステップＳ３１１）。処理部１０は、第２編集画面３２０の表示を終了し、処理を図２－図４の処理手順へ移動する。 If it is determined that a specific operation has been performed (S309: YES), the processing unit 10 identifies the identification data of the frame that is the target of the operation (step S310), and displays the editing screen 301 of the frame of the identified identification data, i.e., the screen of FIG. 5, etc. (step S311). The processing unit 10 ends the display of the second editing screen 320, and the process moves to the processing procedure of FIG. 2-FIG. 4.

図１５及び図１６は、第２編集画面３２０の表示例を示す。第２編集画面３２０では、図１５及び図１６に示すように、コマを縦方向に並べ、各コマにコマの番号と、コマにおけるアクションを説明する書き込みと、コマのタイムスタンプを表形式で表す。コマは所定数（例えば５つ）毎に、印刷出力する際のページごとに分けられてよい。図１６の第２編集画面３２０には、１ページ目と２ページ目の境目が表示されている。 Figures 15 and 16 show an example of the display of the second editing screen 320. As shown in Figures 15 and 16, in the second editing screen 320, frames are arranged vertically, and each frame shows the frame number, a note explaining the action in the frame, and the frame timestamp in a table format. The frames may be divided into a predetermined number (e.g., five) of frames, each for pages when printed out. The boundary between the first and second pages is displayed in the second editing screen 320 in Figure 16.

第２編集画面３２０は、コメント追加ボタン３２１と、テキスト入力ボタン３２２とを含む。コメント追加ボタン３２１をユーザが選択すると、図１３を参照して説明したように、タッチパネル用のペンを用いて自由な軌跡で描ける。第２編集画面３２０上で描かれた軌跡は、コメント用のレイヤ上に表示される。図１５では、コメントデータの一例を軌跡５１で示す。コメント用のレイヤは、第２編集画面３２０上全体を覆うか、１ページ分ずつであるため、図１５に示すように、複数のコマにまたがって動きを表現した線や、手書き文字などを描くことが可能である。軌跡５１を印刷出力時に共に出力するか否かは、選択可能であるとよい。 The second editing screen 320 includes an add comment button 321 and a text input button 322. When the user selects the add comment button 321, as described with reference to FIG. 13, the user can draw a free trajectory using a touch panel pen. The trajectory drawn on the second editing screen 320 is displayed on the comment layer. In FIG. 15, an example of comment data is shown as trajectory 51. The comment layer covers the entire second editing screen 320 or one page at a time, so that it is possible to draw lines expressing movement across multiple frames, handwritten characters, etc., as shown in FIG. 15. It is preferable that the user can select whether or not to output the trajectory 51 when printing.

図１６に示す第２編集画面３２０は、テキスト入力ボタン３２２が選択された場合の表示例を示す。図１６では、ユーザがタッチパネル用のペンを用いて、２コマ目のコメントエリアをタッチしたことで、コメントエリアが編集エリア３２３となり、カーソルが表示されていることが示されている。このように、テキストをキーボードやソフトウェアキーボードなどで入力できるため、操作性が向上する。 The second editing screen 320 shown in FIG. 16 shows an example of the display when the text input button 322 is selected. In FIG. 16, the user has touched the comment area of the second frame with a touch panel pen, causing the comment area to become an editing area 323 and displaying the cursor. In this way, operability is improved because text can be input using a keyboard or a software keyboard.

その他、絵コンテプログラムＰ１は、追加機能として、複数のコマの再生時に同期させる音声、効果音又はＢＧＭ等の音のテンポ（ＢＰＭ：Beat Per Minute ）を測定するカウンター機能をプログラム内で呼び出せるようにしてもよい。このカウンター機能によりユーザは、音を再生しながらタップしたタイミングでテンポを測定し、把握することができる。測定されたテンポに基づき、処理部１０が各コマの時間の単位を自動的に決定するようにしてもよい。例えば処理部１０は、１５０ＢＰＭであれば１コマあたり０．４秒（＝６０秒×１／１５０）を最小単位とし、１秒としていたコマを０．８秒、１．２秒などの最小単位の倍数の長さに割り当てるなどしてもよい。 Additionally, the storyboard program P1 may be configured to call, as an additional function, a counter function within the program that measures the tempo (BPM: Beats Per Minute) of sounds such as voice, sound effects, or background music that are synchronized when multiple frames are played back. This counter function allows the user to measure and understand the tempo by tapping while the sound is being played back. Based on the measured tempo, the processing unit 10 may automatically determine the unit of time for each frame. For example, if the BPM is 150, the processing unit 10 may set 0.4 seconds (= 60 seconds x 1/150) per frame as the smallest unit, and assign a frame that was previously 1 second to a length that is a multiple of the smallest unit, such as 0.8 seconds or 1.2 seconds.

絵コンテプログラムＰ１は更に、全てのコマに対して反映される背景画像の設定機能を含んでもよい。背景画像は、コマ別に設定されてもよい。背景画像として、描画を補助するパース定規などの線画を記憶部１１に記憶しておく。背景画像の設定メニューをユーザが選択すると、処理部１０が、記憶部１１に記憶されている背景画像候補や、情報処理装置１が通信接続可能なＷｅｂサーバで提供される画像から選択を受け付けるようにしてもよい。背景画像は、ユーザが情報処理装置１の他のアプリと共有可能なストレージ（カメラロール）に記憶した画像（トレース用の写真を含む）から設定することも可能であり、他のユーザが使用できるように、上述のＷｅｂサーバにアップロード可能であってもよい。背景画像は、動画再生時に共に含めるか、動画再生時に含まないようにするかをコメントデータ同様に選択可能であるとよい。 The storyboard program P1 may further include a setting function for a background image that is reflected in all frames. The background image may be set for each frame. Line drawings such as a perspective ruler that assists in drawing are stored in the storage unit 11 as background images. When the user selects a background image setting menu, the processing unit 10 may accept a selection from background image candidates stored in the storage unit 11 or images provided by a web server to which the information processing device 1 can communicate. The background image may also be set from an image (including a photo for tracing) stored by the user in a storage (camera roll) that can be shared with other applications of the information processing device 1, and may be uploaded to the above-mentioned web server so that other users can use it. It is preferable that the background image can be selected to be included when playing the video or not included when playing the video, similar to comment data.

上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。 The embodiments disclosed above are illustrative in all respects and are not restrictive. The scope of the present invention is defined by the claims, and includes all modifications within the meaning and scope of the claims.

１情報処理装置
１０処理部
１３表示部（ディスプレイ）
１４操作部（タッチパネル）
Ｐ１絵コンテプログラム 1 Information processing device 10 Processing unit 13 Display unit (display)
14 Operation unit (touch panel)
P1 Storyboard Program

Claims

A computer with a touch panel display,
displaying on the display a plurality of objects corresponding to a plurality of frames constituting the storyboard, together with thumbnails of images drawn for each frame, in chronological order;
accepting, on the display, a selection of an object corresponding to a frame to be edited from among the plurality of objects;
displaying an edit screen for a frame corresponding to the selected object on the same screen as the plurality of objects;
On the displayed editing screen, drawing and editing of the frame is accepted,
displaying a playback button on the same screen for playing back the plurality of frames as a video in accordance with a set time axis;
When the play button is selected on the display, the plurality of frames are played as a video ;
The playback time of the video corresponding to each of the frames is displayed in a manner that allows the playback time to be changed by an operable knob output to an end of the object depending on the length in the time series direction of each of the corresponding objects.
A computer program that executes a process.

The computer includes:
displaying an interface for switching a display method of the plurality of objects corresponding to the plurality of frames while displaying the editing screen;
Each time the interface is selected, a display method for the plurality of objects is switched.
2. A computer program product as claimed in claim 1, which is adapted to carry out a process.

The computer includes:
The computer program according to claim 1 , which executes a process of displaying a waveform of a sound to be output in synchronization with the video when the play button is selected, substantially parallel to the plurality of objects in which the previous plurality of frames are arranged in chronological order.

The computer includes:
superimposing the plurality of frames on the plurality of objects arranged in chronological order , and displaying a cursor movable in the arranged direction;
The computer program product according to claim 1 , further comprising a process for switching and displaying the plurality of frames in response to movement of the cursor.

The computer includes:
Accept the drawing of a comment for the frame to be edited on a layer separate from the said frame,
storing the drawing data of the comment in association with the identification data of the frame;
The computer program product according to claim 1 , further comprising: a setting for specifying whether or not the comment is to be superimposed when the video is played back.

The computer includes:
displaying a second editing screen in which the plurality of frames are arranged vertically and identification data of each frame, a comment explaining the action in each frame, and a time stamp of each frame are displayed in a table format;
The computer program product according to claim 1 , further comprising: a program for executing a process of accepting text editing of the comment on the second editing screen and drawing of a free trajectory on a layer covering the second editing screen.

A computer with a touch panel display,
displaying on the display a plurality of objects corresponding to a plurality of frames constituting the storyboard, together with thumbnails of images drawn for each frame, in chronological order;
accepting, on the display, a selection of an object corresponding to a frame to be edited from among the plurality of objects;
displaying an edit screen for a frame corresponding to the selected object on the same screen as the plurality of objects;
On the displayed editing screen, drawing and editing of the frame is accepted,
displaying a playback button on the same screen for playing back the plurality of frames as a video in accordance with a set time axis;
When the play button is selected on the display, the plurality of frames are played as a video;
displaying an interface for switching a display method of the plurality of objects corresponding to the plurality of frames while displaying the editing screen;
Each time the interface is selected, a display method for the plurality of objects is switched.
A computer program that executes a process.

A computer with a touch panel display,
displaying on the display a plurality of objects corresponding to a plurality of frames constituting the storyboard, together with thumbnails of images drawn for each frame, in chronological order;
accepting, on the display, a selection of an object corresponding to a frame to be edited from among the plurality of objects;
displaying an edit screen for a frame corresponding to the selected object on the same screen as the plurality of objects;
On the displayed editing screen, drawing and editing of the frame is accepted,
displaying a playback button on the same screen for playing back the plurality of frames as a video in accordance with a set time axis;
When the play button is selected on the display, the plurality of frames are played as a video;
displaying a second editing screen in which the plurality of frames are arranged vertically and identification data of each frame, a comment explaining the action in each frame, and a time stamp of each frame are displayed in a table format;
Accepting text editing for the comment on the second editing screen and drawing with a free trajectory on a layer covering the second editing screen
A computer program that executes a process.

A built-in touch panel display and
a processing unit;
The processing unit includes:
displaying on the display a plurality of objects corresponding to a plurality of frames constituting the storyboard, together with thumbnails of images drawn for each frame, in chronological order;
accepting a selection of an object corresponding to a frame to be edited from among the plurality of objects;
displaying an edit screen for a frame corresponding to the selected object on the same screen as the plurality of objects;
On the displayed editing screen, drawing and editing of the frame is accepted,
displaying a playback button on the same screen for playing back the plurality of frames as a video in accordance with a set time axis;
When the play button is selected on the display, the plurality of frames are played as a video ;
The playback time of the video corresponding to each of the frames is displayed in a manner that allows the playback time to be changed by an operable knob output to an end of the object depending on the length in the time series direction of each of the corresponding objects.
An information processing device comprising a processing unit.

A computer equipped with a display having a built-in touch panel,
displaying on the display a plurality of objects corresponding to a plurality of frames constituting the storyboard, together with thumbnails of images drawn for each frame, in chronological order;
accepting, on the display, a selection of an object corresponding to a frame to be edited from among the plurality of objects;
displaying an edit screen for a frame corresponding to the selected object on the same screen as the plurality of objects;
On the displayed editing screen, drawing and editing of the frame is accepted,
displaying a playback button on the same screen for playing back the plurality of frames as a video in accordance with a set time axis;
When the play button is selected on the display, the plurality of frames are played as a video ;
The playback time of the video corresponding to each of the frames is displayed in a manner that allows the playback time to be changed by an operable knob output to an end of the object depending on the length in the time series direction of each of the corresponding objects.
Information processing methods.