この記事はTech KAYAC Advent Calendar 2020の19日目の記事です。 こんにちは。CL技術部の藤澤覚司です。 普段はUnityを使ったAR開発などを行っています。前回の記事では、可愛いキツネさんがsoft particleの中を走り回っていましたね。コンコン。 最近サイバーパンク2077が発売されましたね。職場の人間はみんなサイバーでパンクな物が大好きなので、僕もすぐ買いに行きました。 www.spike-chunsoft.co.jp サイバーパンク2077をプレイしていて感じましたが、やっぱりギラギラしているサイバーな街並みを見ていると、テンションが上がってきますね。僕の代わり映えしない日常もギラギラと発光していたらいいのに。だから僕はhololiveを見るための板になっていたiPadをおもむろに取り出しました。 作りたかったもの ARKit3.5から新しく追加

（今回から河本の実験室の記事は、こっちに書くことにしました。そのうち過去記事も移転します。） "AR Sensor"というアプリを作りました。 データをARで投影することで、普通は見えない日常の中の様々な空間データを見えるようにするツールです。 例えばこんなふうに、Wifiルーターから出てくる電波の立体的な強弱を見ることができます（緑は電波が強いところ、赤は電波が弱いところ）： AR Sensorで見るWifiルーターの上の電波強度 なんでこんなの作ったの？ もともとは「週一ぐらいでどこからともなく流れてくる排水口の臭いのもとを突き止めたい」という家庭的な悩みを解決するためにこのツールを作りました。臭いの空間分布を可視化できれば、臭いの元がすぐに見つけられるんじゃないかと。 使っているうちにWifiや磁場などのスマホで測れる様々なデータに応用すると便利＋教育的であることに気づいて、汎用的な

Information about the camera characteristics used to capture images and depth data.

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 3Dについて勉強したのでその備忘録です。 理解につながった記事のリンク集と、自分の理解した内容をメモとして残しています。 （いくつかの画像は参考にした記事から拝借しています） 実際にJavaScriptのCanvas2Dを使って簡単な自作3Dエンジンを作ってみました。 自作3Dエンジンサンプル ##参考にした記事など フォグについてのPDF 自作Quaternionサンプル いわずとしれたTHREE.js(GitHub) その60 変換行列A×BとB×Aの違いを知ろう 3Dプログラミングの基礎知識(1) 3Dプログラミングの基礎知識(5

前回のエントリ「カメラの位置・姿勢推定０　透視投影モデルと座標系の定義」で若干フライングしてしまいましたが，このエントリで斉次座標（Homogeneous Coordinate）を導入します．前回のエントリから，カメラ座標系から見た三次元の点（X, Y, Z）を正規化画像座標系に投影すると下記のように表されることがわかりました． 上式を見ればわかるように，3Dから2Dに変換する計算をするときに簡単な行列の連鎖式で表現できません．任意の世界座標（Xw, Yw, Zw）の投影点をもとめる式も計算しましたが，計算式が複雑になってくるとこれは面倒極まりないので，投影点を3Dの座標とみなします．3Dの座標とみなした場合，正規化画像座標系ではスクリーンは Z = 1 の場所にあるので，投影点は (x, y, 1) と表現されます．これを表現すると となります． 斉次座標系の導入 本当は2Dの投影点を（

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? iOS Second Stage Advent Calendar 2015 - Qiita 8日目です。Qiitaも初投稿です。よろしくお願いいたします。 TL;DR Apple純正3DフレームワークのSceneKit(とVuforia）でARアプリを簡単に作ろう！ （フルの動画はこちら） SceneKitとVuforiaを用いて，iOSネイティブで拡張現実(Augmented Relity; AR)アプリを作る方法について書きたいと思います。自分で必要だったため実装したのですが，SceneKitでARを実装する資料がなく試行錯誤したの

引き続きカメラの位置・姿勢推定問題です．PNP問題の解き方をまとめます． 問題分類のエントリで書いたように，下記を前提とします． 前提条件１：カメラの内部パラメータがわかっている． 前提条件２：基準となる座標系（ワールド座標系）が定義されており，撮影する物体（の各点）のワールド座標系での位置が事前に分かっている． 問題設定 解こうとしている問題のイメージ 上記の前提を図示してみると，下記のようなイメージかと思います．ここで，Xiは各点のワールド座標系での位置，xiはその各点をカメラで撮影した時の画像座標系での投影点です． 家の頂点五点が赤く塗られていますが，この頂点のワールド座標系での位置が分かっているとします．この時にカメラで撮った家の写真をみて，「この写真をとったカメラの位置は？」を求めるのがこの問題です．ちなみに，上記の絵に記載されている「R, t」がカメラの位置になります． アルゴ

先日、iOS 11.3のベータがリリースされました。 ARKitがアップデートされて、ARKit1.5となり、画像認識や垂直面の認識などができるようになりました。 （この記事は、公開されている情報に基づいて書いています。） ARKit 1.5 ARKit1.5でのアップデート内容はこちらです。 垂直面の平面認識の追加 ARKit内での画像認識 ビデオ系処理の改善 それぞれの項目についてみてみましょう。 垂直面の平面認識 今までのARKitでも平面認識はできましたが、認識できたのは床などの水平面だけでした。 ARKit1.5からは、壁などの垂直面も認識できるようにになりました。 コードでみてみましょう。 まず、Xcodeで新規プロジェクトを選び、Augmented Reality App を選択します。 このプロジェクトはデフォルトでARが使えるようになっているので、初期設定を変えるだけで平

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに みなさま、あけましておめでとうございます 昨年末にARKitに関する記事を投稿しましたが、その続きとして、ARKitを使いながらAVFoundationのようなカメラ制御も同時に行うことができるか？というテーマで調査を行いました。 何をやりたいのか？ AR処理を行いつつ、裏でカメラ画像を使って画像処理や画像認識処理を行いたい。 ARKitが提供する水平面検出や特徴点認識を併用できると面白いことができそう？ AVFoundationで可能な解像度設定やフォーカス設定などの高度なカメラ設定も行いたい。 解決する必要のある課題 AR

Vision で QR コードを読み取る 今回は iOS 11 からの新フレームワーク Vision を利用して QR コードを読み取ってみようと思います。 Vision の概要に関しては以下の記事をご覧ください。 [iOS 11] 画像解析フレームワークVisionで顔認識を試した結果 実行動画 QR コードを検出すると画面中央にその内容を表示するアプリを作りました。 どういうわけかプログラムを実行しながらの動画撮影が上手くできませんでした。 画像処理で負荷がかかっているため処理落ちしているのでしょうか？ 実際はスムーズに QR コードが検知できているので、その動作を見てみたい場合は以下を参考にアプリを作成してみてください。 サンプルコード ほとんどは以前書いたコードの流用です。 変更点のみを記載します。 private func setupTextLayer() { let textL

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

カメラとなる SCNCamara で被写界深度のシミュレーションを行う。 実際のカメラと同様に距離でオブジェクトにピントを合わせて、 他がボケるさせる効果の設定を行う。 ちなみに、今回紹介するすべてのプロパティが macOS, tvOS, watchOS でも廃止予定で、 iOS 11 など最新の OS からはカメラのシミュレーションに近い、焦点距離 (focusDistance) と F値 (fStop) で行う。 Scene Editor の パラメーター Blur Radius ピントがあっていないもの（被写界深度の外のもの）に対してボケ具合の最大値を設定する。 0 以上にしないと被写界深度のシミュレーションが行われない。 デフォルト値は 0.0。 Distance ピントを合わせたいものまでの距離。焦点距離。 デフォルト値は 10.0 Aperture レンズの口径を表す。 値を大

0. はじめに WWDC2017始まりましたね。 Keynoteで発表され、なによりも話題になったのがARKit。早速試していきたいのですがもちろんまだまだ日本語の情報は少ないです（QiitaではなぜかUnityで使う方法が先にあがっていますね...） というわけで公式のドキュメントを参考に、早速ARKitを動かしてみようというのが今回の趣旨です。 環境はもちろんのことXcode9 betaです。 有料デベロッパーアカウントでないとインストールできない（？）ようなので気になる人はアプリをリリースしている人に頼み込んでみましょう。 今回のコードはこちらです。（ARKitSCNSampleがSceneKitの、ARKitSKSampleがSpriteKitの、ARKitMetalSampleがMetalのサンプルになっています。） touyou/ARKitSample 1. ARことはじめ〜S

ARKit 1.5 から Vuforia のような画像認識を行うことができるようになった。 壁や床などの画像を想定しているようなので、現象 Vuforia ほどの正確さはなく、 今後のアップデートで期待したい。 また、公式でサンプルが用意されているため、英語を読むのが苦にならない方は、公式の方を読んでもらった方が良いと思われる。 Recognizing Images in an AR Experience | Apple Developer Documentation ひとまず注意点 Beta 版であるため今後仕様が変更される可能性がある Beta 版の Xcode 9.3 使用するため iOS Developer Program 加入している必要がある 端末カメラを使用するため iOS 11.3 をインストールした実機が必要がある Beta 版なので認識がおかしくなることがある 今回は動

ARKit Advent Calendar 2017 | 15日目 以下の昨日の記事の動画。 前半では ARKit で取得しているカメラ映像に対して Core Image のフィルター CIDotScreen を使用し、 新聞のモノクロ写真のようなモノクロドットや黒の塗りつぶしで構成された効果を適応しており、 こちらのご紹介。 本来は Metal を使用したり、SceneKit の SCNTechnique などを使うべきだが、 今回の処理でも許容範囲かつ実装が簡単なのでこちらを選択した。 （Metal 直で処理した方が速いと思われるのと、負荷がかからないはずなので、頑張れる方は頑張ってほしい） 流れ 昨日の記事で紹介しているように ARKit のシーンの背景は、 iOS 端末の背面カメラである iSight or iSight Duo カメラから取得している映像（画像）を渡している。 デ

射影変換についてツールも作成して、まーそれなりに理解は出来てきたわけですが、初回の記事で取り上げたHomography HIDIHO!サイトの射影変換の下記ソースリスト(actionscript)の疑問が残っていたわけです。(cv.jsのgetPerspectiveTransformも同様) static private function getSystem( P:Array ):Array { var system:Array = new Array( 8 ); var sx:Number = (P[0].x-P[1].x)+(P[2].x-P[3].x); var sy:Number = (P[0].y-P[1].y)+(P[2].y-P[3].y); var dx1:Number = P[1].x-P[2].x; var dx2:Number = P[3].x-P[2].x; var