Torishima / INTP @izutorishima 趣味: アニメ鑑賞・実況／録画／AI驚き屋(アマ)／プロダクト開発／その他諸々なオタク（⚠⚠AI研究者ではありません!!! 雑多につきマジでフォロー非推奨!!!⚠⚠️） AI / LLM 情報と今期アニメをウォッチしてます 同IDで Bluesky にもいます サブアカウント: @iotorishima note.com/sumisutori Torishima / INTP @izutorishima 画像を高画質化する AI の Real-ESRGAN、ウルトラスーパーガチで凄すぎて超絶ビビってる waifu2x-caffe と違って Intel Graphics に対応してるらしくノート PC でも爆速でアップスケーリングできるし、精度も段違い（2枚目: Before 3枚目: After） なぜ話題になっていないのか不思
深津 貴之 / THE GUILD @fladdict THE GUILD。行動・認知・体験のデザイナです。 ネットを知の高速道路として復活させたい。 note.comと、弁護士ドットコムのリーガルブレインというサービスをお手伝いしています。 書き物 → note.com/fladdict theguild.jp
米AI研究企業OpenAIは4月6日（現地時間）、文章から画像を生成するAI「DALL・E 2」を発表した。2021年1月に同社が発表した「DALL・E」の後継に当たるAIで、生成した画像を掲載するデモサイトも公開している。Twitter上ではAIが生成した画像のクオリティーの高さに「最新のAIやばすぎる」「個展開ける」など、驚きの声が出ている。 例えば「An astronaut riding a horse in a photorealistic style」（写真のようなリアルに描かれた、馬に乗る宇宙飛行士）では下記のような画像を生成する。
深津 貴之 / THE GUILD @fladdict THE GUILD。行動・認知・体験のデザイナです。 ネットを知の高速道路として復活させたい。 note.comと弁護士ドットコムでCXOとしてもお手伝いしています。 書き物 → note.com/fladdict theguild.jp
写真をアニメっぽい画像に変換する「AnimeGAN」に改良を加えたオープンソースプロジェクト「AnimeGANv2」を手軽に試せるデモサイトが公開されています。 AnimeGANv2 - a Hugging Face Space by akhaliq https://huggingface.co/spaces/akhaliq/AnimeGANv2 これは、「AnimeGANv2」のPython向け機械学習フレームワークである「PyTorch」版をもとに、機会学習体験UIを作成するGradioで作られたデモで、基本的には人の顔が写ったポートレート写真の変換を行います。 サイト上部にある「Drop Image Here - or - Click to Upload」と書かれたエリアに変換したい写真をドラッグ＆ドロップするか、エリアをクリックしてエクスプローラーから変換したい写真をアップロードし
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米イリノイ大学アーバナ・シャンペーン校の研究チームが開発した「JoJoGAN: One Shot Face Stylization」は、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークだ。「空条承太郎」など、作中のキャラクタースタイルに似せた顔に変換する。このフレームワークは、大量のペア画像データセットを使わず、1枚の顔画像から学習できる特性を持つ。 画像をスタイル変換するモデルは、大量のペア画像データセットを必要とするが、そのデータを準備するにはコストがかかる。数枚の画像からスタイル変換する研究も報告されているが、詳細なスタイルや多様性を
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 NVIDIAと米Cornell Universityの研究チームが開発した「GANcraft: Unsupervised 3D Neural Rendering of Minecraft Worlds」は、マインクラフトなどのボクセルベースの大規模な世界を写実的な画像に変換する手法だ。土や砂、草木、雪、海、空などをリアルに表現し、見る視点を移動しても一貫した画像を提供する。ゲームやアニメーションの背景、バーチャル空間の作成にも役立つ可能性を秘めている。 マインクラフトは、規則的なグリッド上にブロックを置くだけで3次元空間を構築できる、子どもでも可能な手軽さが魅力だが、各3Dブロックは大きく
米NVIDIAは11月22日（米国時間）、風景画像を自動生成する同社のAI技術「GauGAN」（ゴーギャン）の新モデルである「GauGAN 2」を発表した。従来はベタ塗りからリアルな画像を生成できていたが、GauGAN 2では文字情報を与えるだけで画像を生成できるようになった。 同社が公開している動画では「ocean waves hitting rocks on the beach」（ビーチの岩に当たる波）と入力する過程が収められており、「ocean」の段階では湾を俯瞰した画像が作られ、「waves」まで入れると波が現れ、「hitting rocks」まで入れた段階では波打ち際の画像が生成されている。
AI技術を用いて架空の画像や映像を合成するディープフェイクは、人の目には真偽を見分けることが非常に難しい段階まで発展しており、実在しない人物の顔写真を簡単に作成できることからSNSなどでも大きな問題となっています。そんなディープフェイクの顔写真を、瞳に映った光の反射から見抜く技術を、ニューヨーク州立大学バッファロー校の研究チームが開発しました。 EXPOSING GAN-GENERATED FACES USING INCONSISTENT CORNEAL SPECULAR HIGHLIGHTS (PDFファイル)https://arxiv.org/pdf/2009.11924.pdf New AI tool detects Deepfakes by analyzing light reflections in the eyes https://thenextweb.com/neural/2
(2022/09/22 17:52更新)画像生成AI「Stable Diffusion」を簡単に利用するための実行環境の1つである「Stable Diffusion web UI」のコントリビューター(開発貢献者)の1人であるAUTOMATIC1111氏が、フォークではないものの同名で「機能全部盛り」なStable Diffusion web UI(AUTOMATIC1111版)の開発を進めています。 GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI https://github.com/AUTOMATIC1111/stable-diffusion-webui ◆目次 1：AUTOMATIC1111版Stable Diffusion web UIでできること・対応していること 2：Google Co
memo.sugyan.com の記事の続き(？)。 ある程度の学習データを収集して学習させたモデルが出来たので、それを使って実際に色々やってみる。 StyleGAN2-ADA 学習 mapping出力と生成画像 生成画像の属性推定結果から潜在空間の偏りを抽出 表情推定 顔姿勢推定 髪領域推定 (顔解析) 年齢 (上手くいかず) 複合 Repository StyleGAN2-ADA 前回の記事でも書いたけど、厳選した16,000枚の画像を使って StyleGAN2-ADA を使って生成モデルを学習させてみた。 github.com これは StyleGAN2 から進化したもので、より少ない枚数からでも安定して学習が成功するようになっていて、さらにparameter数など調整されて学習や推論もより早くなっている、とのこと。 それまでのStyleGANシリーズはTensorFlowで実装され
・ネットを巡回して、いろいろなハックしてる人のブログや論文を100個ぐらい読む。 ・親切なPFNの人にお時間もらって、謎だった部分や、自分なりにたてた仮説のコンセプトをきいてもらう。 ・Udemyがちょうどセールをしてたので、AI系のクラスを3万円分購入（総額20万円相当）。2倍速でざっくり見る。 …だいたいこんな感じの3週間。数学が難しすぎて、わからないこともいっぱい。ただ頭のなかでe4eエンコーダやpix2pix的に、概念モデルのエンコーダーを作れば、数式なしでもいける感はあった。 総論としてはAIは面白いですね、ロケットサイエンスと別の方向性で「言語化されてない職人芸のアート領域」があり、ここを抑えることができれば、最先端の発見や成果は色々とうまってそうという印象を受けました。 とりあえずStyleGan2で基礎勉強をしながら、BigGan、VQGanとProblematic Dif
Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold Abstract Synthesizing visual content that meets users' needs often requires flexible and precise controllability of the pose, shape, expression, and layout of the generated objects. Existing approaches gain controllability of generative adversarial networks (GANs) via manually annotated training data or a prior 3D
本記事は、画像生成AI Advent Calendar 2022 15日目を埋める記事です。 はじめに 画像生成AIは、学習した画像をコラージュした画像を出力しているのではないか、という議論があります。多くのモデルは勝手に収集した画像で学習（訓練）されているため、そのようなコラ画像が生成されていたら大問題です。 上の図を見てください。この図は、今月投稿された論文 [1] Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models [Gowthami Somepalli+, arXiv 2022] の図です。上段がStable Diffusionの生成画像、下段が訓練データのサブセット（LAION Aesthetics v2 6+）中で一番似た画像です。生成画像の一部またはほぼ全部が
“国産実写ギャルゲー”『ラブ・スタートアゲイン』を遊んでみたら、リアルすぎて“本気の恋愛力”を試された。実写ならではの細かな演技による没入感がすごい。細かな表情やしぐさに一喜一憂し、嫌われたくなくて本気で苦しむ。実写だからこそできる「本気の恋愛」
筑波大が無料公開している機械学習の講義動画 https://t.co/aOlSBqYefi ・講義ノートもダウンロード可能 ・単回帰に始まりCNN, RNN, GANまでひと通り学べる https://t.co/CqpnzfBfOm
自宅用に使えるワールドをBoothで販売してたりします。 ワールド制作の役に立つかなー、と思ってAI画像生成に手を出してみた、という次第です。 DALL·E 以前からAI画像生成自体、ワールド制作の何かに使えそうだなー、とうっすら考えていたところ、DALL·EというAI画像生成のサービスの噂を聞き、Waitlistに並んで3ヶ月ほどが経ちました。 そして先日、ついにアクセス権を手に入れた…！！ とりあえず試してみると… え……すご…（言葉を失う）いや、なにこれ、すご… もうなんにでも使えるじゃん。 よっし、いろいろ試すぞー！！！ …となっていたところだったのですが、ベータテストと方針が変わり、無料体験分を使い切ると15＄で115回分のチケットを購入する、という方式になっているようでした。 まー、そりゃそうだよねー。サーバー負荷とかすごそうだし… 凄い画像を生成できるならそれでも安いかー で
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 国立台湾科技大学の研究チームが開発した「Cartoon Style Transfer in Faces using GANs」は、現実の顔のアイデンティティーを維持したままアニメ風の顔画像に変換するGAN（Generative Adversarial Network）を使った手法だ。実写感を排除しているのに、元の顔の原型をできるだけ残した点が特徴だ。 先行研究でも実写の顔画像からアニメ風の顔画像にスタイル変換するGANを使ったモデルが多数報告されている。TikTokやSnapchatなどの多くのモバイルアプリでも顔をアニメ化できるカートゥーン・フィルター機能を提供している。 これらの問題点
本記事は、2022年夏季インターンシッププログラムで勤務された早川知志さんによる寄稿です。 はじめまして。2022年度のPFN夏季インターンに参加した早川知志です。普段はオックスフォード大学で数学（確率論・数値解析）の博士学生をしており、確率測度の離散化やそれにまつわる理論や応用に興味があります。 今回は、大学でやっていることとは趣旨を変えて、深層学習のエンターテインメント応用として二次元キャラクターの学習・生成タスクに取り組みました。 学んだキャラクターのCLIP embeddingを用いた生成例 1. Motivation オリジナルのキャラクターを描くときに角度や表情を微調整するのには途轍もない労力が必要です。筆者はイギリスでのロックダウン以来趣味でイラストや漫画を描こうとすることが増えたのですが、その過程でこのことに気付きました。生成モデルの力を借りて今までに描いたことのない構図で
2022/9/14 GPU UNITE 2022 / Day3：CG研究 セッション (https://gdep-sol.co.jp/gpu-event/gpu-unite-2022/day3/) 講演資料
画像素材サイトを運営するACワークスは3月15日、両親の顔写真から赤ちゃんの顔をAIで予測するサービス「赤ちゃんAC」を公開した。無料で利用できる。 2人の顔写真を同サイトへアップロードすると、2人から生まれる赤ちゃんの顔画像をAIで合成する。合成画像は無料でダウンロード可能で、アップロードした顔写真も24時間で完全に消去するとしている。 赤ちゃんの顔画像の合成には、2人の顔を組み合わせて高解像な合成画像を作るディープラーニング技術の一つである、米NVIDIAの「StyleGAN」を利用しているという。親の顔の特徴抽出には「pixel2Style2pixel」というStyleGAN向けの計算手法を使うことで、通常は1分ほどかかるエンコード処理を数秒にまで短縮したとしている。 関連記事 “実在しないリアルな顔”を自在に編集できる「StyleRig」 StyleGANで生成した顔の向き、表情、
TechCrunch Daily News Every weekday and Sunday, you can get the best of TechCrunch’s coverage. Startups Weekly Startups are the core of TechCrunch, so get our best coverage delivered weekly.
This Space has been paused by its owner. Want to use this Space? Head to the community tab to ask the author(s) to restart it.
🔥 AnimeVideo-v3 model (动漫视频小模型). Please see [anime video models] and [comparisons] 🔥 RealESRGAN_x4plus_anime_6B for anime images (动漫插图模型). Please see [anime_model] 💥 Update online Replicate demo: Online Colab demo for Real-ESRGAN: | Online Colab demo for for Real-ESRGAN (anime videos): Portable Windows / Linux / MacOS executable files for Intel/AMD/Nvidia GPU. You can find more information here
ストックフォトサービスを手掛けるイメージナビ（札幌市）は6月1日、AIを活用して実在しないモデルの画像を作成するサービス「INAI MODEL」に、男性モデルを追加した。これまで女性の画像のみ提供していたが、AIのアップデートを重ね、男性の場合でもクオリティーを維持できると判断したことから販売を決めたという。従来と同じく、Web広告やポスターなどでの利用を見込む。 INAI MODELでは、実在する人物の写真を利用許諾を得た上で撮影。AIで顔部分を加工して架空のモデル画像を生成する。開発にはAIベンチャーのデータグリッド（京都市）が協力。画像を生成するAIと画像がAIによるものか評価するAIを戦わせることで精度を向上させる技術「GAN」（敵対的生成ネットワーク）を活用している。 モデルが実在しないため、一度購入すれば契約期間を気にせず永久に画像を使える他、モデルがスキャンダルを起こすリスク
ベクトル量子化(VQ)を用いたVAEである「VQ-VAE」を、敵対的生成ネットワーク(GAN)に発展させた新しい画像生成モデルが「VQGAN」です。このVQGANと、テキストと画像という異なるデータを結びつけるニューラルネットワークの「CLIP」を組み合わせることで、「入力したテキストから画像を生成するモデル」をライアン・モールトンさんが作成しています。 Tour of the Sacred Library – Ryan Moulton's Articles https://moultano.wordpress.com/2021/07/20/tour-of-the-sacred-library/ モールトンさんは、画像生成モデルの「VQGAN」と、画像とテキストを結びつけるニューラルネットワークの「CLIP」を組み合わせ、「入力したテキストから画像を生成するモデル」を作成しました。 このモ
Imagen unprecedented photorealism × deep level of language understanding unprecedented photorealism deep level of language understanding We present Imagen, a text-to-image diffusion model with an unprecedented degree of photorealism and a deep level of language understanding. Imagen builds on the power of large transformer language models in understanding text and hinges on the strength of diffusi
森川氏の自己紹介森川幸人氏（以下、森川）：時間なのではじめます。非常に具体的で実用的で、かつ先進的で未来を感じる松木さんと下田さんの講演の後に、とても申し訳ない講演になってしまうような気がしますが。この後の三宅さんの講演も座談会もおもしろいものになると思います。4分の1ぐらいちょっと外した話がある「QA Tech Night」が本来は成功ということで、ゆるく休憩というか、トイレタイムにでも使ってもらえればと思います。よろしくお願いします。 森川と申します。「プレイステーション」の立ち上げの時にゲームを作っていて、その時にAIを使ったため、ずっとAIを使ったゲームを作っています。 AIをゲームに使うということで、縁があってAIの本を出しています。 2017年、世の中はちょうどAIの第3次ブームが起こっていて、ゲーム業界の方もAIについてわりと耳を傾けてくれるような環境になってきたので、「じゃ
近年AIを用いた画像生成技術が飛躍的な進歩を遂げており、実在しない人物の顔写真がSNSなどで大きな問題を引き起こしています。こうした状況の中、アメリカの研究チームが現行のニューラルネットワークで生成された人間の画像は「瞳孔の形」で区別できるという研究結果を発表しました。 [2109.00162] Eyes Tell All: Irregular Pupil Shapes Reveal GAN-generated Faces https://arxiv.org/abs/2109.00162 近年は敵対的生成ネットワーク(GAN)と呼ばれる人工知能アルゴリズムの発展によって、実在しない人物の顔写真を簡単に作成できるようになった結果、AI生成された顔写真をプロフィールに用いるボットアカウントが急増。こうしたボットアカウントは詐欺などに用いられているため、大きな社会問題となっています。 存在しない
Preferred Networksは4月26日、顔ならびに上半身のイラストが自動生成・編集できるキャラクター生成プラットフォーム「Crypko」（クリプコ）を、同日からウェブサービスとして提供を開始した。 Crypkoは、深層学習を応用した画像生成モデルの1つである「敵対的生成ネットワーク」（generative adversarial networks、GAN）を使った顔のイラスト生成モデルとして、2018年に開発を開始。6世代目となる今回の生成モデルでは、顔だけでなく人間のイラストレーターが描画したようなキャラクターの上半身のイラストを生成することが可能となっている。 さらに、生成したキャラクターを融合することにより、それらの特徴を継承した新しいキャラクターを生成する。髪や目の色、表情などの属性をユーザーの好みで変更することも可能となっている。ユーザーは、所定のアプリ内ポイント（Cr
以下の記事が面白かったので、ざっくり翻訳しました。 ・lucidrains/DALLE-pytorch: Implementation / replication of DALL-E, OpenAI's Text to Image Transformer, in Pytorch 1. DALL-E in Pytorch 「DALL-E in Pytorch」は、OpenAIのText-to-Image Transformerである「DALL-E」（論文）のPyTorch実装/複製です。生成画像をランク付けするための「CLIP」も含まれます。 Eleuther AIのSid、Ben、Aranは、「DALL-E for Mesh Tensorflow」に取り組んでいます。 DALL-EがTPUで学習されるのを見たい場合は、彼らに手を貸してください。 2. 状態Hannuは、わずか2000枚の
Run time and cost This model costs approximately $0.0025 to run on Replicate, or 400 runs per $1, but this varies depending on your inputs. It is also open source and you can run it on your own computer with Docker. This model runs on Nvidia L40S GPU hardware. Predictions typically complete within 3 seconds. Replicate demo for GFPGAN （You may need to login in to upload images~） GFPGAN aims at deve
「赤ちゃんAC」のスマホ専用アプリがリリース！ 2枚の写真から赤ちゃんの顔を予測！ 赤ちゃんの顔は、生後〜成人までの６段階予測も可能(一部有料機能あり) StyleGANにより、親の顔の特徴をもった高解像度の赤ちゃん画像を生成します 赤ちゃんACではStyleGANというAI技術を用いて、赤ちゃんの画像を生成しています。StyleGANはGAN（敵対的生成ネットワーク）というディープラーニングのモデルを発展させたもので、２枚の画像の特徴を学習し、合成して高解像度の新しい画像を生成することができます。 赤ちゃんACでは、親となる２枚の顔写真から顔の特徴を抽出し、ランダムに選ばれた赤ちゃんの写真にそれらの特徴を合成することで、親の特徴を持った高解像度の赤ちゃんの顔写真を生成します。 また、親の顔の特徴を高速に抽出（エンコード）するために、pixel2Style2pixelというエンコード技術を
ムービーに映る人物の顔を、リアルタイムに違和感なく編集できるGANベースの技術「STIT」が発表されました。 [2201.08361] Stitch it in Time: GAN-Based Facial Editing of Real Videos https://arxiv.org/abs/2201.08361 Stitch it in Time: GAN-Based Facial Editing of Real Videos https://stitch-time.github.io/ 敵対的生成ネットワーク(GAN)は顔の画像編集に広く採用されている技術です。ただし、この「GANを用いた画像編集」をムービーに適用することは非常に困難であるとされており、その理由はムービーには「時間的整合性」が存在するためです。ムービーは常に時間的に一貫しているため、これを下手に編集するとムービーに
Cloud Services Data Center Embedded Systems Gaming and Creating Graphics Cards and GPUs Laptops Networking Professional Workstations Software Tools
2つのニューラルネットワークに競合させることでデータ学習の精度を高める敵対的生成ネットワーク(GAN)を用い、「Grand Theft Auto V(グランド・セフト・オートV：GTA V)」風のゲームを自動生成する「GAN Theft Auto」をYouTuberのsentdexさんが作成・公開しました。 GitHub - Sentdex/GANTheftAuto https://github.com/sentdex/GANTheftAuto/ Playing a Neural Network's version of GTA V: GAN Theft Auto - YouTube GAN Theft Autoは、NVIDIAが作成したゲーム生成AIの「GameGAN」をベースとしています。GAN Theft AutoのベースとなったGameGANは、ゲームエンジンやコードを用意すること
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く