タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
QDくん⚡️AI関連の無料教材紹介 @developer_quant 金融技術職/ChatGPT等の生成AI,データサイエンス,プログラミングの勉強に役立つ情報を発信/良質な無料教材,スライド,動画等を紹介/3千ポストで5万5千フォロワー獲得/過去の人気投稿はハイライトを参照/金融工学x機械学習ブログ運営 https://t.co/bQubHSMk4e /Amazonアソシエイト参加中 https://t.co/2Zd5MRXGw3 QDくん⚡️AI関連の無料教材紹介 @developer_quant 東工大が無料公開しているPython解説サイト chokkan.github.io/python/index.h… 初心者の目線に合わせた丁寧な説明で、かゆいところに手が届く教材。 基本的な文法、データ構造、ファイル入出力やオブジェクト指向、NumpyとMatplotlibの使い方などをひと
NumPy 2.0.0の主要な変更点 皆さんもお世話になっているであろう科学計算ライブラリNumPyが、2006年以降初めてのメジャーアップデートを発表しました。そこで、変更点をざっくりとまとめてみました。以下は変更点の一部であり、それ以外については実際のドキュメントを参照してください。 免責事項：この記事は、NumPy 2.0.0の変更点について個人的な見解を述べたものであり、NumPyの開発チームや関係者の公式な見解を代表するものではありません。変更点の影響や対応方法については、必ず公式のリリースノートと移行ガイドを参照してください。また、この記事には不正確な情報が含まれている可能性があります。記事の内容を実際のプロジェクトに適用する前に、必ず公式ドキュメントで情報を確認してください。 概要 2006年以来の最初のメジャーリリース 破壊的な変更あり 多くの新機能とPython/C AP
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience with neural networks. This implementation is for educational purposes, so it's missing lots of features/improv
※ Div だけ妙に遅いのが気になる NumPy は Python とは言え中身はC言語で書かれている事を考えると、結構いいパフォーマンスが出ていると言えるでしょう。 サンプルコード iris のロジスティック回帰を nune で書いてみました。 package main import ( "bufio" "fmt" "log" "math" "math/rand" "os" "github.com/vorduin/nune" ) func logisticRegression[T nune.Number](X nune.Tensor[T], y nune.Tensor[T], rate float64, ntrains int) nune.Tensor[T] { ws := make([]float64, X.Size(1)) for i := range ws { ws[i] = (r
鉄板のPython教材といえば東大が無料公開している「Pythonプログラミング入門」 ・Google Colabなので環境構築でハマる心配がない ・基本文法, Numpy, pandas, scikit-learnまで平易に学… https://t.co/bGyo4HKFZF
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
連載目次 本連載（応用編）の目的 本連載（基礎編）の第1回～第3回では、ディープラーニングに対応したニューラルネットワーク（DNN：Deep Neural Network、以下では「ニューラルネット」と表記）をスクラッチ（＝他者が書いたソースコードを見たりライブラリーを使ったりせずに、何もないゼロの状態からコードを記述すること）で実装しました。その際、あえてNumPy、つまり線形代数を使わずにPythonのみを使用することで、数学の知識に自信がない人でもニューラルネットの処理／計算をステップ・バイ・ステップで追いかけられるようにしました。これにより、より多くの人が理解できたのではないかと思っています。 しかし、実際のニューラルネットワークの実装ではNumPy（線形代数）を使用することが一般的です。よって、より自信を持って、 と言うためには、前回までの「Pythonのみ（線形代数なし）による
NumPy 2.0、6/16にリリース ―初のメジャーバージョンアップでABI、APIに大幅な変更 Pythonの代表的な学術計算ライブラリNumPyの初のメジャーバージョンアップとなる「NumPy 2.0」のリリース日が、2024年6月16日となることが発表された。 NumPy 2.0 release date: June 16 -News-NumPy NumPyはPythonで数値計算を行うためのライブラリ。NumPyプロジェクトにより、修正BSDライセンスの元で開発されているオープンソースソフトウェアである。低レベルから高度なものまでさまざまな計算に対応し、高いパフォーマンスを発揮することから、近年のAI、機械学習の発展において欠かせないモジュールとなっている。 NumPy 2.0は2006年以来の最初のメジャーリリースとなり、数多くの新機能と大幅なパフォーマンスアップが盛り
連載概要 本連載はPythonについての知識を既にある程度は身に付けている方を対象として、Pythonでデータ処理を行う上で必須ともいえるNumPyやpandas、Matplotlibなどの各種ライブラリの基本的な使い方を学んでいくものです。そして、それらの使い方をある程度覚えた上で、それらを活用してデータ処理を行うための第一歩を踏み出すことを目的としています。 前回はCalifornia Housingデータセット（カリフォルニアの住宅価格のデータセット）を題材として、最大値や最小値、平均値、中央値などの基本統計量を計算し、2万行を超えるデータセットがどのような特徴を持っているのかを見てみました。今回は同じデータセットをグラフとして可視化して、さらなる特徴を探ってみることにしましょう。 CSVファイルの読み込み 前回はscikit-learnに含まれているデータセットを読み込んで、説明変
連載概要 本連載はPythonについての知識を既にある程度は身に付けている方を対象として、Pythonでデータ処理を行う上で必須ともいえるNumPyやpandas、Matplotlibなどの各種ライブラリの基本的な使い方を学んでいくものです。そして、それらの使い方をある程度覚えた上で、それらを活用してデータ処理を行うための第一歩を踏み出すことを目的としています。 前回はCalifornia Housingデータセット（カリフォルニアの住宅価格のデータセット）を基に相関係数を計算してヒートマップを作成したり、'MedInc'列（地域の所得を表すデータ）と'MedHouseVal'列（地域の住宅価格を表すデータ）を軸に散布図を作成したりして、これら2つのデータにはある程度の相関があるのではないかという話をしました。 今回は'MedInc'列と'MedHouseVal'列との関係を数式として表現
Update: The problem is now fixed in Pytorch but can still happen in tensorflow-keras. Discussion on reddit. Bugs in ML code are notoriously hard to fix - they don’t cause compile errors but silently regress accuracy. Once you have endured the pain and fixed one of these, the lesson is forever etched into your brain, right? Wrong. Recently, an old foe made a comeback - a familiar bug bit me again!
連載概要 本連載はPythonについての知識を既にある程度は身に付けている方を対象として、Pythonでデータ処理を行う上で必須ともいえるNumPyやpandas、Matplotlibなどの各種ライブラリの基本的な使い方を学んでいくものです。そして、それらの使い方をある程度覚えた上で、それらを活用してデータ処理を行うための第一歩を踏み出すことを目的としています。 前回はある行列の逆行列、行列式、固有値と固有ベクトルを求めるお話をしました。今回は多数のデータがどんな特徴を持っているのかを調べるのに役立つ基本統計量をNumPyで取り扱う方法を見ていきます。 基本統計量とは 基本統計量とは、何らかのデータセットがあったとき、それらにはどのような特徴があるかを示す値のことです。というと分かりにくいのですが、平均値、最大値、最小値、標準偏差と分散などの値を用いることで、データがどのように分布している
Intel Publishes Blazing Fast AVX-512 Sorting Library, Numpy Switching To It For 10~17x Faster Sorts Written by Michael Larabel in Intel on 15 February 2023 at 04:00 PM EST. 51 Comments Intel recently published an open-source C++ header file library for high performance SIMD-based sorting, which initially is focused on providing a lightning fast AVX-512 quicksort implementation. As of today that co
連載概要 本連載はPythonについての知識を既にある程度は身に付けている方を対象として、Pythonでデータ処理を行う上で必須ともいえるNumPyやpandas、Matplotlibなどの各種ライブラリの基本的な使い方を学んでいくものです。そして、それらの使い方をある程度覚えた上で、それらを活用してデータ処理を行うための第一歩を踏み出すことを目的としています。 前回はカリフォルニア州の住宅価格を予想するモデルを単回帰分析という手法を用いて作成してみました。今回は話をガラリと変えて、NumPyにおける日付の扱いを紹介します。 NumPyで日付を操作する NumPyには日付や時刻、その差分を扱うために次の2つのクラスが用意されています。
Python の numpy の裏では FORTRAN で書かれた BLAS, LAPACK が現役で動いていますよ！ 行列数値計算は自分で書いてはダメ．これだけの歴史の蓄積がある．これはいい資料． https://t.co/G8UaXisxn8
先週末に「Python 3 エンジニア認定データ分析試験」を受験して合格した🎉とても良い試験で，特に試験勉強をする過程で知識の幅が広がった．試験の認知度向上のためにも紹介したいと思う．当然ながら試験問題に関しては何も書かず，基本的に公開情報をベースにまとめていく！ www.pythonic-exam.com 試験概要 : Python 3 エンジニア認定データ分析試験 📊 試験名にもある通り「Python 3 エンジニア認定データ分析試験」は Python を使った「データ分析」に関する理解を問う試験で「数学」や「Python ライブラリ」に関する出題が多くある．詳しくは以下に出題範囲を載せる． セクション 出題数 出題率 データエンジニアの役割 2 5.0% Python と環境 : 実行環境構築 1 2.5% Python と環境 : Python の基礎 3 7.5% Pytho
消費者庁が問題としている「誇大な宣伝や表現」とならないよう配慮し、コンテンツを制作しておりますのでご安心ください。万が一、不適切な表現など見つけられましたら、お問合せフォームからご連絡頂けると幸いです。 最近はAMD製のCPUであるRyzenを搭載したパソコンが増えてきました。性能が高いにもかかわらず価格が安いこともあり、とても魅力的です。 今回、実際にPythonのライブラリであるNumpyを使って行列の計算を行ってみたのですが、Intel製のCPUほどのパフォーマンスが出ないことが続いたので、どうやれば高速化できるのかを探ってみました。実際に、Numpyでの計算が速くなったので、その方法をご紹介したいと思います。 RyzenでNumpyを実行するととても遅い AMD社のRyzenは最近ではとても性能が上がっていて、Intel製のCPUよりも高性能だと感じる場面が増えています。 実際、R
連載概要 本連載はPythonについての知識を既にある程度は身に付けている方を対象として、Pythonでデータ処理を行う上で必須ともいえるNumPyやpandas、Matplotlibなどの各種ライブラリの基本的な使い方を学んでいくものです。そして、それらの使い方をある程度覚えた上で、それらを活用してデータ処理を行うための第一歩を踏み出すことを目的としています。 前回はCalifornia Housingデータセット（カリフォルニアの住宅価格のデータセット）の中でもMedInc列とMedHouseVal列に着目して、箱ひげ図とヒストグラムを使い、それらを可視化してみました。今回はそれらのデータの間に関連があるかどうかを、相関係数と散布図を使って考えてみましょう。 なお、今回は相関係数の可視化にseabornというライブラリを用います。これはPythonには標準で付属していないので「pip
Getting started What is NumPy? Installation NumPy quickstart NumPy: the absolute basics for beginners Fundamentals and usage NumPy fundamentals NumPy for MATLAB users NumPy tutorials NumPy how-tos Advanced usage and interoperability Using NumPy C-API F2PY user guide and reference manual Under-the-hood documentation for developers Interoperability with NumPy Extras Glossary Release notes 2.4.0 2.3.
NumPyの開発コミュニティーは現地時間2023年6月17日、NumPy バージョン1.25.0をリリースした。NumPyはPython用科学計算基本パッケージとして広く知られており、使用するにはPythonのパッケージシステムか、GitHubのプロジェクトページからソースコードを入手する。最新版ではデータ型dtypesの扱いを改善し、実行速度の向上とドキュメントの整備が行われた。また、標準CライブラリーMUSLのサポート強化や、富士通製C/C++コンパイラーへの対応、多次元配列からアインシュタインの総和規約を得るeinsumがオブジェクト配列に、インプレース行列の乗算に対応している。 公式ページではNumPyの試用が可能 現在NumPy開発コミュニティーは、今後行うNumPy バージョン2.0.0のリリースに向けて準備中だ。合わせてPython バージョン3.12登場に合わせてNumPy
Pyodideとは WASM上にビルドされたPython+NumPyなどのデータ分析ライブラリの実行環境です。 これまでにwebでPythonを使うとしたら、サーバサイドで使うか、BrythonのようなものでJavaScriptにトランスパイルするしかありませんでした。Brythonもajaxができたり結構な数の標準モジュールがサポートされていたりとすごいんですが、仕組み上NumPyのようなCによる低レイヤー拡張を含む外部ライブラリは使えません。 そこに出てきたのがPyodideです。これはWASMで全部まるっとコンパイルしているので、NumPyもscikit-learnも使えます。get startedしたらあまりの簡単さとポテンシャルにひっくり返ったので書いておきます。 github: https://github.com/pyodide/pyodide ドキュメント: https:/
AMD Ryzenでそのままnumpyを動かすと遅くなるので、mklを利用できるnumpyをインストール必要があることを知りました。 どの程度変わるのか手元の環境で確認したら、Intel版でも爆速になったので、インストール手順と合わせてパフォーマンス比較結果をまとめたいと思います。 環境 Xeon E5-1650 v4 CPU : Xeon E5-1650 v4 6C/12T @3.6GHz RAM : DDR4-2133 8GB x 8 (Total 64GB) OS : Ubuntu 20.04 (Docker) Core i9 9900K CPU : Core i9 9900K 8C/16T @3.6GHz RAM : DDR4-2133 16GB x 4 (Total 64GB) OS : Ubuntu 20.04 (Docker) Core i9 10980XE CPU : Co
連載概要 本連載はPythonについての知識を既にある程度は身に付けている方を対象として、Pythonでデータ処理を行う上で必須ともいえるNumPyやpandas、Matplotlibなどの各種ライブラリの基本的な使い方を学んでいくものです。そして、それらの使い方をある程度覚えた上で、それらを活用してデータ処理を行うための第一歩を踏み出すことを目的としています。 逆行列を求めるには ある正方行列A（行数と列数が同じ行列）があったときに、Aとの行列積を計算すると単位行列（行列の左上から右下に向けた対角要素の値が1、他の要素の値が0となるような行列）となるような行列のことを逆行列と呼び、A-1と表記します。Iを単位行列とすると、A・A-1＝A-1・A＝Iとなるような行列のことです。ただし、全ての行列に逆行列が存在するわけではないことには注意が必要です（逆行列が存在する行列のことを正則行列と呼び
［NumPy超入門］データ処理の最初の一歩！ 基本統計量からデータの特徴を把握しよう：Pythonデータ処理入門（1/2 ページ） データセットがどのような特徴を持つのか、その基本は最大値／最小値／平均値／中央値／最頻値／標準偏差などの基本統計量を使って調べられます。実際のデータを使って、これを体感してみましょう。
PythonのOpenCVでは画像をNumPy配列ndarrayとして扱う。NumPyの機能を使うと、2つの画像が完全一致しているか判定したり、差分画像を生成して保存したりできる。 ここでは以下の内容について説明する。 画像が完全に一致しているか判定 差分画像を算出し保存 差分の絶対値 差分0を128とする 差分を二値化 差分が生じている座標を取得 以下のサンプルコードではOpenCVで画像ファイルを読み書きしているが、画像の比較処理自体にはOpenCVの機能は使わない。 画像をNumPy配列ndarrayとして読み込めればOpenCVは必要なく、例えば、Pillowを使うことも可能。以下の記事を参照。ndarrayの処理例なども紹介している。 関連記事: Python, NumPyで画像処理（読み込み、演算、保存） なお、ここでは画素（ピクセル）ごとの単純な差分を考える。圧縮画像などの画
NumPy配列ndarrayに新たな次元を追加する（次元を増やす）には、np.newaxis, np.expand_dims()およびnp.reshape()（またはndarrayのreshape()メソッド）を使う方法がある。 Indexing on ndarrays - Dimensional indexing tools — NumPy v1.26 Manual Constants - numpy.newaxis — NumPy v1.26 Manual numpy.expand_dims — NumPy v1.26 Manual np.reshape()あるいはndarrayのreshape()メソッドは次元を追加するだけでなく任意の形状shapeへの変換が可能。本記事の最後でも触れるが、詳細は以下の記事を参照。 関連記事: NumPy配列ndarrayの形状を変換するreshap
「NumPy 1.24.0」では、fastCopyAndTransposeとPyArray_CopyAndTransposeが非推奨になったほか、Python整数からNumPy値への変換を試みる際に、結果がNumPyで表現できるかが常にチェックされるようになっている。また、numpy.msort関数、0ビットサイズで終わるスカラ型エイリアスであるnp.object0、np.str0、np.bytes0、np.void0、np.int0、np.uint0、np.bool8が非推奨となった。 なお、以前のバージョンで非推奨となった機能の多くが期限切れとなっているので、注意が必要となる。 互換性に関する注意事項としては、array.fill(scalar)の動作がわずかに異なる場合があるほか、サブ配列からオブジェクトへのキャストがコピーされるようになるとともに、返される配列のdtype kwar
Getting started What is NumPy? Installation NumPy quickstart NumPy: the absolute basics for beginners Fundamentals and usage NumPy fundamentals NumPy for MATLAB users NumPy tutorials NumPy how-tos Advanced usage and interoperability Using NumPy C-API F2PY user guide and reference manual Under-the-hood documentation for developers Interoperability with NumPy Extras Glossary Release notes NumPy 2.0
お悩み numpyで特定の列に対して条件を指定して行全体を操作したいことがある。 例えば、機械学習のモデルに画像を通すと、オブジェクトクラスの値がnumpyの中に入って返ってくるけれど、特定のクラスだけフィルタかけたい時とか。本筋としてはモデル側で欲しいクラスだけを返すようにしろって話なんだけど、それができない時の話。 下の出力例だと6番目の値がオブジェクトクラスなので、例えば車(2)だけの結果を集めたいとか、人間(0)だけを集めたい時に、6列目の値で検索して該当する行だけ集めたい。 [[5.39797363e+02 2.71583344e+02 5.93862732e+02 3.26177856e+02 8.78980994e-01 2.00000000e+00] [7.61696655e+02 2.84762238e+02 7.84034058e+02 3.39492310e+02 8
目的 PyTorchで画像等を扱っていると、Tensor、Numpy、PIL imageのそれぞれの形式に変換したい場合が多々ある。 ここでは、備忘録としてそれぞれの形式に対する相互変換方法を示す。 各データ形式の特徴 Tensor：学習モデルへの入力や中間層での計算に用いる。torchvisionを用いると各種画像処理が楽に行える。 Numpy：Numpyの機能はほぼTensorでも使用可能だが、matplotlibでデータを扱いたい場合に変換が必要。 PIL：画像の読み込みや書き出し、簡単な画像処理などを行える。 各種変換方法 Tensor ↔ Numpy import torch import numpy as np # tensor -> numpy t = torch.zeros(3,128,128) n = t.to('cpu').detach().numpy() # nump
（以下の情報はすべて記事執筆時（2021/04）のものです） この記事ではanaconda有償化の影響を回避しながら高速化されたIntel MKL版のnumpyを簡単にインストールする方法を解説します。 2020/04にanacondaが大規模商用利用ではanacondaとdefaultsチャンネルの使用を有償化したことは有名かと思います。 これにより仕事でIntel MKL版numpyを手軽にインストール出来なくなりそうだったので、利用規約に抵触しない形で簡単にIntel MKL版numpyをインストールする方法を調べ、まとめました。 scipy、scikit-learnの高速化版も見つけた方法でインストールが可能です。 尚、各位このブログを鵜呑みにするのではなく利用規約（Terms of Service）を各自で確認する様にして下さい。 TL;DR intelチャンネル版のnumpyの
NumPyとは？NumPyとは、Pythonの数値計算ライブラリの一種です。NumPyは多次元配列オブジェクトをPythonに実装し、多数の演算関数を提供します。NumPyは英語の読み方として「ナムパイ」と発音します。一部「ナムピー」とも呼ばれていますが、「ナムパイ」の読み方が多数派です。 Pythonは元来数値計算向けに開発されたものではなかったため、SIG（Special Interest Group）が中心となってPythonの構文に配列の取扱いを取込みました。NumPyの意味ですが、最初のパッケージはNumericと呼ばれていました。後に"Numerical Python extensions"や"NumPy"と呼ばれるようになりました。 現在はNumericの機能拡張を経て、NumPyが正式名称で”Numerical Python”の略となっています。 参考：NumPy 参考：G
Pythonのnumpyを使った時に、CSV出力することは多々あると思います。numpyの場合、デフォルトでは縦方向に改行されて保存されます。ただ、横方向に保存したい場合もあると思います。今回はそんなnumpyの出力方法を変えて、横方向（行方向）に保存する方法について解説します。 これがマスターできると、例えば、[10,20,30]という配列があった場合に、
Accompanying blog post: GPT in 60 Lines of Numpy You've seen openai/gpt-2. You've seen karpathy/minGPT. You've even seen karpathy/nanoGPT! But have you seen picoGPT??!? picoGPT is an unnecessarily tiny and minimal implementation of GPT-2 in plain NumPy. The entire forward pass code is 40 lines of code. picoGPT features: Fast? ❌ Nah, picoGPT is megaSLOW 🐌 Training code? ❌ Error, 4️⃣0️⃣4️⃣ not foun
# NumPyの歴史とPythonの並行処理(PyDataTokyo Conference) https://pydatatokyo.connpass.com/event/87511/ >Sess
MKLについて Intel® oneAPI Math Kernel Library （以下単にMKLと略します）は高度にベクトル化およびスレッド化された線形代数、高速フーリエ変換 (FFT)、ベクトル演算関数、統計関数を含む数値演算ライブラリです。 アプリケーションがBLASやLAPACKのルーチンを呼び出しているのであれば、MKLに置き換えることで性能を大幅に向上させることが期待できます。 まずは結論から 次のスクリプトを実行するだけです。 numpy と scipy をMKLをリンクしてリビルドしてくれます。 #!/bin/bash PYPI_CACHE_DIR=$HOME/cache/pypi # ---- YOU MAY NOT NEED TO EDIT BELLOWS ---------- __AUTHOR__="Goichi Iisaka" __VERSION__="1.0"
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
""" To try the examples in the browser: 1. Type code in the input cell and press Shift + Enter to execute 2. Or copy paste the code, and click on the "Run" button in the toolbar """ # The standard way to import NumPy: import numpy as np # Create a 2-D array, set every second element in # some rows and find max per row: x = np.arange(15, dtype=np.int64).reshape(3, 5) x[1:, ::2] = -99 x # array([[ 0
【保存版】Python・データサイエンス100本ノックまとめ 言語処理100本ノック https://t.co/cdnBtGuA3J 画像処理100本ノック https://t.co/1wZZaTicRb NumPy100本… https://t.co/RUeZ91GtOw
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く