はてなブックマーク

コーディングや医療など特定のドメインに特化させることで高い性能を発揮するモデルはドメイン特化モデルと呼ばれ、ベースモデルにドメインのコーパスを追加で学習させることで作成されます。 この図はベースモデルからドメイン特化のモデルを得るまでのフローです。本記事では赤枠で囲っている③のドメイン特化学習を試した内容を紹介します。 ドメイン特化モデルを得るまでのフローGaLoreについて2024/3に新しいLLMのファインチューニング手法GaLoreが公開されました。論文によれば、VRAM24Gのコンシューマ向けGPUで7Bモデルの事前トレーニング（図の①や②）もできる手法です。 使い方Transformersにはv4.39.0から組み込まれており、今までのトレーニングコードを変えずに、TrainingArgumentsにoptimとoptim_target_modulesを指定するだけで利用できます

Claude 3 Opus 楽しいですね。 GPT-4が出てから1年、個人的な趣味としてGPT-4にたまに自分用に創作をしてもらっていたのですが、過去にGPT-4とやってきたタスクでClaude 3 OpusとGPT-4両方に出力させ比較してみました。 30のタスクで人間（私）、GPT-4、Claudeの3者で結果を比較評価しました。多数決した結果はGPT-4の勝利でしたが、体感的にはほぼ互角、Claude 3 Opusはたまに絶対にGPT-4には出せなそうな出力をするのが面白い、という感想です。 今回使ったprompt、モデルの出力、評価結果、モデルによる評価判断の出力はすべてこのGoogleスプレッドシートで共有してますので、興味ある方は眺めてみてください。 数が多いので、もし見る方はこの辺りを見るのがおすすめです。 No.1「恋愛ゲームのバッドエンド会話」 No.12「ユニークなファ

2023/12にintfloatからintfloat/e5-mistral-7b-instructという、7BのLLMを埋め込み用にファインチューニングしたモデルがリリースされました。 このモデルは日本語の評価でもかなり優秀ですが、通常使われる埋め込みモデルと比べモデルサイズが大きく、使えるシーンは限られます。 使い勝手を向上させるために、もう少し小さいモデルに蒸留ができるかを試しました。 今回は同じ埋め込み次元を持つ1.9bのモデルへの蒸留を試しました。 STS関連のタスクは成功したものの、検索タスク（MIRACL）の評価が元モデルほど良くならず、モデルサイズに見合った精度とは言えない結果です。 表の一番上の行が今回蒸留したモデルです。 日本語対応の埋め込みモデルの評価 埋め込み次元、パラメタ数、タスクの評価結果 https://github.com/oshizo/JapaneseEmb

DonutはOCRを使わないend-to-endの文書理解モデルです。 Vision Encoder Decoder Modelになっており、OCRエンジンに依存せずに視覚的な文書分類や情報抽出を高い精度で行うことができます。 Donutは日本語を含む4言語で学習されたモデルnaver-clova-ix/donut-baseが公開されており、日本語で何かしたいときにファインチューニングして使えそうだなと思っていました。 今回、AIキャラクターと一緒にノベルゲームをプレイするために、ノベルゲーム風画面の合成データセットでdonut-baseをファインチューニングしました。 以下を目標として作成しました。 <unk>になる漢字をvocabに追加して学習する 選択肢、名前、メッセージを別々に認識し、jsonを出力する SKIP、LOADなどのUIの文字、日付表示などを読み取らない ルビを無視する

以前の記事で、AIのべりすとを使って頑張ったことを褒めてもらえないかを試していました。 GPT-3などの大規模言語モデルでは、推論タスクの性能を高めるためにいろいろな工夫が研究されており、今回はそれらの研究結果をまねることで褒められの精度を上げられないか試してみました。 Flan-PaLMの論文を参考にしているので、まずはこの論文に含まれている手法を少し説明します。 Flan-PaLMの論文2022/10に、Scaling Instruction-Finetuned Language Modelsというタイトルで、難しい推論タスクで高い性能をもつ言語モデルが発表されました。 これは、540Bパラメタを持つPaLMを Instruction finetuning という手法で訓練したものです。 論文のFig.3に、学習データの作り方のアイデアが記載されています（以下はDeepLで日本語訳した

gpt-indexは長いコンテキストに対してQAを行えるフレームワークです。 デフォルトではOpenAIのAPIを利用するので無邪気に長いコンテキストに質問を投げているとすぐ数$の請求になって焦りますね。 今回はローカルでオープンな日本語モデルを使って動かす方法をご紹介します。 あくまで試みであり、正答率もいまひとつで実用性があるものではありませんが、学習データセットを作るコード、モデル学習コード、gpt-indexを実行するコードはこのリポジトリに置いています。 https://github.com/oshizo/gpt_index_japanese_trial 1/18のツイートで投稿したツリーをもう少し詳しく説明する内容です。 gpt-indexをOpenAIなし＆日本語で動かしてみています。かなりカスタマイズ性がある。 embed_modelとllm_predictorにローカルの