Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
[B! AI] 「視覴」の謎
[go: Go Back, main page]

記事へのコメント101件

  • 注目コメント
  • 新着コメント
aaasukaaa
AI同士が独自言語で会話し始めてからが本番

その他
khtokage
凄い仮説。AIが哲学的ゾンビであることが嫌ってほど分かる。　奥村先生でびっくりした笑

その他
punychan
UTF-8をバイト列として学習してもここまで実用的になるんだということの方が驚異的。文字の列として学習させなおしたらもっとよくなるのか、あるいはそこそこなのか。

その他
Cichla
遺伝子突然変異の交叉と同じパターンだ。遺伝子解析技術の応用でAIの進化を追跡する未来が見えてきたな！

その他
ustar
さすがの奥村先生 なんか遺伝子変化による進化の如く

その他
buhoho
そういや言い間違いとかカタカナ表記の揺れとかただの間違いだなと持ってスルーしてた。背後には何らかの機序があるっていう指摘は自分は思いつきもしなかった

その他
knok
トークナイザーが大半のUnicodeに関しては文字単位になってないから、温度が高いとバイト列レベルで揺らいでしまってこういうことが起きてるので、やはり日本語に特化したトークナイザー利用LLMが欲しい

その他
GENS
メリケン様が極東異常言語のサロゲートペア/コードポイントまで考えて学習してくれることなんてないだろうからな…

その他
ardarim
どうしてこんなことに…　「どうやら「覚」の前半と「聴」の後半が交差してくっついたみたいである。」　文字単位ではなくオクテットごとの出現確率で処理しているの…？

その他
pakutoma
GPTシリーズのトークナイザーは課金体系に関わるため公開されているので、LLMが文字列をどのように分割して読み込んでいるかは予想ではなく既知の事柄です https://twitter.com/h_okumura/status/1666688472248369152

その他
tick2tack
“ChatGPTが「視覴」という新語を発明したらしい” 視聴と視覚のユニコードが交差してこの字ができたと。AIって文字単位でなく文字コードのバイト単位で処理してるの？

その他
shidho
むしろこのミスは直さないほうがいいのかもしれない。

その他
samasan-tabasan
ごく最近のモノばっかりてことは、OCRというか、macOSのプレビューとかで画像からテキストにコピペできる機能の誤動作って可能性が高いと思う...

その他
quick_past
https://bit.ly/3qEtEAS　https://bit.ly/43Z8ps3　https://bit.ly/3qEfX4Y　すーぐこういう話にしたがる人がでてくる->https://bit.ly/42Cida7

その他
hitode909
こういうノウハウ記事ってすでにAIの力でかさ増しされてるんだなあと思うと未来に来た感じがする

その他
FeZn
遺伝子の話みたいだ……

その他
heiwaboke
すでにこんなにあるのか

その他
k_oshima
日本語破壊

その他
daaaaaai
すごい。ごみWebページが増えていてげんなりする・・・

その他
nisisinjuku
視聴の誤植かな？と思ったが、独自に選び出してるってのが面白い。そして読めない。この辺りを指摘して潰し込みしていかないと、よくわからない日本語が出来上がる可能性もあるのかな。そもそも潰し込みができるのか

その他
tito1201
面白い。

その他
paradoxparanoic
何それ怖い

その他
yamadar
AIで無限に文章生成と学習を繰り返したら、どんな言語になるんだろう。例えば10万世代先にどれだけ我々の言葉が残るのだろう。

その他
stealthinu
バイト列で見てるから似た概念や使われ方のものがバイト列単位で混じってしまったのが理由とみられる。せめても文字単位でちゃんと分かち書きされてたらもっと日本語性能あがるのだろうとわかる。

その他
mabo0915
このまま謎の単語が増えていって、謎の文脈になって、謎の新しい言語を開発し始めてAI同士がそれを使って会話するので人間はなにの話をしているわからず、気付いたらイルカがせめてくるぞ！！

その他
yarumato
“ChatGPTが「視覴」という新語を発明した。利用例から見ると「視覚」または「視聴」の意味らしい。「知覘」という造語もあり、「覚」の前半と「識」の後半が交差したようだが利用例はあまりない。”

その他
kyorecoba
ヒトの文章であるか否かの判別手段。AI語彙。Amazonの怪しい日本語レビュー判別味。

その他
linus_peanuts
哲学的ゾンビってので腑に落ちた

その他
circled
これ普通に英語でChatGPTを使う方がこうした問題も起きずに精度が良いので、AI使うなら英語で使えってことなのかもね

その他
mc22_90
これはすごい。バグだったんだ。AIからしたら文章なんてバイト列なんだなあ

その他
misomico
ChatGPTが"遺伝子語"話したら、配列の解析とかペプチド創薬とかできるかな

その他
kaerudayo
興味深い。

その他
LM-7
2バイト文字の漢字としてすら認識せずに1バイトの文字列として学習してあの精度が出ているのは恐ろしくもある。サールの中国語の部屋を考えてしまう。

その他
nekoline
地図に載ってる存在しない街みたいやな https://ja.m.wikipedia.org/wiki/アグロー

その他
lli
燦然と輝くカリビアンコムw

その他
Imamu
「「視覴」「視覚」「視聴」のUTF-8バイト列およびChatGPTで使われているcl100k_baseエンコーディングによるトークンを調べてみる」

その他
wxitizi
"「視覴」「視覚」「視聴」のUTF-8バイト列およびChatGPTで使われているcl100k_baseエンコーディングによるトークンを調べてみる""「覚」の前半と「聴」の後半が交差してくっついたみたい"

その他
inomoy
おー奥村先生だ！

その他
north_korea
トークナイザーは悪。日本人がLLMを作らなければならない理由の一つがこれ。

その他
hatebu_ai
元をたどると中国語、だったりしてね

その他

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

アプリのスクリーンショット
いまの話題をアプリでチェック！
  • バナー広告なし
  • ミュート機能あり
  • ダークモード搭載
アプリをダウンロード

関連記事

「視覴」の謎

ChatGPTが「視覴」という新語を発明したらしいことをフガクラさんのツイート（2023-06-08 08:51:02 JST...

ブックマークしたユーザー

すべてのユーザーの
詳細を表示します

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

同時期にブックマークされた記事

いま人気の記事 - 企業メディア

企業メディアをもっと読む

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2025 Hatena. All Rights Reserved.