ChatGPT adalah model berukuran 20B

Dalam makalah berjudul "CodeFusion: A Pre-trained Diffusion Model for Code Generation" yang diajukan Microsoft Research ke EMNLP 2023, jumlah parameter ChatGPT (gpt-3.5-turbo) diungkapkan sebesar 20B.

• T5 (t5-large): 770M
• CodeT5 (codet5-large): 770M
• GPT3 (text-davinci-003): 175B
• ChatGPT (gpt-turbo-3.5): 20B

[hyeonseokoh94]

Ukuran segini masuk akal nggak? Dari cerita orang-orang yang bergelut di bidang AI, katanya mereka sampai tercengang...
All you need is 4090

[geekarxiv]

Awalnya ukuran parameter GPT-3.5 juga memang tidak diumumkan, ya?
Saya kira itu cuma GPT-3 175B yang diberi RLHF, ternyata bukan begitu ya..

[spark]

https://arxiv.org/abs/2310.17680v1 versi v1 masih bisa dilihat ya

[verilogeek]

Katanya, "Ada beberapa kesalahan dalam makalah tersebut dan kami perlu menariknya kembali"

[verilogeek]

Saya tidak tahu di mana letak errornya, tetapi kalau hanya beberapa angka yang salah, mungkin mereka hanya melakukan revisi sederhana... jadi kemungkinan besar memang 20B, kan?