๋ผ๊ทธ๋์ฃผ์ ์ฐ๊ตฌยท๊ฐ๋ฐยท์์ง๋์ด๋ง ์ต์ ์์์ ํ๋์ ๋ณผ ์ ์๋ ๊ฐ์ด๋ ๐จโ๐ฌ
๐ 7์ ์ฃผ์ ์์
DeepProve๋ GPT-2 ์ ์ฒด ์ถ๋ก ์ํธํ์ ์ฆ๋ช ์ ์ฑ๊ณตํ๋ฉฐ ์ธ๊ณ ์ต์ด ํ๋ก๋์ ๋ ๋ zkML ์์คํ ์ผ๋ก ๋์ฝํ์ต๋๋ค.
๋ค์ ๋ชฉํ๋ LLAMA ํธํ์ฑ๊ณผ ๊ณ ์ฑ๋ฅยท๋๊ท๋ชจ LLM ์ฆ๋ช ์ ๋๋ค.
โก๏ธ DeepProve ์ฃผ์ ์ ๋ฐ์ดํธ
ยท Computational Graph ์ง์ โ Transformer Residual ๋ฑ ๋ณต์กํ ๋ชจ๋ธ ๊ตฌ์กฐ ํธํ
ยท GGUF ํฌ๋งท ์ง์ โ Hugging Face ๋ฑ ์ปค๋ฎค๋ํฐ ๋ชจ๋ธ๊ณผ ํธํ์ฑ ๊ฐํ
ยท LLM Inference Engine ๊ตฌ์ถ โ ์คํ ๋ฆฌ๊ทธ๋ ์๋ธ ์ถ๋ก ๋ฐ ํ ํฐ ๋จ์ ์ฆ๋ช ์ง์
ยท Transformer ํต์ฌ ์ฐ์ฐ ๋ ์ด์ด ์ถ๊ฐ โ Softmax, LayerNorm, GELU, QKV Attention ๋ฑ
๐ฅบ ํ์ฌ ์ง์ค ๊ณผ์
ยท ์ฑ๋ฅ ์ต์ ํ โ ์ฆ๋ช ์๋, ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋, ์ฆ๋ช ํฌ๊ธฐ ๊ฐ์
ยท ์ํธํ์ ๊ฐ์ โ Groth16 ๊ธฐ๋ฐ PCS ๋ฒค์น๋งํฌ ๋ฐ Lookup Table ์ฌ์ฌ์ฉ ์ต์ ํ
ยท ๋ณ๋ ฌํ ๋ฐ ๋ถ์ฐ ์ฆ๋ช โ DAG ๊ธฐ๋ฐ ์ฐ์ฐ ๋ณ๋ ฌ ์ฒ๋ฆฌ, ๋ฉํฐ์ฝ์ด ํ์ฉ, ๋ ธ๋ ๊ฐ ๋ถ์ฐ ์ฆ๋ช ์ง์
๐ถโโ๏ธ ๋ค์ ๋จ๊ณ
ยท Meta LLAMA ์ง์ ์ค๋น โ RMSNorm, SILU, Grouped Attention ๋ฑ ์ ๊ท ๋ ์ด์ด ํตํฉ ์์
ยท ์ฑ๋ฅ ์ต์ ํ โ proving ์๋ ํฅ์, ๋ฉ๋ชจ๋ฆฌ ์ ๊ฐ, ๋ถ์ฐ ์ฆ๋ช ๋ฐ ๋ฉํฐ์ฝ์ด ๋ณ๋ ฌํ ์ถ์ง
DeepProve โ verifiability for the AI era. ๐ง
๐ฑ ์๋ฌธ ๋ณด๊ธฐ
