Lagrange์ R&D ํ์ด DeepProve์ zkML ์ํคํ ์ฒ๋ฅผ ๋๊ท๋ชจ๋ก ์ ๊ทธ๋ ์ด๋ํ์ต๋๋ค.
์ด๋ฒ ๊ฐ์ ์ ํต์ฌ์ ํจ์จ์ฑ, ๋ชจ๋์ฑ, ํ์ฅ์ฑ ์ธ ๊ฐ์งโผ๏ธ
๐น ์ฃผ์ ์ ๋ฐ์ดํธ
Gemma 3 ๋ชจ๋ธ ๊ฒ์ฆ ์ง์ โ ์๋ก์ด ํธ๋์คํฌ๋จธ ๊ตฌ์กฐ(GQA, Local+Global attention, RoPE ๋ฑ)์ ๋ง์ถฐ GPTํ ์ฆ๋ช ์์คํ ํ์ฅ
Tensor Deduplication โ ์ค๋ณต ํ ์๋ฅผ ํ ๋ฒ๋ง ์ปค๋ฐํด ๋น์ฉ ์ ๊ฐ ๋ฐ ์ฆ๋ช ์๋ ํฅ์
์๋ก์ด Graph ์ํคํ ์ฒ โ ๋ ์ด์ด ๊ฐ ์ฐ๊ฒฐ ๊ตฌ์กฐ๋ฅผ ๋ช ํํ ํ์ฌ ์์ ์ฑ๊ณผ ๋ถ์ฐ ๊ฒ์ฆ ํจ์จ ๊ฐํ
Einsum Layer ๋์ โ PyTorch ์คํ์ผ์ ์ฐ์ฐ ์ถ์ํ๋ก ๋ ๊ฐ๊ฒฐํ๊ณ ๋น ๋ฅธ ์ฆ๋ช ๊ตฌํ
๐น ํฅํ ๊ณํ
๋ฉํฐ ๋ ธ๋ ์ฝ๋๋ค์ด์ ๋ฐ ๋ฐํ์ ๋ณ๋ ฌํ ๊ฐ๋ฐ ์์ โ ๋จ์ผ GPU์์ ๊ธ๋ก๋ฒ ๊ฒ์ฆ ๋คํธ์ํฌ๊น์ง ํ์ฅ ๊ฐ๋ฅ
๐ฑ ์๋ฌธ ๋ณด๊ธฐ
