이전에 ai16z로 에이전트가 핫할때 ai agent를 TEE 내부에서 돌리려는 니즈가 있었던 것처럼 최근 로컬 LLM을 TEE 내부에서 돌리려는 니즈가 커지고 있는 것 같아요

왜 TEE 내부에서 돌리려는 니즈가 있을까? 크게 두가지

1. 데이터 프라이버시: 일반 서버에서 돌릴 경우 사용자의 요청과 추론 응답을 서버가 알 수 있음. TEE 사용했을 때 내부에서만 사용자의 prompt 요청을 볼 수 있도록 암호화하여 전송 가능. 마찬가지로 추론 결과 또한 TEE 내부에서 사용자만 볼 수 있도록 암호화여 전달 가능

2. 내가 원하는 모델이 실행됐는가를 증명가능함: 사용자가 특정 모델을 사용할것을 가정하고 요청했는데 은근슬쩍 값싼 모델을 쓸 수 가 있음. TEE에선 TEE attstation 검증을 통해 정해진 어플레이션, os, 로컬 llm을 실행함을 사용자가 확인할 수 있음.

실제로 VVV 프로덕트가 phala tee를 통해 프라이버시를 보호하는 TEE / E2EE 모드를 지원함

오픈 llm의 성능이 향상됨에 따라 로컬에서 돌리려는 니즈도 커지고 있고, 이를 클라우드에서는 돌리고 싶지만 데이터를 클라우드 서비스 운영자도 못보게 하도록 하는 니즈가 커지고 있음

오픈 llm + TEE 클라우드 조합을 관심있게 보면 좋을듯