이전에 ai16z로 에이전트가 핫할때 ai agent를 TEE 내부에서 돌리려는 니즈가 있었던 것처럼 최근 로컬 LLM을 TEE 내부에서 돌리려는 니즈가 커지고 있는 것 같아요

왜 TEE 내부에서 돌리려는 니즈가 있을까? 크게 두가지

1. 데이터 프라이버시: 일반 서버에서 돌릴 경우 사용자의 요청과 추론 응답을 서버가 알 수 있음. TEE 사용했을 때 내부에서만 사용자의 prompt 요청을 볼 수 있도록 암호화하여 전송 가능. 마찬가지로 추론 결과 또한 TEE 내부에서 사용자만 볼 수 있도록 암호화여 전달 가능. 이 때 클라우드 서버측에서도 데이터를 볼 수 없음

2. 내가 원하는 모델이 실행됐는가를 증명가능함: 사용자가 특정 모델을 사용할것을 가정하고 요청했는데 은근슬쩍 값싼 모델을 쓸 수 가 있음. TEE에선 TEE attstation 검증을 통해 정해진 어플레이션, os, 로컬 llm을 실행함을 사용자가 확인할 수 있음.

실제로 VVV 프로덕트가 phala tee를 통해 프라이버시를 보호하는 TEE / E2EE 모드를 지원함

오픈 llm의 성능이 향상됨에 따라 로컬에서 돌리려는 니즈도 커지고 있고, 확장 가능한 서비스를 구축 중인 곳들은 클라우드에서는 돌리고 싶지만 데이터를 클라우드 서비스 운영자도 못보도록 구축하고 싶은 니즈가 있음

오픈 llm + TEE 클라우드 조합을 관심있게 보면 좋을듯