이 글의 순서
AI 기능이라고 하면 보통 내 질문이 회사 서버로 가고, 서버의 큰 모델이 답을 만들어 돌려주는 모습을 떠올립니다. 그런데 요즘 휴대폰에서는 다른 길이 열리고 있습니다. AI 모델이 휴대폰 안에 들어 있고, 앱이 그 모델을 직접 부르는 방식입니다. 이렇게 서버가 아닌 기기 안에서 AI가 직접 돌아가는 것을 온디바이스 AI(On-device AI)라고 부릅니다. 기기 가장자리에서 처리한다는 뜻으로 엣지 AI라고도 합니다. 이 글은 온디바이스 AI가 무엇이고, 작은 서비스에 어떤 의미인지를 정리한 것입니다.
1. 온디바이스 AI란: 운영체제에 들어간 AI 모델
애플은 앱 개발자가 아이폰에 들어 있는 약 30억 개 매개변수 규모의 언어 모델을 직접 쓸 수 있는 도구를 내놓았습니다. 안드로이드에서도 구글의 작은 모델 Gemini Nano가 시스템 서비스 안에서 돌아가고, 앱은 정해진 창구를 통해 요약·다듬기 같은 기능을 쓸 수 있습니다. 앱마다 모델을 따로 내려받지 않아도 되고, 쓸 때마다 서버 비용이 들지도 않습니다.
2. 온디바이스 AI의 장점: 왜 기기 안에서 돌릴까
- 개인정보 — 사진·음성·건강 기록처럼 민감한 정보를 서버로 보내지 않고 처리할 수 있습니다.
- 비용 — 서버의 AI를 부를 때마다 드는 요금이 없습니다. 이용자가 늘어도 AI 비용이 함께 늘지 않습니다.
- 속도와 오프라인 — 네트워크를 오가지 않아 반응이 빠르고, 인터넷이 없는 곳에서도 동작합니다.
그래서 요즘 앱은 섞어 씁니다. 짧은 요약, 글자 인식, 분류처럼 자주 하는 가벼운 일은 기기에서 하고, 긴 글을 쓰거나 깊게 따져야 하는 일만 서버의 큰 모델에 맡깁니다.
3. 온디바이스 AI의 한계
기기 안 모델은 작습니다. 정해진 형식으로 정보를 뽑거나 몇 문장으로 요약하는 일은 꽤 잘하지만, 넓은 지식이 필요한 질문이나 여러 단계를 따지는 일에서는 큰 모델과 차이가 큽니다. 또 최신 기기에서만 동작하는 경우가 많아, 오래된 휴대폰을 쓰는 이용자를 위한 대안도 함께 만들어야 합니다. 작은 모델도 틀릴 수 있으니, 결과를 사람이 확인하는 단계는 여기서도 필요합니다.
온디바이스 AI 앱 활용 사례: 루비온에 어울리는 점
루비온은 소개 글에 "개인정보는 꼭 필요한 만큼만 받고, 기기 안에서 끝낼 수 있는 계산은 기기에서 한다"고 적어 두었습니다. 기기 안 AI는 이 원칙을 AI 기능까지 넓힐 수 있게 해 줍니다.
- 진행 중별짓 — 별짓은 생년월일을 서버가 아니라 이용자의 기기에만 저장합니다. 정보를 밖으로 보내지 않는다는 방향은 이미 서비스의 기본입니다.
- 해 볼 것발도장의 접종 기록 인식 — 동물병원에서 받은 접종 증명서를 사진으로 찍으면, 기기 안에서 접종 날짜와 백신 이름을 읽어 기록 칸을 미리 채워 주는 기능을 실험해 보려 합니다. 보호자가 확인하고 저장하는 단계는 그대로 둡니다. 발도장의 기록이 사진 한 장으로 쉬워진다면 가장 반가운 변화가 될 것입니다.
- 해 볼 것인생겜의 하루 돌아보기 — 인생겜은 계정 연결 없이 시작하는 습관 RPG입니다. 그 하루의 퀘스트 기록을 바탕으로 짧은 돌아보기 글이나 내일의 퀘스트 제안을 기기 안에서 만들어 주면, 습관 기록을 서버로 보내지 않고도 AI의 도움을 줄 수 있습니다.
- 해 볼 것의뢰 작업의 선택지 — 앱 개발 의뢰에서 AI 기능을 넣을 때 "기기에서 할 수 있는 일"과 "서버가 필요한 일"을 나눠 제안하려 합니다. 처음부터 나누면 월 AI 비용과 개인정보 부담이 함께 줄어듭니다.
앱에 AI를 넣기 전에 물어볼 것
- 이 기능에 꼭 큰 모델이 필요한가요, 아니면 정해진 정보를 뽑는 정도인가요?
- 처리하는 정보가 서버로 나가도 괜찮은 정보인가요?
- 기기 안 AI가 안 되는 휴대폰에서는 어떻게 보이나요?
자주 묻는 질문
온디바이스 AI와 클라우드 AI는 무엇이 다른가요?
클라우드 AI는 입력한 내용을 회사 서버로 보내 큰 모델이 답을 만듭니다. 온디바이스 AI는 휴대폰 안의 작은 모델이 직접 처리해, 정보가 기기 밖으로 나가지 않고 인터넷 없이도 동작합니다. 대신 모델이 작아 할 수 있는 일의 폭이 좁습니다.
온디바이스 AI는 어떤 휴대폰에서 쓸 수 있나요?
대체로 AI 연산 전용 칩(NPU)을 갖춘 최근 기기에서 동작합니다. 지원 기기 목록은 애플과 구글이 각각 공개하며, 지원하지 않는 기기를 위해 앱이 서버 처리 같은 대안을 함께 두는 경우가 많습니다.
앱에 온디바이스 AI를 넣으면 비용이 들지 않나요?
운영체제에 들어 있는 모델을 쓰면 호출할 때마다 내는 AI 사용료는 없습니다. 다만 기능을 설계하고, 결과를 확인하는 화면과 대안 경로를 만드는 개발 비용은 듭니다.
참고한 자료
위에 적은 발도장·인생겜 기능은 실험 계획이며, 출시 여부와 시기는 정해지지 않았습니다.
앱에 AI 기능을 넣고 싶다면기기에서 할 일과 서버에서 할 일을 나눠, 비용과 개인정보 부담이 적은 구조로 만들어 드립니다.
개발 의뢰 · 상담 →
루비온은 별짓·발도장·인생겜·FORESEE·BIDON을 직접 만들고 운영하는 제품 스튜디오입니다. 만들면서 확인한 것만 씁니다. 틀린 내용은 알려 주세요.