챗봇이 말로 끝내던 일을, 제미나이는 화면을 읽고 눌러 API 없는 시스템까지 움직인다
말로 답하는 AI는 이제 옛날 얘기입니다
구글 제미나이 컴퓨터 사용 모델은 질문에 텍스트로 답하는 챗봇과 근본적으로 다릅니다. 화면을 직접 보고 클릭·입력·스크롤까지 수행하는 에이전트형 AI입니다. 2025년 10월 7일 Google DeepMind가 Gemini 2.5 Computer Use를 공개하면서 'AI가 직접 일한다'는 개념이 현실이 됐습니다.
그래서 기존 자동화랑 뭐가 다른 건가요
기존 API 연동 자동화는 구조화된 API가 반드시 있어야 했습니다. 반면 Gemini Computer Use는 그래픽 UI 자체를 조작합니다. 웹 양식 작성, 가격 비교, UI 테스트, 예약 업무까지 사람이 마우스로 하듯 처리합니다. API 없는 레거시 시스템도 건드릴 수 있다는 점이 핵심 차별점입니다.
실제로 어떻게 작동하는지 궁금하지 않으신가요
모델이 PC를 직접 장악하는 방식이 아닙니다. 개발자가 Playwright 같은 클라이언트 실행 환경을 구성하고, 모델이 제안한 클릭 좌표와 키 입력을 코드가 수행하는 반복 루프 구조입니다. 사용자 요청·현재 스크린샷·최근 행동 기록을 입력받아 다음 행동을 함수 호출 형태로 반환합니다.
벤치마크 수치, 경쟁 모델과 얼마나 차이 나나요
공식 모델카드 기준으로 Gemini 2.5 Computer Use는 Online-Mind2Web 69.0%, WebVoyager 88.9%, Android World 69.7%를 기록했습니다. 같은 표에서 OpenAI Computer Using Agent는 Online-Mind2Web 61.3%, WebVoyager 87.0%였습니다. 웹·모바일 제어 정확도에서 당시 경쟁 우위를 보였습니다.
지금 쓸 수 있는 모델은 어떤 건가요
2026년 7월 6일 갱신된 공식 문서 기준으로 현재 권장 모델은 Gemini 3.5 Flash입니다. Gemini 2.5 Computer Use는 레거시 프리뷰로 분류됩니다. Gemini API, Google AI Studio, Vertex AI에서 사용할 수 있으며, 브라우저·모바일·데스크톱 환경과 행동별 intent, 안전 정책 설정, 프롬프트 인젝션 감지 옵션이 강조됩니다.
지금 당장 확인해야 할 한 가지가 있습니다
구글은 구매, 파일 변경, 민감정보 접근, 통신 발송 같은 고위험 행동에는 반드시 사용자 확인과 안전 필터를 적용하라고 명시합니다. Computer Use를 도입하려는 개발자라면 Gemini API 공식 문서에서 안전 정책 설정과 프롬프트 인젝션 감지 옵션을 먼저 점검하는 것이 첫 번째 할 일입니다.
#구글제미나이 #컴퓨터사용모델 #GeminiComputerUse #에이전트AI #UI자동화 #Gemini35Flash #GoogleDeepMind