trycua/cua 오픈소스 완벽 분석: 마우스 포커스를 뺏지 않는 백그라운드 Computer-Use 2.0 총정리 가이드

앤트로픽(Anthropic)의 Claude Computer Use와 OpenAI의 Operator가 공개되었을 때, 전 세계 개발자들은 AI가 사람처럼 마우스를 움직이고 화면을 보며 클릭하는 모습에 열광했습니다.

하지만 실제로 실무에 도입해 본 사람들은 곧바로 치명적인 한계에 부딪혔습니다. AI가 컴퓨터를 조작하기 시작하면 사용자의 실제 마우스 커서와 키보드 입력이 강제로 빼앗기고(Foreground Hijacking), 화면 창이 이리저리 전환되어 사람이 다른 업무를 전혀 볼 수 없었기 때문입니다. 즉, AI가 일하는 동안 사람은 손을 놓고 모니터만 멍하니 바라보아야 했습니다.

이 거대한 병목을 해결하고 진정한 다중 작업 Computer-Use 2.0 시대를 연 오픈소스 프로젝트가 바로 GitHub 스타 21,600개 이상을 기록하며 폭발적인 관심을 받고 있는 trycua/cua (Cua AI)입니다.

이번 포스트에서는 github.com/trycua/cua 프로젝트가 정확히 무엇인지, 어떤 기술로 백그라운드 제어를 구현했는지, 누구에게 유용하며 어떻게 설치하고 연동하는지 총정리 가이드로 명쾌하게 정리해 드립니다.

초보자를 위한 핵심 용어 사전

아티클을 이해하는 데 필요한 AI 및 OS 자동화 관련 필수 기술 용어입니다.

Computer-Use Agent (CUA): 터미널 명령어(CLI)나 API 호출에 머무르지 않고, 일반 사용자처럼 데스크톱 GUI(화면 보기, 마우스 클릭, 키보드 타이핑, 드래그 등)를 직접 조작하여 작업을 완수하는 자율 AI 에이전트입니다.
포그라운드 하이재킹 (Foreground Hijacking): AI 에이전트나 매크로 프로그램이 OS의 실제 물리 마우스 커서와 창 활성 포커스를 가로채어, 사용자가 키보드나 마우스를 건드릴 수 없게 만드는 전통적인 GUI 자동화의 한계 현상입니다.
가상 합성 커서 (Synthetic Cursor): 실제 하드웨어 마우스 포인터와 별개로 동작하는 가상의 소프트웨어 커서입니다. 사용자가 작업 중인 마우스 위치를 전혀 방해하지 않고 백그라운드 앱 창에 독립적으로 클릭 신호를 전달합니다.
OS 접근성 트리 (Accessibility Tree): Windows UIAutomation, macOS Accessibility API, Linux AT-SPI 등 운영체제가 화면 내부의 버튼, 텍스트 상자, 메뉴 위치와 계층 구조를 인식할 수 있도록 제공하는 시스템 데이터 트리입니다.
MCP (Model Context Protocol): AI 모델이 외부 OS 드라이버, 가상 머신, 파일 시스템 도구와 표준 규격으로 실시간 통신할 수 있게 돕는 개방형 프로토콜입니다.

trycua/cua란 무엇인가? (개요 및 탄생 배경)

trycua/cua는 AI 에이전트가 macOS, Windows, Linux 전반에서 데스크톱 애플리케이션을 안전하고 자유롭게 조작할 수 있도록 설계된 차세대 크로스 OS 백그라운드 컴퓨터 유즈 인프라 및 오픈소스 드라이버입니다.

기존 1세대 Computer-Use 도구들의 가장 큰 약점은 크게 세 가지였습니다:

마우스/키보드 커서 독점으로 인한 동시 작업 불가
OS별로 제각각인 API와 가상머신(VM) 환경 구축의 극심한 난이도
AI 성능을 객관적으로 측정하고 학습 데이터를 생성할 표준화된 벤치마크 부재

Cua는 이러한 문제를 단번에 해결하기 위해 탄생했습니다. AI가 네이티브 데스크톱 앱을 제어할 때 사용자의 화면 포커스나 마우스 커서를 빼앗지 않으며, 단일한 통합 파이썬 SDK와 MCP 서버로 모든 OS를 동일한 문법으로 제어할 수 있는 표준 인프라를 제공합니다.

이걸로 무엇을 할 수 있는가? (핵심 기능 및 킬러 유스케이스)

Cua를 활용하면 이전에는 상상하기 어려웠던 혁신적인 데스크톱 자동화 파이프라인을 구축할 수 있습니다.

1. 사용자와 AI의 완전한 데스크톱 동시 작업 (Co-working)

내가 주 모니터에서 코드를 작성하거나 영상을 시청하는 동안, AI 에이전트(Claude Code, Cursor 등)는 백그라운드 창에서 슬랙 메시지 답장, 브라우저 리서치 데이터 스크랩, 엑셀 시트 정리, 디자인 에셋 변환 등의 업무를 마우스 간섭 없이 동시에 처리합니다.

2. 크로스 플랫폼 데스크톱 앱 무인 E2E 테스트

Windows, macOS, Linux, 심지어 Android 에뮬레이터까지 아우르는 복합 GUI 앱의 테스트를 AI가 실제 유저의 시각에서 버튼을 클릭하고 제스처를 수행하며 자동으로 검증합니다.

3. 멀티모달 AI 모델 훈련용 Trajectory 데이터셋 대량 생성

OSWorld, ScreenSpot, Windows Arena 같은 표준 벤치마크 환경에서 AI 에이전트의 화면 조작 행동 궤적(Trajectory: 화면 스크린샷, 액션 로그, 보상 데이터)을 수만 건 단위로 자동 수집하여 자체 파운데이션 모델 파인튜닝에 즉시 투입할 수 있습니다.

4. 경량 초고속 macOS 가상머신 프로비저닝 (Lume)

Apple Silicon(M1/M2/M3/M4) 맥에서 Apple의 공식 Virtualization.framework를 통해 몇 초 만에 macOS(Sequoia, Tahoe) 무인 VM을 생성하고 파괴하는 유연한 CI/CD 환경을 구축합니다.

Cua 생태계의 4대 핵심 컴포넌트

trycua/cua 4대 핵심 아키텍처 및 백그라운드 컴퓨터 제어 개요

Cua 프로젝트는 목적과 환경에 따라 다음과 같은 4대 핵심 서브 패키지로 유기적으로 연결되어 있습니다.

1. Cua Driver (`libs/cua-driver`)

역할: 내 PC의 네이티브 데스크톱 앱을 백그라운드에서 직접 구동하는 핵심 드라이버입니다.
기술 특징: OS 접근성 API(Windows UIAutomation, macOS Accessibility, Linux AT-SPI/Wayland/X11)와 합성 커서를 결합하여 마우스 포커스 이동 없이 특정 윈도우 창 내부로 마우스 클릭과 키보드 이벤트를 디스패치합니다.
인터페이스: CLI 명령어 및 MCP 서버를 기본 내장하여 Claude Code, Cursor, Codex, OpenClaw 등과 원클릭 연동됩니다.

2. Cua Sandbox (`cua-sandbox` / `pip install cua`)

역할: 로컬 또는 클라우드 상의 독립된 가상 컨테이너/VM을 단일한 파이썬 비동기 API로 제어하는 에이전트 SDK입니다.
기술 특징: 대상 OS가 리눅스든, 윈도우든, 맥OS든, 안드로이드든 상관없이 sb.screenshot(), sb.mouse.click(), sb.keyboard.type(), sb.mobile.gesture()라는 단 하나의 통합 문법으로 제어합니다.

3. Cua-Bench (`cua-bench`)

역할: Computer-Use 에이전트의 성능을 정량적으로 평가하고 강화학습(RL) 환경을 제공하는 벤치마크 스위트입니다.
기술 특징: OSWorld, Windows Arena 등의 복잡한 데스크톱 미션을 병렬로 동시 실행(cb run dataset ... --max-parallel 4)하고 성패 여부를 자동 채점합니다.

4. Lume & Lumier (`lume`)

역할: Apple Silicon 환경에 특화된 초경량 macOS 및 Linux 가상화 도구입니다.
기술 특징: 복잡한 GUI 설치 마법사 없이 단 한 줄의 명령어로 Apple 공식 IPSW 복원 이미지를 다운로드하여 무인(Unattended) 설정(SSH 활성화, 자동 로그인, 절전 모드 해제)된 VM을 네이티브에 가까운 속도로 즉시 구동합니다.

어떤 사용자에게 가장 유용한 도구인가?

Cua는 다음과 같은 엔지니어와 조직에 막대한 가치를 제공합니다.

1. AI 에이전트 개발자 및 파운데이션 모델 연구원

닫힌 상용 API에 얽매이지 않고 자체적인 Computer-Use 에이전트를 오픈소스로 구현하거나, 강화학습(RL) 기반 GUI 제어 모델을 연구하려는 개발자에게 완벽한 인프라를 제공합니다.

2. 데스크톱 자동화 파워 유저 및 1인 개발자

Claude Code, Cursor와 같은 최신 에이전트 코딩 도구에 Cua Driver MCP를 연결하여, 일상적인 PC 파일 정리, 브라우저 작업, 로컬 테스트 실행을 백그라운드에서 실시간 위임하고 싶은 개발자에게 이상적입니다.

3. QA 엔지니어 및 크로스 플랫폼 소프트웨어 팀

Windows, Mac, Linux 전 플랫폼에 걸쳐 데스크톱 클라이언트의 UI 변경 사항과 리그레션 테스트를 실제 하드웨어 간섭 없이 무인 자동화하려는 품질 관리 팀에 필수적입니다.

4. 엔터프라이즈 RPA(로봇 프로세스 자동화) 혁신팀

기존의 비싸고 화면을 점유하는 구형 RPA 솔루션 대신, 최신 LLM 멀티모달 비전 기반으로 백그라운드에서 조용하고 안정적으로 작동하는 차세대 사내 업무 자동화를 구축하려는 기업.

단계별 실전 사용법 및 설치 가이드

Cua를 실무 프로젝트에 도입하는 가장 대표적인 세 가지 방법을 소개합니다.

1. Cua Driver 단 한 줄로 설치하기 (CLI & MCP)

터미널에서 원클릭 인스톨러 스크립트를 실행합니다.

macOS / Linux 환경:

/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)"

Windows PowerShell 환경:

irm https://cua.ai/driver/install.ps1 | iex

설치가 완료되면 cua-driver CLI 도구가 활성화되며, Claude Code나 Cursor의 MCP 설정에 등록하여 즉시 사용할 수 있습니다.

Claude Code에 Cua Driver MCP 연동 예시:

claude mcp add cua-driver -- cua-driver mcp

2. Python SDK를 이용한 크로스 OS 샌드박스 제어

Python 3.11 이상 환경에서 cua 패키지를 설치합니다.

pip install cua

아래 파이썬 코드는 리눅스 샌드박스를 띄워 쉘 명령을 실행하고 화면을 캡처한 뒤 마우스와 키보드를 제어하는 표준 예제입니다.

import asyncio
from cua import Sandbox, Image

async def main():
    # Image.linux(), Image.macos(), Image.windows(), Image.android() 모두 동일 API
    async with Sandbox.ephemeral(Image.linux()) as sb:
        # 1. 쉘 명령어 실행
        result = await sb.shell.run("echo 'Hello from Cua!'")
        print(result.stdout)

        # 2. 실시간 화면 스크린샷 캡처
        screenshot = await sb.screenshot()
        
        # 3. 특정 좌표(x=100, y=200) 마우스 클릭 및 텍스트 입력
        await sb.mouse.click(100, 200)
        await sb.keyboard.type("Automation with Cua")

        # 4. 모바일/터치 환경일 경우 제스처 지원
        # await sb.mobile.gesture((100, 500), (100, 200))

if __name__ == "__main__":
    asyncio.run(main())

3. Apple Silicon Mac에서 Lume으로 초고속 macOS VM 띄우기

# 1. Lume 설치
/bin/bash -c "$(curl -fsSL https://cua.ai/lume/install.sh)"

# 2. 공식 macOS 복원 이미지 다운로드 및 무인 VM 생성
lume create macos-tahoe --ipsw ~/Downloads/macos-tahoe.ipsw --unattended tahoe

# 3. 가상 머신 시작 (기본 계정: lume / lume)
lume run macos-tahoe

기존 Computer-Use 대비 차별점 및 기술적 장점

비교 항목	기존 1세대 Computer-Use (Anthropic 등)	trycua/cua (Computer-Use 2.0)
마우스 포커스 점유	실제 마우스/포커스 강제 탈취 (동시 작업 불가)	가상 합성 커서 및 접근성 기반 백그라운드 비간섭 제어
지원 플랫폼	리눅스 도커 컨테이너 중심 (OS 종속적)	macOS, Windows, Linux, Android 완벽 크로스 OS 통합
개발 인터페이스	독자적인 비표준 API 구조	단일 통합 Python SDK + 표준 MCP 서버 제공
VM 가상화 환경	무겁고 복잡한 설정 필요	Apple Silicon 네이티브 가상화 도구(Lume) 내장
벤치마크 및 RL	개별 커스텀 환경 구현 필요	Cua-Bench 내장 (OSWorld 등 표준 벤치마크 즉시 구동)
라이선스	독점 및 폐쇄형 상용 API 종속	완전한 오픈소스 (MIT License)

마치며: 다중 에이전트 데스크톱 시대를 위한 제언

trycua/cua는 단순한 매크로 라이브러리가 아닙니다. 사람이 컴퓨터 화면을 독점하던 시대에서 벗어나, 여러 AI 에이전트가 백그라운드에서 동시에 수많은 데스크톱 업무를 수행하는 다중 에이전트 OS 환경(Multi-Agent Desktop Ecosystem)의 핵심 인프라 초석을 놓았습니다.

평소 Claude Code나 Cursor 같은 AI 코딩 툴을 쓰면서 백그라운드 PC 자동화가 절실했거나, 자체적인 GUI 제어 에이전트를 연구·개발하고 싶다면 지금 바로 trycua/cua 공식 깃허브 저장소를 방문하여 설치해 보시길 강력히 추천합니다.

공식 GitHub 저장소: https://github.com/trycua/cua
공식 문서 사이트: https://cua.ai/docs