AI 조작 보조 기능

AI 조작 보조 기능 소개

일상적인 컴퓨터 작업을 로봇이 학습하여, 로봇이 사용자를 대신해 작업을 보조해주는 기능입니다.

컴퓨터를 사용한 업무는 매우 피로합니다. 이 피로를 조금이라도 줄일 수 있도록 로봇이 작업을 보조해줍니다. 물론 원래의 작업에 방해가 되지 않도록 설계되어 있습니다.

데스크톱 화면에 표시된 대상 텍스트, 이미지 등(이하 ‘표시 객체’라고 합니다) 를 클릭한 후 항상 동일한 패턴으로 조작하는 경우, 로봇이 사용자를 대신해 조작을 수행합니다.

AI 조작 보조 조작 방법

데스크톱 화면에 표시된 표시 대상(텍스트, 이미지 등)을 클릭(더블 클릭 포함)한 후 마우스 커서를 Set(설정) 화면에서 지정된 초 동안 움직이지 않으면 로봇이 다음 조작을 예측한 표시 대상에 마우스 커서가 이동합니다. 또는 마우스 버튼의 사이드 버튼의 다음 버튼을 클릭한 경우에도 로봇이 다음 작업을 예측한 표시 대상에 마우스 커서가 이동합니다.

로봇이 예측한 다음 작업의 표시 대상과 사용자가 기대하는 다음 작업의 표시 대상이 동일할 경우, Set(설정) 화면에서 지정된 초 동안 마우스 커서를 임의의 방향으로 이동하지 않거나 키 입력을 시작하지 않으면 하지 않거나 키 입력을 시작하지 않으면 로봇이 사용자를 대신해 조작을 시작합니다. 반대로 로봇이 예측한 다음 조작의 표시 대상이 다른 경우, 마우스 커서를 임의의 방향으로 이동시키거나 키 입력을 수행하면 로봇의 AI 조작 시작이 취소(중지)됩니다.

AI 조작 시작 시점

UI Auto가 켜져 있는 경우

기본 3초 동안 마우스 커서나 키 입력이 없을 경우 AI 동작이 시작됩니다.

작업 표시줄의 로봇 아이콘이 빨간색 상태로 유지됩니다.

UI Auto가 켜져 있거나 꺼져 있는 경우

또는

마우스의 측면 버튼으로 다음 버튼을 클릭하면 AI 조작이 시작됩니다.

로보가 다음 조작을 예측 중일 때는 작업 표시줄의 로보 아이콘이 빨간색으로 변합니다.

마우스의 사이드 버튼이 없거나 이미 다른 기능에 할당된 경우, 마우스 커서로 조작하려는 표시 객체로 이동한 후

1. [ESC 키 + 왼쪽 클릭]
2. 기능 키(기본: F11)를 눌러
3. 왼쪽 마우스 버튼을 3초 이상 눌러 유지한 후 왼쪽 버튼을 놓습니다.

위의 두 가지 중 하나를 선택하여 예측된 작업을 자동으로 수행합니다.

①은 사람의 조작으로 자동 조작을 시작하는 표시 대상(시작점)을 클릭합니다. 다음 버튼을 클릭한 경우 ③으로 진행합니다.

②에서는 ①의 마우스 버튼 동작 후 마우스가 정지함을 표시합니다. 기본 3초 동안 키 입력 없거나 마우스 커서가 정지하면 ③으로 진행합니다. 정지 시간을 변경하려면 Set(설정) 화면의 (4)에서 변경합니다.

③에서는 로봇이 예측한 표시 객체로 마우스 커서가 이동합니다. 마우스 커서 이동 후 정지하는 시간은 기본 1초입니다. 예상한 표시 객체인 경우, 사용자가 지정된 시간 내에 조작(마우스 커서 이동, 키 입력)이 발생하지 않으면 AI에 의한 자동 조작이 시작됩니다. 이후 사용자의 조작이 발생하지 않는 한, 로봇이 예측할 수 있을 때까지 AI 조작이 실행됩니다. 기대하는 표시 객체가 아닌 경우, 임의의 키를 입력하거나 마우스 커서를 임의의 방향으로 이동시켜 AI 조작을 취소합니다.

정지 시간을 변경하려면, Set(설정) 화면의 (5)에서 변경합니다. 문서 작성 중, HTML 콘텐츠나 프로그램 등 개발 중인 경우 약 +2초가 좋은 보조감입니다.

로봇의 AI 조작 중 취소

로봇의 AI 조작 중, 로봇의 조작이 사용자가 기대했던 조작과 다를 경우, 마우스 커서를 임의의 방향으로 이동시키면 로봇의 AI 조작이 즉시 취소(중지)됩니다. 마우스 휠을 움직이면 즉시 취소(중지)됩니다. 또는, 키 입력을 시작하면 취소(중지)됩니다.

사람의 조작을 로봇이 학습하는 방식

홈 화면의 UI 캡처 스위치를 ON으로 설정하면 로봇이 사용자의 조작을 학습합니다. 로봇의 사람 조작 학습은 기계 학습을 기반으로 한 다중 분기 트리 구조의 데이터베이스에 조작이 등록됩니다.

UI Auto 트리 데이터베이스 이미지 도면

로봇의 학습은 트리 구조로 구성되어 있다는 점을 이해하시면 로봇의 학습에 적용할 수 있으므로 설명드리겠습니다.

하나의 조작(액션)과 해당 조작의 대상이 되는 표시 객체를 하나의 노드(분기)로 등록됩니다.

로봇이 학습할 수 있는 노드의 최대 수는,

• 마우스 조작은 70,000
• 키보드 조작은 30,000

까지입니다.

노드에 저장된 조작 정보 등이 업데이트될 경우, 최신 노드 정보로 덮어쓰기됩니다.

로봇이 AI 조작을 시작할 때, 조작이 시작된 표시 객체(노드)가 트리의 최상위 노드로 설정되어 트리 구조가 구축되며, 이전 조작 로그 데이터로부터 분기하며 다음 조작을 예측하여 AI 조작을 실행합니다.

조작 패턴의 루프에 대해 사람의 조작으로 여러 개의 조작 패턴이 반복될 경우, 당연히 로봇도 해당 조작 패턴으로 반복되는 조작을 학습합니다. 예상하지 않은 AI 조작의 루프가 발생할 수 있습니다.

사람의 조작으로 표시 객체의 조작이 완료된 후, 여기서 조작이 종료되었어야 하는데, 로봇이 다음 조작도 있다고 기억해버린 경우, 사람의 조작으로 로봇에 “다음 조작은 없다"고 등록할 수 있습니다.

1. 마우스로 대상 표시 객체를 클릭하여 선택합니다. 클릭 시 표시 객체에 할당된 액션이 실행될 수도 있지만, 　 의도적으로 무시해 주세요.
2. 다음으로 데스크톱 화면의 빈 공간을 CTRL 키 + 클릭 합니다.

위의 작업으로 표시된 객체는 다음 작업이 없다고 등록됩니다. 트리 구조에서 말하는 “종단 노드"로 등록됩니다. 현재 작업에서는 이미 오래된 작업이 되었으며, 로봇이 오래된 작업을 우선적으로 실행하는 경우에도 유용합니다.

연속된 조작 패턴을 학습시키기 위해

연속된 조작을 로봇에 학습시키려면, 조작의 마지막에 데스크톱 화면의 빈 공간을 [CTRL 키 + 클릭] 하여 다음 조작이 없다고 로봇에 등록됩니다.

①의 작업 간 작업 중 시간은 설정(Set) 화면 (10)에서 지정합니다. 연속 작업 간 시간은 기본값 10초입니다. 10초 이내에 다음 작업을 수행하면 연속된 작업으로 등록됩니다. 10초를 초과하면 다음 작업이 없다고 등록됩니다.

작업 오류 학습 초기화

작업 오류도 학습됩니다. 이 경우 표시 대상에 연결된 학습을 초기화하려면 마우스 커서를 초기화하려는 표시 대상에 이동한 후 기능 키(기본: F12)를 눌러 학습을 초기화할 수 있습니다. 학습이 초기화되면 풍선 메시지로 알림이 표시됩니다. 학습이 초기화된 표시 대상에서 작업을 수행하면 새롭게 학습됩니다.

로봇이 학습한 데이터베이스 초기화 방법

로봇이 학습한 모든 조작을 초기화(초기화)하려면 홈 화면에서 설정 화면으로 이동한 후 설정 화면의 왼쪽 하단에 표시되는 아래 아이콘을 클릭합니다.

확인 창이 표시되면 초기화 여부를 선택합니다.

사람의 조작을 로봇이 학습하여 AI로 조작하는 기능

마우스 조작의 AI 조작

마우스의 로봇 AI 조작은 다음과 같습니다.

1. 왼쪽 버튼: 단일 클릭 / 이중 클릭
2. 오른쪽 버튼: 단일 클릭
3. 마우스 휠

입니다.

드래그 앤 드롭의 AI 조작은 수행하지 않습니다.

Windows 제어판의 마우스 설정에서

• 포인터를 자동으로 기본 버튼 위에 이동」 체크 박스를 해제해 주세요. 기본 설정에서는 체크 박스가 해제되어 있습니다.
• 마우스 버튼의 주 버튼과 부 버튼의 교환은 지원하지 않습니다.

마우스 휠 입력

마우스 휠을 빠르게 회전시킬 경우 회전 수를 감지하지 못해 데이터가 누락될 수 있으며, 이로 인해 사용자가 화면을 스크롤한 위치와 로봇이 스크롤한 위치가 다를 수 있습니다. 이점 미리 양해해 주시기 바랍니다. 사용자가 마우스 휠로 타겟 표시 객체를 표시한 조작을 로봇이 자동으로 수행하도록 할 경우 1초당 3스크롤 이내로 스크롤해 주시기 바랍니다. 참고로, 로봇은 타겟 표시 객체를 인식하고 기억하지만, 현재 표시된 좌표 위치는 아닙니다. 화면에 표시되면 로봇은 인식합니다.

사용 중인 마우스 드라이버(시중의 고기능 마우스)에 따라 마우스 휠 이벤트를 다른 앱 (로봇)에 전달하지 않을 수 있습니다. 이 경우 로봇은 마우스 휠을 인식하지 못합니다. 특히 노트북 내장 마우스 장치의 휠 조작 시, 마우스 휠 이벤트를 로봇이 획득하지 못할 수 있으므로 사전에 양해해 주시기 바랍니다. 노트북을 사용하는 경우, 시중의 마우스를 PC에 연결하여 사용하면 마우스 휠 이벤트를 인식 할 가능성이 높습니다.

마우스 휠 이벤트를 로보가 획득할 수 없는 경우의 예외 AI 조작에 대해 Edge에 표시된 콘텐츠를 마우스 휠로 스크롤하여 목적의 텍스트 이름이 표시된 시점에 클릭된 경우, AI 조작 시 로보가 마우스 휠의 AI 조작을 수행할 수 없더라도 목적의 텍스트 이름이 클릭됩니다. Edge의 경우, 창 표시 영역 외부에 목적의 텍스트가 존재하는 경우 클릭(Invoke 동작)됩니다.

마우스가 움직이지 않는 판단 기준

마우스가 움직이지 않는 판단 기준은 마우스 커서의 이동이 상하좌우 4픽셀 이내인 경우입니다. 이 사양은 Windows 마우스의 드래그 앤 드롭 시 마우스 커서 이동 판단과 동일한 사양으로 설정되어 있습니다.

표시된 객체 인식에 대해

로보는 화면에 표시된 텍스트 문자를 인식합니다. 표시된 사진이나 지도 등의 이미지 내 특정 위치(좌표)의 클릭은 예상된 동작을 수행하기 어렵습니다. 클릭 시에는 가능한 한 텍스트 문자를 클릭해 주시기 바랍니다.

키보드 버튼 자동 입력에 대해

Set 화면에서 지정하면 키보드 입력 조작도 포함할 수 있습니다. 현재 로봇이 자동 입력하는 키 버튼은 제어 관련 아래 항목만 가능합니다.

• Ctrl + A
• Ctrl + X
• Ctrl + C
• Ctrl + V
• Tab
• Enter
• Back space
• Delete
• Page Down
• Page Up
• Left (←)
• Right (→)
• Up (↑)
• Down (↓)
• Shift (왼쪽 Shift 키를 누른 상태, 또는 오른쪽 Shift 키를 누른 상태)
• Shift Down (Shift 키를 계속 누른 상태)
• Shift Up (Shift 키를 계속 누른 상태 해제) 기타 요청이 있으시면 추가해 드리겠습니다.

로보가 AI 조작을 수행하는 권장 브라우저는 Edge입니다

Edge의 경우, 브라우저의 창 표시 영역 외부에 있는 링크 텍스트를 로봇이 클릭(조작)할 수 있습니다. 사람의 조작에서는, 대상 링크 텍스트가 표시 범위 외부에 있을 때 표시될 때까지 스크롤 조작을 수행하고, 대상 링크 텍스트가 표시되었을 때 클릭하여 다른 사이트로 이동합니다.

이때 로봇은 사람이 클릭한 대상 링크 텍스트의 정보를 기억합니다. 로봇의 경우, 표시될 때까지 스크롤하지 않아도 Edge 브라우저가 다운로드한 HTML 콘텐츠(메모리 내) 의 모든 부분에 접근할 수 있습니다.

이로써 로봇은 창 표시 영역 외부의 링크 텍스트에 대해서도 클릭과 동일한 조작을 수행할 수 있습니다. 만약 사용 중인 PC에서 로봇이 스크롤 조작을 수행할 수 없더라도, 창 표시 영역 외부의 대상 링크 텍스트를 클릭할 수 있습니다.

이 로봇의 조작은 Edge 브라우저에서만 유효합니다. 다른 브라우저의 경우, 사람의 조작과 마찬가지로 대상 링크 텍스트가 표시 범위 내에 있지 않으면 로보는 클릭 할 수 없습니다.

브라우저가 표시하는 HTML 콘텐츠의 조작에 대해

브라우저에 표시되는 HTML 콘텐츠의 다운로드에 시간이 걸리는 경우, 로보의 표시 객체 검색도 시간이 걸릴 수 있습니다. 이 경우, 로보의 AI 조작 중 다운로드가 완료될 때까지 사람의 손으로 마우스를 움직이지 않도록 해 주세요. 이 경우 다음 AI 조작 시간 설정 화면에서 설정한 시간을 초과할 수 있습니다.

조작 오류에 대해

로보는 조작 오류를 기억합니다. 로보는 조작 오류인지 판단할 수 없습니다. 연속 조작 중 조작 오류가 발생하면, 오류 후 데스크톱의 빈 공간을 CTRL 키 + 클릭하여 다시 처음부터 연속 조작을 시작해 주시기 바랍니다.

원격 데스크톱 환경에 대해

클라이언트와 서버 모두에서 이 소프트웨어를 실행 중인 경우, 마우스 및 키 입력 이벤트가 클라이언트와 서버 양쪽에 전송됩니다.

이로 인해 로봇이 이상한 조작이나 학습을 할 수 있으므로, 클라이언트 측의 UI 캡처 스위치 를 OFF로 설정하시기를 권장합니다.

클라이언트 측이란, 원격 데스크톱으로 연결되는(원격 조작을 하지 않는 쪽의) PC를 의미합니다.

Robowiser(RBF)와의 공존에 대해

RBF의 API를 통해 UI 조작을 수행하면, 해당 UI 조작이 로봇이 기억하고 학습됩니다. 그러나 RBF API의 UIAuto()를 통해 수행된 조작의 경우, 마우스 조작이 아니기 때문에 학습되지 않습니다. RBF 로봇으로 UI 조작을 수행할 경우, UI Auto 스위치를 OFF로 설정해 주시기 바랍니다.

UI Auto 스위치가 ON인 경우 로봇의 AI 조작 시작은 마우스가 지정된 시간 동안 정지해 있는 것이 조건이므로 RBF 로봇 API에서 마우스 커서가 계속 이동하면 AI 조작이 시작되지 않습니다.

동일한 제목의 창 화면이 2개 이상 표시되어 있는 경우

Z 오더가 하위(모니터의 시점 방향에서 가장 안쪽[아래]에 있는 창)인 창 화면이 선택됩니다. 이 점은 사전에 양해해 주시기 바랍니다. Windows 사양에 따른 영향 때문입니다.

로봇이 연속으로 조작할 수 있는 최대 수에 대해

로봇이 연속으로 조작할 수 있는 최대 수는 1,000 조작까지로 설정되어 있습니다. 1개 조작은 예를 들어 1번의 클릭이 1개 조작으로 계산됩니다.

로보가 학습 중 모니터 해상도를 변경한 경우

본 소프트웨어 실행 중 또는 종료 후 디스플레이의 해상도 설정을 변경한 경우, 화면을 정확히 인식하지 못할 수 있습니다. 디스플레이 해상도를 변경한 경우, 로보가 기계 학습한 데이터베이스를 초기화해야 합니다.

멀티 디스플레이 환경에 대해

멀티 디스플레이 환경에서는 디스플레이 1(메인 화면)만 로봇의 AI 조작 지원 대상이 됩니다.

기계 학습 데이터베이스에 대해

이 소프트웨어를 업데이트할 때 기계 학습 데이터베이스의 구조가 업데이트될 수 있습니다. 이 경우 소프트웨어를 실행할 때 아래의 팝업 창이 표시되며, 이전에 기계 학습 한 조작이 초기화될 수 있으니 사전에 양해해 주시기 바랍니다.

로봇의 표시 객체 예측 알고리즘에 대해

로봇의 보조 기능의 최우선 목표는 사용자의 원래 컴퓨터 작업을 방해하지 않도록 설계되었습니다.

창 화면에 표시된 표시 객체(요소)의 예측 우선 경로는 다음과 같은 경로의 표시 객체를 예측합니다.

1. 가장 많은 조작 수 (사용자의 조작 수 + 자동 조작 수)의 경로 노드의 경로에서 조작 수의 합계가 가장 많은 표시 객체를 선택
2. 사용자가 최근에 조작한 경로 (기본 설정) 노드의 경로에서 마지막으로 조작한 시간의 합계가 가장 최근인 표시 객체를 선택
3. 사용자가 조작한 마지막 다음 조작 마지막으로 조작한 표시 객체를 선택합니다.

이 중 하나를 우선적으로 선택하여 다음 표시 객체를 결정합니다. 어떤 것을 우선으로 할지는 RoboBuddy Assist 환경 설정 화면의 (6)에서 선택할 수 있습니다.

알고리즘에 따라 AI 조작 보조 기능의 편의성이 결정됩니다. 향후 알고리즘을 개선하여 더 나은 로봇으로 제공하기 위해 노력하고 있으니 본 소프트웨어의 다운로드처에 의견이나 피드백을 남겨주시면 감사하겠습니다. 당사 홈페이지의 문의 에서도 가능합니다.

AI 조작 보조를 통해 얻은 노하우는 당사의 주력 제품 소프트웨어 로봇 Robowiser 프레임워크 에 반영되어 있습니다.