## 对安卓输入事件的浅见
### 什么是输入事件
安卓操作系统使用事件概念来处理从不同输入设备接收到的信号。
它支持各种不同的设备,例如触摸屏,激光笔,鼠标,键盘,但其中大多数都使用从基本inputEvent类派生的MotionEvent或者KeyEvent API。这些API相当灵活,并支持各种不同的设置。我们对这些API中负责触摸和键盘事件生成/模拟的部分特别感兴趣。
### 输入事件如何工作
事件是用于响应来自输入设备的信号而生成的对象。这些对象之后会被传递到对应的内核子系统,由子系统处理这些对象,并通知所有监听进程关于点击,按键,滑动等操作。这就意味着,为了模拟由外部设备生成的信号(如触摸屏幕),发送具有与真实设备生成的属性与序列相同的事件对象是必要的。
### 让我们模拟一次点击
每个输入设备都有一组动作,这些动作的属性范围和序列已经在操作系统中预定义好。我们称这些动作为”点击“,”滑动“或者”双击“等。每个动作的属性都可以在安卓文档或者操作系统源码中找到。为了执行被识别为单击的事件序列,必须生成以下运动事件:
- `ACTION_POINTER_DOWN`
- 等待 125毫秒 (525毫秒或更长的等待时间将改为合成长按动作)
- `ACTION_POINTER_UP`. 该 `downTime` 属性应设置为与 `ACTION_POINTER_DOWN`相同的时间戳
同样重要的是,开始事件和结束事件的坐标和其他属性都应相等,但`eventTime` 必须始终等于当前系统时间戳(以毫秒为单位,`SystemClock.uptimeMillis()`).
`MotionEvent`对象本身可以通过[obtain](https://developer.android.com/reference/android/view/MotionEvent#obtain(long,%20long,%20int,%20float,%20float,%20int)) API来创建,其参数是相应的事件属性。
事件创建后,必须将它们传递给系统去执行。这样的动作并不安全,因此只有在通过`IUiAutomationConnection` 接口的[injectInputEvent](https://android.googlesource.com/platform/frameworks/base/+/master/core/java/android/app/IUiAutomationConnection.aidl) 方法进行仪器化测试才有可能执行。这是一种非常低级的方法,而且只能在自动化测试中通过映射来访问。通常情况下,UiAutomator的 API有对应的修饰器模拟这些上文描述过的东西(如`touchDown`, `touchMove`等)
### 如何进行更复杂的动作
理论上,我们可以使用生成的时间序列来模拟任何输入动作。虽然,某些动作(如多指滑动)确实非常复杂,并且需要在正确的时间和属性下生成大量的事件。如果给定的事件不遵循内部操作要求,则操作系统会忽略这些事件。我们也能从UiAutomator框架中获得一点点的帮助,因为谷歌只封装了有限的简单动作,如`tap`, `drag` 或者 `swipe`。因此,为了生成两指滑动的动作,我们需要提供以下事件链:
- `ACTION_POINTER_DOWN` (手指1)
- `ACTION_POINTER_DOWN` (手指2)
- 启动一个循环,每20ms为手指1和手指2生成`ACTION_POINTER_MOVE` 事件直到`ACTION_POINTER_UP` 被执行为止。`downTime` 的设置时间应该与`ACTION_POINTER_DOWN`一致。每个移动事件的坐标应该由相对起点和终点坐标之间点组成的。(x0 + sqrt(sqr(x0) + sqr(x1))) * k, y0 + sqrt(sqr(y0) + sqr(y1))) * k)
- `ACTION_POINTER_UP` (手指1) `downTime` 应该设置为与 `ACTION_POINTER_DOWN`相对应的时间戳
- `ACTION_POINTER_UP` (手指2) `downTime` 应该设置为与 `ACTION_POINTER_DOWN`相对应的时间戳
谷歌在UiAutomator代码中使用5ms作为两次移动时间之间的间隔时间,但是据我们的观察,这个值太小了,会导致执行动作明显延迟。
### 进一步阅读
不幸的是,关于这个主题没有太多详细的信息。唯一可靠的信息来源是安卓系统源码。可以考虑访问以下资源:
- https://android.googlesource.com/platform/frameworks/base/+/master/core/java/android/view/ViewConfiguration.java
- https://android.googlesource.com/platform/frameworks/uiautomator/+/refs/heads/master
- https://github.com/appium/appium-uiautomator2-server/tree/master/app/src/main/java/io/appium/uiautomator2/utils/w3c
- https://github.com/appium/appium-uiautomator2-server/tree/master/app/src/test/java/io/appium/uiautomator2/utils/w3c
- https://github.com/appium/appium-espresso-driver/tree/master/espresso-server/app/src/androidTest/java/io/appium/espressoserver/lib/helpers/w3c
- 关于TesterHome和MTSC
- 关于Appium
- 简介
- Appium 客户端
- 入门指南
- 已支持的平台
- API 文档
- Appium驱动
- XCUITest (iOS)
- XCUITest Real Devices (iOS)
- UIAutomation (iOS)
- UIAutomation Safari Launcher (iOS)
- UIAutomator (Android)
- UIAutomator2 (Android)
- Espresso (Android)
- Windows
- Mac
- Appium命令
- Status
- Execute Mobile Command
- Session
- Create
- End
- Get Session Capabilities
- Go Back
- Screenshot
- Source
- Timeouts
- Timeouts
- Implicit Wait
- Async Script
- Orientation
- Get Orientation
- Set Orientation
- Geolocation
- Get Geolocation
- Set Geolocation
- Logs
- Get Log Types
- Get Logs
- Events
- Log event
- Get events
- Settings
- Update Settings
- Get Device Settings
- Settings
- Update Settings
- Get Device Settings
- Execute Driver Script
- Device
- Activity
- Start Activity
- Current Activity
- Current Package
- App
- Install App
- Is App Installed
- Launch App
- Background App
- Close App
- Reset App
- Remove App
- Activate App
- Terminate App
- Get App State
- Get App Strings
- End Test Coverage
- Clipboard
- Get Clipboard
- Set Clipboard
- Emulator
- Power AC
- Power Capacity
- Files
- Push File
- Pull File
- Pull Folder
- Interactions
- Shake
- Lock
- Unlock
- Is Locked
- Rotate
- Keys
- Press keycode
- Long press keycode
- Hide Keyboard
- Is Keyboard Shown
- Network
- Toggle Airplane Mode
- Toggle Data
- Toggle WiFi
- Toggle Location Services
- Send SMS
- GSM Call
- GSM Signal
- GSM Voice
- Network Speed
- Performance Data
- Get Performance Data
- Performance Data Types
- Screen Recording
- Start Screen Recording
- Stop Screen Recording
- Simulator
- Perform Touch ID
- Toggle Touch ID Enrollment
- System
- Open Notifications
- System Bars
- System Time
- Display density
- Authentication
- Finger Print
- Element
- Find Element
- Find Elements
- Actions
- Click
- Send Keys
- Clear
- Attributes
- Text
- Name
- Attribute
- Selected
- Enabled
- Displayed
- Location
- Size
- Rect
- CSS Property
- Location in View
- Other
- Submit
- Active Element
- Equals Element
- Context
- Get Context
- Get All Contexts
- Set Context
- Interactions
- Mouse
- Move To
- Click
- Double Click
- Button Down
- Button Up
- Touch
- Single Tap
- Double Tap
- Move
- Touch Down
- Touch Up
- Long Press
- Scroll
- Flick
- Multi Touch Perform
- Touch Perform
- W3C Actions
- Web
- Window
- Set Window
- Close Window
- Get Handle
- Get Handles
- Get Title
- Get Window Size
- Set Window Size
- Get Window Position
- Set Window Position
- Maximize Window
- Navigation
- Go to URL
- Get URL
- Back
- Forward
- Refresh
- Storage
- Get All Cookies
- Set Cookie
- Delete Cookie
- Delete All Cookies
- Frame
- Switch to Frame
- Switch to Parent Frame
- Execute Async
- Execute
- 编写 & 运行Appium脚本
- Running Tests
- Desired Capabilities
- The --default-capabilities flag
- Finding Elements
- Touch Actions
- CLI Arguments
- Server Security
- Web/Web Views
- Mobile Web Testing
- Automating Hybrid Apps
- Using ios-webkit-debug-proxy
- Using Chromedriver
- Image Comparison
- iOS
- Low-Level Insights on iOS Input Events
- XCUITest Mobile Gestures
- XCUITest Mobile App Management
- iOS Pasteboard Guide
- iOS Predicate Guide
- iOS Touch ID Guide
- iOS Install Certificate
- tvOS support
- Pushing/Pulling files
- Audio Capture
- Android
- Low-Level Insights on Android Input Events
- UiSelector Guide
- Espresso Datamatcher Guide
- Android Code Coverage Guide
- Activities Startup Troubleshooting Guide
- How To Execute Shell Commands On The Remote Device
- Android Device Screen Streaming
- How To Emulate IME Actions Generation
- How To Test Android App Bundle
- Other
- Reset Strategies
- Network Connection Guide
- Using Unicode with Appium
- Troubleshooting
- Tutorial
- Swipe Tutorial
- Screen
- Element
- Partial screen
- Simple
- Multiple scroll views
- Add scroll layout
- Tricks and Tips
- Screen
- Element
- Element search
- Fast
- Slow
- Guide
- 进阶概念
- 定位图像中的元素
- 使用定位元素的插件
- 迁移到 XCUITest
- 在 Appium 中使用 Selenium Grid
- Appium Logs Filtering
- 跨域 iframes
- 使用自定义 WDA 服务器
- 使用不同版本的 Xcode 运行
- The Event Timings API
- 并行测试的设置
- The Settings API
- Memory Collection
- 向Appium项目做贡献
- 从源代码运行 Appium
- 开发者概述
- 标准开发命令
- Appium 风格指南
- 如何编写文档
- Appium 包结构
- 鸣谢