GUI Record & Replay

GUI Record & Replay 有两天主要任务：记录用户的操作、模拟用户的操作。可以用于GUI程序的自动化测试。

Unix/Linux环境下的窗口环境主要是X Window System。

用户输入的记录和模拟

X Window下的GUI Record可以借助 X Record Extension Library来实现。GUI Replay则可以借助 XTEST Extension Library。

X Record提供了API用于监听用户事件。XTest提供了API用于模拟用户输入。基本上一些GUI Record & Play的实现都是利用这两套API来实现的。

窗口组件的查找和管理

除了单纯记录和模拟用户的键盘鼠标事件外，对窗口及组件的查询和管理也是非常有必要或有帮助的。比如也许需要在每次打开程序时调整窗口的初始大小和位置，以保证用户输入事件的准确性。

在 X Window 环境中，这可能需要借助X Window API的帮助。

一些可供参考的想法：

• How to get an X11 Window from a Process ID?

一些解决方案

• xdotool - fake keyboard/mouse input, window management
• VNCPlay - Interactive Session Replay and Performance Measurement
• Replay saved VNC sessions

更多想法

• 和Tcl/Tk结合
• 直接利用Tk的API，比如Tk_CreateEventHandler 或 Tk_CreateGenericHandler

网络资源

• http://www.x.org/ - An open source implementation of the X Window System
• http://www.xfree86.org/ - The premier open source X11-based desktop infrastructure
• X Window System 文档
• GUI Test Drivers
• Accessibility in Qt
• AT-SPI C Bindings Reference Manual