autogui/docs/simplified-chinese.ipynb

PyAutoGUI——让所有GUI都自动化

本教程译自大神Al Sweigart的PyAutoGUI项目，Python自动化工具，更适合处理GUI任务，网页任务推荐：

• Selenium+Firefox记录（Chromedriver和Phantomjs也很给力，Phantomjs虽然是无头浏览器，但有时定位不准），然后用Python写单元测试
• request处理get/post请求写一堆代码自动化处理，都在后台运行，不用运行浏览器，非常适合处理表单

没有sikuli功能多，但是Python让生活更简单，人生苦短，Python当歌。

同时推荐一本Python网络数据采集（图灵社区取的名字^_^）的基础书籍Ryan Mitchell的《Web Scraping with Python》，可以和PyAutoGUI结合使用。

tl;dr

2015-08-17：输入中文bug没有解决，目前的解决方案是Python 2.X环境下安装pyperclip和pyautogui，用复制粘贴来实现。

In [ ]:

import pyperclip
import pyautogui

#  PyAutoGUI中文输入需要用粘贴实现
#  Python 2版本的pyperclip提供中文复制
def paste(foo):
    pyperclip.copy(foo)
    pyautogui.hotkey('ctrl', 'v')

foo = u'学而时习之'
#  移动到文本框
pyautogui.click(130,30)
paste(foo)

1.简介

1.1 目的

PyAutoGUI是一个纯Python的GUI自动化工具，其目的是可以用程序自动控制鼠标和键盘操作，多平台支持（Windows，OS X，Linux）。可以用pip安装，Github上有源代码。

下面的代码让鼠标移到屏幕中央。

In [ ]:

import pyautogui
screenWidth, screenHeight = pyautogui.size()
pyautogui.moveTo(screenWidth / 2, screenHeight / 2)

PyAutoGUI可以模拟鼠标的移动、点击、拖拽，键盘按键输入、按住操作，以及鼠标+键盘的热键同时按住等操作，可以说手能动的都可以。

1.2 例子

In [ ]:

import pyautogui
screenWidth, screenHeight = pyautogui.size()
currentMouseX, currentMouseY = pyautogui.position()
pyautogui.moveTo(100, 150)
pyautogui.click()
#  鼠标向下移动10像素
pyautogui.moveRel(None, 10)
pyautogui.doubleClick()
#  用缓动/渐变函数让鼠标2秒后移动到(500,500)位置
#  use tweening/easing function to move mouse over 2 seconds.
pyautogui.moveTo(1800, 500, duration=2, tween=pyautogui.easeInOutQuad)
#  在每次输入之间暂停0.25秒
pyautogui.typewrite('Hello world!', interval=0.25)
pyautogui.press('esc')
pyautogui.keyDown('shift')
pyautogui.press(['left', 'left', 'left', 'left', 'left', 'left'])
pyautogui.keyUp('shift')
pyautogui.hotkey('ctrl', 'c')

In [ ]:

distance = 200
while distance > 0:
    pyautogui.dragRel(distance, 0, duration=0.5) # 向右
    distance -= 5
    pyautogui.dragRel(0, distance, duration=0.5) # 向下
    pyautogui.draIn gRel(-distance, 0, duration=0.5) # 向左
    distance -= 5
    pyautogui.dragRel(0, -distance, duration=0.5) # 向上

1.4 保护措施（Fail-Safes）

就像《魔法师的学徒》(Sorcerer’s Apprentice)会担水的扫帚，可以担水，却无力阻止水漫浴室。你的程序也可能会失控（即使是按照你的意思执行的），那时就需要中断。如果鼠标还在自动操作，就很难在程序窗口关闭它。

为了能够及时中断，PyAutoGUI提供了一个保护措施。当pyautogui.FAILSAFE = True时，如果把鼠标光标在屏幕左上角，PyAutoGUI函数就会产生pyautogui.FailSafeException异常。如果失控了，需要中断PyAutoGUI函数，就把鼠标光标在屏幕左上角。要禁用这个特性，就把FAILSAFE设置成False：

In [ ]:

import pyautogui
pyautogui.FAILSAFE = False

通过把pyautogui.PAUSE设置成float或int时间（秒），可以为所有的PyAutoGUI函数增加延迟。默认延迟时间是0.1秒。在函数循环执行的时候，这样做可以让PyAutoGUI运行的慢一点，非常有用。例如：

In [ ]:

import pyautogui
pyautogui.PAUSE = 2.5
pyautogui.moveTo(100,100); pyautogui.click()

所有的PyAutoGUI函数在延迟完成前都处于阻塞状态（block）。（未来计划增加一个可选的非阻塞模式来调用函数。）

建议PAUSE和FAILSAFE一起使用。

2 安装与依赖

PyAutoGUI支持Python 2.x和Python 3.x

• Windows：PyAutoGUI没有任何依赖，因为它用Python的ctypes模块所以不需要pywin32

pip3 install pyautogui

• OS X：PyAutoGUI需要PyObjC运行AppKit和Quartz模块。这个模块在PyPI上的按住顺序是pyobjc-core和pyobjc

sudo pip3 install pyobjc-core
sudo pip3 install pyobjc
sudo pip3 install pyautogui

• Linux：PyAutoGUI需要python-xlib（Python 2）、python3-Xlib（Python 3）

sudo pip3 install python3-xlib
sudo apt-get scrot
sudo apt-get install python-tk
sudo apt-get install python3-dev
sudo pip3 install pyautogui```

3.速查表（小抄，Cheat Sheet）

3.1 常用函数

In [ ]:

import pyautogui
#  当前鼠标的坐标
pyautogui.position()

(123, 372)

In [ ]:

#  当前屏幕的分辨率（宽度和高度）
pyautogui.size()

(1920, 1080)

In [ ]:

#  (x,y)是否在屏幕上
x, y = 122, 244
pyautogui.onScreen(x, y)

True

3.2 保护措施

PyAutoGUI函数增加延迟为2.5秒：

In [ ]:

import pyautogui
pyautogui.PAUSE = 2.5

当pyautogui.FAILSAFE = True时，如果把鼠标光标在屏幕左上角，PyAutoGUI函数就会产生pyautogui.FailSafeException异常。

In [ ]:

import pyautogui
pyautogui.FAILSAFE = True

3.3 鼠标函数

坐标系的原点是左上角。X轴（水平）坐标向右增大，Y轴（竖直）坐标向下增大。

In [ ]:

num_seconds = 1.2
#  用num_seconds秒的时间把光标移动到(x, y)位置
pyautogui.moveTo(x, y, duration=num_seconds)
#  用num_seconds秒的时间把光标的X轴（水平）坐标移动xOffset，
#  Y轴（竖直）坐标向下移动yOffset。
xOffset, yOffset = 50, 100
pyautogui.moveRel(xOffset, yOffset, duration=num_seconds)

click()函数就是让鼠标点击，默认是单击左键，参数可以设置：

In [ ]:

pyautogui.click(x=moveToX, y=moveToY, clicks=num_of_clicks, interval=secs_between_clicks, button='left')

其中，button属性可以设置成left，middle和right。

所有的点击都可以用这个函数，不过下面的函数可读性更好：

In [ ]:

pyautogui.rightClick(x=moveToX, y=moveToY)
pyautogui.middleClick(x=moveToX, y=moveToY)
pyautogui.doubleClick(x=moveToX, y=moveToY)
pyautogui.tripleClick(x=moveToX, y=moveToY)

scroll函数控制鼠标滚轮的滚动，amount_to_scroll参数表示滚动的格数。正数则页面向上滚动，负数则向下滚动：

In [ ]:

pyautogui.scroll(clicks=amount_to_scroll, x=moveToX, y=moveToY)

每个按键按下和松开两个事件可以分开处理：

In [ ]:

pyautogui.mouseDown(x=moveToX, y=moveToY, button='left')
pyautogui.mouseUp(x=moveToX, y=moveToY, button='left')

3.4 键盘函数

键盘上可以按的键都可以调用：

In [ ]:

#  每次键入的时间间隔
secs_between_keys = 0.1
pyautogui.typewrite('Hello world!\n', interval=secs_between_keys)

多个键也可以：

In [ ]:

pyautogui.typewrite(['a', 'b', 'c', 'left', 'backspace', 'enter', 'f1'], interval=secs_between_keys)

按键名称列表：

In [ ]:

pyautogui.KEYBOARD_KEYS[:10]

['\t', '\n', '\r', ' ', '!', '"', '#', '$', '%', '&']

键盘的一些热键像Ctrl-S或Ctrl-Shift-1都可以用hotkey()函数来实现：

In [ ]:

pyautogui.hotkey('ctrl', 'a') # 全选
pyautogui.hotkey('ctrl', 'c') # 复制
pyautogui.hotkey('ctrl', 'v') # 粘贴

每个按键的按下和松开也可以单独调用：

In [ ]:

pyautogui.keyDown(key_name)
pyautogui.keyUp(key_name)

3.5 消息弹窗函数

如果你需要消息弹窗，通过单击OK暂停程序，或者向用户显示一些信息，消息弹窗函数就会有类似JavaScript的功能：

In [ ]:

pyautogui.alert('这个消息弹窗是文字+OK按钮')
pyautogui.confirm('这个消息弹窗是文字+OK+Cancel按钮')
pyautogui.prompt('这个消息弹窗是让用户输入字符串，单击OK')

''

在prompt()函数中，如果用户什么都不输入，就会返回None。

3.6 截屏函数

PyAutoGUI用Pillow/PIL库实现图片相关的识别和操作。

在Linux里面，你必须执行sudo apt-get install scrot来使用截屏特性。

In [ ]:

#  返回一个Pillow/PIL的Image对象
pyautogui.screenshot()
pyautogui.screenshot('foo.png')

如果你有一个图片文件想在上面做点击操作，你可以用locateOnScreen()函数来定位。

In [ ]:

#  返回(最左x坐标，最顶y坐标，宽度，高度)
pyautogui.locateOnScreen('pyautogui/looks.png')

(0, 1040, 48, 40)

locateAllOnScreen()函数会寻找所有相似图片，返回一个生成器：

In [ ]:

for i in pyautogui.locateAllOnScreen('pyautogui/looks.png'):
    print(i)

(0, 1040, 48, 40)

In [ ]:

list(pyautogui.locateAllOnScreen('pyautogui/looks.png'))

[(0, 1040, 48, 40)]

locateCenterOnScreen()函数会返回图片在屏幕上的中心XY轴坐标值：

In [ ]:

pyautogui.locateCenterOnScreen('pyautogui/looks.png')

(24, 1060)

如果没找到图片会返回None。

定位比较慢，一般得用1~2秒

4 常用函数

• position()：返回整数元组(x, y)，分别表示鼠标光标所在位置的XY轴坐标
• size()：返回显示器的尺寸整数元组(x, y)。未来将加入多屏支持

5 鼠标控制函数

5.1 屏幕与鼠标位置

屏幕位置使用X和Y轴的笛卡尔坐标系。原点(0,0)在左上角，分别向右、向下增大。

如果屏幕像素是$1920 \times 1080$，那么右下角的坐标是(1919, 1079)。

分辨率大小可以通过size()函数返回整数元组。光标的位置用position()返回。例如：

In [ ]:

pyautogui.size()

(1920, 1080)

In [ ]:

pyautogui.position()

(272, 688)

下面是Python 3版本的光标位置记录程序：

In [ ]:

# ! python 3
import pyautogui
print('Press Ctrl-C to quit')
try:
    while True:
        x, y = pyautogui.position()
        positionStr = 'X: {} Y: {}'.format(*[str(x).rjust(4) for x in [x, y]])
        print(positionStr, end='')
        print('\b' * len(positionStr), end='', flush=True)
except KeyboardInterrupt:
    print('\n')

Python 2版本是：

In [ ]:

# ! python
import pyautogui, sys
print('Press Ctrl-C to quit.')
try:
    while True:
        x, y = pyautogui.position()
        positionStr = 'X: ' + str(x).rjust(4) + ' Y: ' + str(y).rjust(4)
        print positionStr,
        print '\b' * (len(positionStr) + 2),
        sys.stdout.flush()
except KeyboardInterrupt:
    print '\n'

要检查XY坐标是否在屏幕上，需要用onScreen()函数来检验，如果在屏幕上返回True：

In [ ]:

import pyautogui
pyautogui.onScreen(0, 0)

True

In [ ]:

pyautogui.onScreen(0, -1)

False

In [ ]:

pyautogui.onScreen(0, 2080)

False

In [ ]:

pyautogui.onScreen(1920, 1080)

False

In [ ]:

pyautogui.onScreen(1919, 1079)

True

5.2 鼠标行为

moveTo()函数会把鼠标光标移动到指定的XY轴坐标处。如果传入None值，则表示使用当前光标的对象轴坐标值。

In [ ]:

pyautogui.moveTo(100, 200)     # 光标移动到(100, 200)位置
pyautogui.moveTo(None, 500)   # 光标移动到(100, 500)位置
pyautogui.moveTo(600, None)   # 光标移动到(600, 500)位置

一般鼠标光标都是瞬间移动到指定的位置，如果你想让鼠标移动的慢点，可以设置持续时间：

In [ ]:

pyautogui.moveTo(100, 200, duration=2)     # 用2秒把光标移动到(100, 200)位置

默认的持续时间pyautogui.MINIMUM_DURATION 是0.1秒，如果你设置的时间比默认值还短，那么就会瞬间执行。

如果你想让光标以当前位置为原点，进行相对移动，就用pyautogui.moveRel()函数。例如：

In [ ]:

pyautogui.moveTo(100, 200) #把光标移动到(100, 200)位置
pyautogui.moveRel(0, 50)   #向下移动50
pyautogui.moveRel(30, 0, 2)   #向右移动30
pyautogui.moveRel(30, None)   #向右移动30

5.3 鼠标拖拽

PyAutoGUI的dragTo()和dragRel()函数与moveTo()和moveRel()函数类似。另外，他们有一个button参数可以设置成left，middle和right三个键。例如：

In [ ]:

#  按住鼠标左键，把鼠标拖拽到(100, 200)位置
pyautogui.dragTo(100, 200, button='left')
#  按住鼠标左键，用2秒钟把鼠标拖拽到(300, 400)位置
pyautogui.dragTo(300, 400, 2, button='left')
#  按住鼠标右键，用2秒钟把鼠标拖拽到(30,0)位置
pyautogui.dragTo(30, 0, 2, button='right')

5.4 缓动/渐变（Tween / Easing）函数

缓动/渐变函数的作用是让光标的移动更炫。如果你不需要用到的话，你可以忽略这些。

缓动/渐变函数可以改变光标移动过程的速度和方向。通常鼠标是匀速直线运动，这就是线性缓动/渐变函数。PyAutoGUI有30种缓动/渐变函数，可以通过pyautogui.ease*?查看。其中，pyautogui.easeInQuad()函数可以用于moveTo()，moveRel()，dragTo()和dragRel()函数，光标移动呈现先慢后快的效果，整个过程的时间还是和原来一样。而pyautogui.easeOutQuad函数的效果相反：光标开始移动很快，然后慢慢减速。pyautogui.easeOutElastic是弹簧效果，首先越过终点，然后再反弹回来。例如：

In [ ]:

#  开始很慢，不断加速
pyautogui.moveTo(100, 100, 2, pyautogui.easeInQuad)
#  开始很快，不断减速
pyautogui.moveTo(100, 100, 2, pyautogui.easeOutQuad)
#  开始和结束都快，中间比较慢
pyautogui.moveTo(100, 100, 2, pyautogui.easeInOutQuad)
#  一步一徘徊前进
pyautogui.moveTo(100, 100, 2, pyautogui.easeInBounce)
#  徘徊幅度更大，甚至超过起点和终点
pyautogui.moveTo(100, 100, 2, pyautogui.easeInElastic)

这些效果函数是模仿Al Sweigart的PyTweening模块，可以直接使用，不需要额外安装。

如果你想创建自己的效果，也可以定义一个函数，其参数是(0.0,1.0)，表示起点和终点，返回值是介于[0.0,1.0]之间的数。

5.5 鼠标单击

click()函数模拟单击鼠标左键一次的行为。例如：

In [ ]:

pyautogui.click()

Warning:

Output truncated. This notebook contains too many cells to display efficiently.