【PYTHON】使用Appium自动化工具定位页面元素的方法

最新推荐文章于 2024-12-05 15:40:39 发布
原创 最新推荐文章于 2024-12-05 15:40:39 发布 · 1.4k 阅读 · 9 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#python #appium #自动化

1 项目背景

数据采集业务中，某视频平台的数据大多数是用户上传真实场景的视频，质量较高；而该平台只提供移动端应用内访问，不支持使用浏览器访问，也未提供桌面端，数据获取难度较大。在该项目中，我们积累较多移动端应用数据采集的经验，此次从元素定位的角度出发，对比不同的元素定位方法的使用场景和优劣势分析；

2 定位固定属性元素

如下图，返回按钮是典型的固定元素；图中左侧窗口为应用当前画面，中间窗口为该画面对应源码，右侧窗口为选中元素的属性：

请添加图片描述
以当前页面的返回按钮为例，我们可以通过右侧窗口展示的元素属性，用不同方法定位到该元素。

2.1 通过 accessibility id 定位

def __traverse__(self) -> int:
    label = '{} '.format(multiprocessing.current_process().name)

    status = 0
    while True:
        log.info(label + 'locate element start!')
        # 定位固定属性元素
        accessibilityid = '返回'
        element = self.driver.find_element(by=AppiumBy.ACCESSIBILITY_ID, value=accessibilityid)
        description = element.get_attribute('content-desc')
        log.info(label + 'find element by accessibility id: {}'.format(description))

        break

    return status

结果如下：
请添加图片描述

2.2 通过 uiautomator 定位

def __traverse__(self) -> int:
    label = '{} '.format(multiprocessing.current_process().name)

    status = 0
    while True:
        log.info(label + 'locate element start!')
        # 定位固定属性元素
        uiautomator = 'new UiSelector().description("返回")'
        element = self.driver.find_element(by=AppiumBy.ANDROID_UIAUTOMATOR, value=uiautomator)
        description = element.get_attribute('content-desc')
        log.info(label + 'find element by uiautomator: {}'.format(description))

        break

    return status

结果如下：
请添加图片描述

2.3 通过 classname 定位

def __traverse__(self) -> int:
    label = '{} '.format(multiprocessing.current_process().name)

    status = 0
    while True:
        log.info(label + 'locate element start!')
        # 定位固定属性元素
        classname = 'android.widget.Button'
        elements = self.driver.find_elements(by=AppiumBy.CLASS_NAME, value=classname)
        log.info(label + 'find button number: {}'.format(len(elements)))
        for element in elements:
            description = element.get_attribute('content-desc')
            log.info(label + 'button[{}]: {}'.format(elements.index(element), description))

        break

    return status

结果如下：
请添加图片描述

2.4 通过 xpath 定位

def __traverse__(self) -> int:
    label = '{} '.format(multiprocessing.current_process().name)

    status = 0
    while True:
        log.info(label + 'locate element start!')
        # 定位固定属性元素
        xpath = '//android.widget.Button[@content-desc="返回"]'
        element = self.driver.find_element(by=AppiumBy.XPATH, value=xpath)
        description = element.get_attribute('content-desc')
        log.info(label + 'find element by xpath: {}'.format(description))

        xpath = '//android.widget.Button[contains(@content-desc, "回")]'
        element = self.driver.find_element(by=AppiumBy.XPATH, value=xpath)
        description = element.get_attribute('content-desc')
        log.info(label + 'find element by xpath contains: {}'.format(description))

        break

    return status

结果如下：
请添加图片描述

2.5 优缺点

通过xpath定位元素提供更高的灵活性，不仅支持精确匹配，也支持通过文字的匹配等进行模糊查询，相对定位速度略低；其他几种方式在页面比较简单时，定位速度较快，但在复杂页面中，某些属性无值，这时属性就无法使用了。

3 定位固定位置元素

3.1 案例

有些页面元素在页面发生跳转/滑动等变化时，它的位置保持不变，或者元素很难通过元素属性定位，此时可以通过坐标定位该元素，如下：
请添加图片描述

上图中“听全部”的图标不方便通过属性定位，若它在下滑过程中，位置始终保持不变，则可以通过坐标定位到它，如下图：
请添加图片描述

上图是通过Appium Inspector调试时唤出的十字标，移动鼠标即可实时获取该位置的坐标，可以控制鼠标与页面元素进行交互；代码如下：

def __click_element__(self) -> int:
    label = '{} '.format(multiprocessing.current_process().name)

    status = 0
    try:
        # 点击
        actions = ActionChains(self.driver)
        action_builder = ActionBuilder(self.driver, mouse=PointerInput(POINTER_TOUCH, "touch"))
        action_builder.pointer_action.move_to_location(444, 114)
        action_builder.pointer_action.pointer_down()
        action_builder.pointer_action.release()
        actions.w3c_actions = action_builder
        actions.perform()
        
        pass
    except Exception:
        log.error(label + traceback.format_exc())
        status = -1
    
    return status

3.2 优缺点

通过这种方式只能与元素进行交互，无法获取元素具体属性。

4 定位固定图案元素

4.1 案例

有些页面元素位置会随着操作改变，甚至同一页面不同时间，元素位置也会改变，若元素图案固定，则可以通过图案定位该元素，如下：

请添加图片描述

上图中，点赞的位置会随着点赞数不断变化，不同文章点赞的位置也不相同；文本也会随着时间推移发生变化，但是图标不会改变，此时，我们可以使用图标页面进行匹配，获取元素位置：

 def __locate_by_image__(self) -> int:
    label = '{} '.format(multiprocessing.current_process().name)

    status = 0
    try:
        # # 调试过程中获取点赞页面的图片
        # # 截图
        # image = cv2.imdecode(np.frombuffer(base64.b64decode(self.driver.get_screenshot_as_base64()), dtype=np.uint8), cv2.IMREAD_COLOR)
        # # 保存截图
        # cv2.imwrite('./store/output/{}.png'.format(datetime.now().strftime('%Y%m%d.%H%M%S')), image)

        # 加载编辑得到的图标
        with open('./store/input/images/like.icon.png', 'rb') as reader:
            image_base64 = base64.b64encode(reader.read()).decode('utf-8')
        
        element = self.driver.find_element(by=AppiumBy.IMAGE, value=image_base64)

        # 点击元素
        element.click()

        pass
    except Exception:
        log.error(label + traceback.format_exc())
        status = -1

    return status
    
def __traverse__(self) -> int:
    label = '{} '.format(multiprocessing.current_process().name)

    status = 0
    while True:
        log.info(label + 'locate element start!')
        # 定位固定图案元素 - 移动坐标
        if self.__locate_by_image__():
            break
        log.info(label + 'locate by image pass')

        break

    return status

4.2 优缺点

通过图案进行定位解决通过元素属性无法获取元素位置的的问题，且可以直接与元素交互；但是它除了交互之外无法获取元素属性，且对图像精度要求较高，抗干扰能力较弱；

5 定位固定图标元素

5.1 案例

有些页面会根据画面的整体颜色或图像分辨率填充画面，此时很难通过固定图案定位元素，如下：
在这里插入图片描述

在上面的图片中，图标相同，但是背景色差异巨大，此时无法通过固定图案定位元素；若直接使用坐标定位，需要判断页面结构是否发生变化（比如进入博主主页）以免发出错误的点击。
此时可以通过灰度图消除背景差异，通过灰度图与图标做相似度判断，进而获取图标位置，并与之交互，如下：
在这里插入图片描述

上图中，我们可以通过截图，获取灰度图，保存图标，使用图标与新页面进行灰度图对比，获取图标位置：

def __locate_by_gray_image__(self) -> int:
    label = '{} '.format(multiprocessing.current_process().name)

    status = 0
    try:
        # # 调试过程中获取分享页面的图片
        # # 截图
        # image = cv2.imdecode(np.frombuffer(base64.b64decode(self.driver.get_screenshot_as_base64()), dtype=np.uint8), cv2.IMREAD_COLOR)
        # # 保存截图
        # cv2.imwrite('./store/output/{}.png'.format(datetime.now().strftime('%Y%m%d.%H%M%S')), image)
        # # 将截图转换为灰度图
        # gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
        # # 保存灰度图
        # cv2.imwrite('./store/output/{}.gray.png'.format(datetime.now().strftime('%Y%m%d.%H%M%S')), gray)

        # 截图
        image = cv2.imdecode(np.frombuffer(base64.b64decode(self.driver.get_screenshot_as_base64()), dtype=np.uint8), cv2.IMREAD_COLOR)
        # 将截图转换为灰度图
        gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
        # 读取弹窗图标的灰度图
        icon = cv2.imread('./store/input/images/share-gray.png', cv2.IMREAD_GRAYSCALE)
        # 使用模板匹配
        result = cv2.matchTemplate(gray, icon, cv2.TM_CCOEFF_NORMED)
        # 获取匹配结果
        _, max_value, _, max_location = cv2.minMaxLoc(result)
        # 获取可信值
        self.confidence = max_value
        # 计算图标的中心位置
        self.location = (max_location[0] + icon.shape[1] // 2, max_location[1] + icon.shape[0] // 2)
        
        pass
    except Exception:
        log.error(label + traceback.format_exc())
        status = -1

    return status
    
def __traverse__(self) -> int:
    label = '{} '.format(multiprocessing.current_process().name)

    status = 0
    while True:
        log.info(label + 'locate element start!')
        # 定位固定图标元素
        if self.__locate_by_gray_image__():
            break
        log.info(label + 'locate by gray image pass, location: {}, confidence: {:.2f}%'.format(self.location, self.confidence * 100))

        break

    return status

结果如下（基本与使用Appium Inspector获取的坐标一样）：
请添加图片描述
请添加图片描述

5.2 优缺点

通过图标进行定位削弱页面元素结构不变但位置/背景颜色等变化对元素定位带来的干扰，使用起来几乎无限制，自由度较高；但是它依赖OpenCV，不再兼容旧版Appium搭建的环境，可能会面临一些未知的环境和实现的冲突。

写在最后

您的鼓励是我持续更新的动力，感谢您的支持~

基于appium的常用元素定位方法
manbskjabgkb的博客
07-12 2713
loc = (MobileBy.ANDROID_UIAUTOMATOR, 'new UiSelector().className("android.widget.LinearLayout").childSelector(text("家装"))')loc = (MobileBy.ANDROID_UIAUTOMATOR, 'new UiSelector().className("android.widget.TextView").text("家装").index(2)')
Appium基础操作&元素定位实操入门
m0_64598636的博客
03-31 3843
本篇主要介绍Appium基础操作&元素定位实操入门，大家共同学习。
ADB命令合集自己记录
懒汉上树
03-30 1473
安装配置skd 修改安卓模拟器nox_adb.exe文件 ADB命令 基本命令 查看帮助 adb help 查看版本 adb version 查看adb的连接设备： adb devices 参数 显示列表 无 所有应用 -f 显示应用关联的 apk 文件 -d 只显示 disabled 的应用 -e 只显示 enabled 的应用 -s 只显示系统应用 -3 只显示第三方应用 -i 显示应用的 insta
python-appium元素定位
LilGaage的博客
11-22 1913
一、元素定位方法 （1）id定位：find_element_by_id(“resource-id的属性值”) 利用元素的resource-id的属性值进行定位；在Android App中同一类别的元素的id的属性值有可能一致。 （2）name定位：find_element_by_name(“text属性值”) 利用元素的text属性值进行定位，由于text的值容易发送变化，在appium1.5后该方法被废弃 （3）c...
【Python+Appium】开展自动化测试（五）appium元素定位常用方法
m0_70618214的博客
11-25 2546
​ 对于Android而言，查找appUI界面元素属性的工具有三种：appium desktop，uiautomatorviewer.bat，weditor。之前已经介绍过了weditor的使用，这里我将通过使用uiautomatorview工具查看元素的属性值，来介绍Android app通过appium进行元素定位常用的几种方法。 ​
视频教程-Appium+Python自动化测试-Python
weixin_34826150的博客
05-28 664
Appium+Python自动化测试 精通c++，网络编程，数字图像处理领域...
一个完整的Appium手机自动化测试实例
aff60756的博客
12-22 3528
实现过程： 1.使用环境 appium 、安卓SDK 、python 本文重点是自动化实例，环境搭建过程省略。 2.找到被测APP的包名和Activity Name 手机连接上电脑后，在DOS环境先使用adb devices命令确认手机与电脑连接正常。 然后 打开被测APP，输入下面的命令，就会显示出APP的包名与ActivityName 本人最常使用第3条命令 ...
APP自动化之weditor工具
2301_78276982的博客
08-31 815
weditor是基于python的查看APP元素的工具，能够提供辅助编写脚本、定位元素、调试代码等功能。相较于appium提供的inspect，使用起来更加灵活方便，便于调试。
python+appium自动化测试元素定位(超详细~)
最新发布
一个不太黑的测试人~
12-05 1638
由于我常用的是前两个，所以下面只介绍前面两种元素定位工具（以下内容中均以微博为例子）
Appium 元素定位
C1054158790的博客
09-13 1704
1.tap tap是模拟手指点击，一般页面上元素.语法有两个参数，第一个是positions，是list，最多可以有五个坐标，代表5根手指，duration是持续时间，单位毫秒 def tap(self: T, positions: List[Tuple[int, int]], duration: Optional[int] = None) -> T: """Taps on an particular place with up to five fingers, holding f
python+appium自动化测试元素定位
kk_lzvvkpj的博客
04-20 666
关于app自动化测试，元素定位工具有三个： appium自带的Appium Inspector工具
python+appium元素定位方式
AI技术改变世界
08-20 5733
6.1 python+appium元素定位方式（登录app） 1.0.0 ：常见的十种元素定位方式 1.driver.find_element_by_id() #id定位 2.driver.find_element_by_name() #name定位（已经凉了，不支持） 3.driver.find_element_by_xpath() #xpath定位 4.find_element_by_class_name #class_name定位 5.driver.find_elem...
python appium定位元素_python appium笔记（二）：元素定位
weixin_39622568的博客
12-17 396
#这里的示例是用android来说明的，xpath应该是通用的，resource-id不太清楚，没配过IOS的环境#环境配置和一些参数的意思不清楚可以看我上一篇python appium笔记(一)(一)说明主要说明下面2种方式，其实感觉通过xpath,不管selenium还是appium，应该能定位全部元素了。1、resource-id：定义了resource-id，并且唯一的情况下，可以使用这种...
【2023最全教程】python+appium自动化测试元素定位（建议收藏）
m0_58026506的博客
03-24 1529
关于app自动化测试，元素定位工具有三个： • appium自带的Appium Inspector工具 • Android ADT原生的工具 • python版uiautomator2中的weditor 由于我常用的是前两个，所以下面只介绍前面两种元素定位工具（以下内容中均以微博为例子）
appium-3种元素定位工具
weixin_40611700的博客
12-27 5861
介绍appium中如何进行元素定位，元素定位辅助工具
自动化测试工具——Appium如何定位元素
weixin_43854299的博客
03-16 2722
Appium的定位元素常见方法
appium入坑必备--APP元素定位+基本工具介绍
m0_54816834的博客
04-01 2450
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
自动化测试之路 —— Appium元素定位
Austin的博客
08-27 5344
我们一般使用Python或Java语言调用相关的Client，那么Appium里就会通过Webdriver协议（Selenium里同样）在应用层进行HTTP方式的数据请求，那么收到请求的手机上的Appium APP的Server就会解析相关的请求并且使用Appium提供的相应自动化测试方法去驱动手机做出相应的操作。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值