Прошу сделать поиск изображения на экране - с параметрами

Обсуждения желаемых нововведений к программе
Ответить
gywen
Пассажир
Сообщения: 3
Зарегистрирован: Вс авг 10, 2008 9:50 pm
Благодарил (а): 0
Поблагодарили: 2 раза

Прошу сделать поиск изображения на экране - с параметрами

Сообщение gywen » Вт янв 28, 2020 10:46 am

Прошу сделать поиск изображения на экране. С параметрами. Чтобы от изображения могли быть отклонения. т.е. каждый пиксель изображения мог быть слегка другим и это отклонение можно было задать. Например кусок изображения содержит пиксель цвета в RBG 233, 150, 122 - допустим отлонение задано как 20. Тогда все пиксели изображения могут менять цвет от RGB 213, 130, 102 до RGB 255, 170, 142. Если есть возможность придумайте так же как задать небольшие искажения в изображении.

Сделать возможность задавать область поиска изображения. X1,Y1 X2,Y2

На выходе получать координаты нахождения изображения, хотя бы верхний левый угол. Найдено/не найдено изображение.

Желательно чтобы находились все изображения на экране и в массиве можно было получить их координаты. и сколько изображений было найдено.

kain151
Ас
Сообщения: 305
Зарегистрирован: Ср июн 24, 2009 4:12 am
Благодарил (а): 8 раз
Поблагодарили: 4 раза

Re: Прошу сделать поиск изображения на экране - с параметрами

Сообщение kain151 » Вт янв 28, 2020 1:12 pm

У разработчика не хватает времени этим заниматься.
Вы можете заказать этот функционал у стороннего программиста и передать автору для включения в основной функционал программы, как это делали многие другие.

Аватара пользователя
Alex
Ас
Сообщения: 2833
Зарегистрирован: Вт апр 05, 2005 3:28 pm
Откуда: Kaliningrad City
Благодарил (а): 2 раза
Поблагодарили: 91 раз
Контактная информация:

Re: Прошу сделать поиск изображения на экране - с параметрами

Сообщение Alex » Пн фев 03, 2020 10:12 am

Прошу сделать поиск изображения на экране.
А вы расскажите пожалуйста для чего хотите использовать эту функцию. Если заказать молоток, то на выходе можно получить кувалду или молоток с ручкой 10 см :). Не зная цели задачи, сложно выполнить ее наилучшим образом.

gywen
Пассажир
Сообщения: 3
Зарегистрирован: Вс авг 10, 2008 9:50 pm
Благодарил (а): 0
Поблагодарили: 2 раза

Re: Прошу сделать поиск изображения на экране - с параметрами

Сообщение gywen » Пт фев 07, 2020 3:35 pm

Это нужно для того чтобы находить на экране нужные кнопки в различных приложениях, картинки, галочки, который меняют свои положения и переводя мышь на них или в определенные координаты относительно них нажимать в нужных местах экрана мышкой, в нужный момент.

Например в приложении появилась кнопка далее при ее работе. xstarter видит это и нажимает на эту кнопку там где она находится.
Я делал нечто подобное через хэш. Т.е. делается снимок области экрана раз в 1 секунду постоянно в цикле. И когда хеш полученной картинки совпадает с хешем нужного мне изображения (который вычислил заранее так же с помощью xstarter) - "появившийся кнопки далее например" тогда выполнить перемещение мыши в эти координаты и нажать на эту кнопку.
Но проблема такая, что хэш большей части нужных мне изображений меняется потому что само изображение каждый раз не совсем одинаково. Для этого нужно задать определенные отклонения, что сейчас не возможно.

Так же для автоматизации действий на некоторых сайтах. Например мне нужно поднимать по таймеру свои предложения/услуги на одном из сайтов. Кнопки там и изображения периодически слегка меняют свои места. Из-за этого по хешу сделать не получается. Приходится постоянно обновлять задачу. подстраиваясь под текущие положения. А если был бы поиск нужных изображений на экране и мест где они находятся. Можно было бы найдя их координаты нажать в нужные места и все... и не переделывать каждый раз задачу, разбираясь почему опять не работает.

Я считаю что это очень нужный инструмент для xstarter. Он упростил бы жизнь.
Автоматизация многих моментов могла бы быть не по таймеру в задачах - нажать туда сюда через заданную паузу, а когда появится конкретное нужное изображение где нибудь на экране.

Например с помощью xstarter у меня автоматизирована прокачка в нужной мне игре. Когда матч игры кончается мне как-то нужно было определять что это событие произошло. Я голову сломал как сделать это с помощью этой программы. Пока случайно не наткнулся что в логах в этот момент игры меняется там какой-то файл. Тогда я сделал мониторинг папки с этими файлами и как только там происходит изменение x starter понимает, что матч кончился и нужно выполнить действия. Действия выполняются по таймеру.
Тем не менее, в каждом конце матча появляется кнопка выход... проще было бы просто ожидать визуального появления этой кнопки и нажимать по появлению на нее и на последующие другие кнопки по их появлению а не по таймеру. Понимая, что матч кончился. Иногда что-то грузится дольше и поэтому все таймеры приходится задавать с сильным запасом.

Функция ожидания окна например при прогрузке нужных приложений в которых нужно выполнить далее автоматичекие действия. Не достаточно удобна. Часто она видит окно которые загрузилось в тот момент когда внутри этого окна прогрузка полностью не прошла. Приходится после "Ожидания нужного окна" каждый раз вставлять паузу с запасом, чтобы наверняка. Было бы удобнее далее ожидать какого либо куска изображения программы появление которого точно ясно давало бы понять программе, что можно выполнять дальнейшие действия.

Можно было бы использовать это дело для определения конкретного места где мы находимся на каком экране внутри программы (если там много смен экранов/вкладок). Чтобы понять точно что мы перешли на нужную вкладку и все клики которые идут по таймеру отправляются в нужные места а не мимо, потому что до этого что-то не прокликалось не сработало. Если был какой-нибудь неожиданный подвис во время этих нажатий.

В общем эта функция, добавленная в Xstarter, сделала бы возможным выполнение всех автоматических задач связанных с визуальным ориентированием.
За это сообщение автора gywen поблагодарил:
adept (Сб апр 04, 2020 10:32 pm)
Рейтинг: 33.33%

gywen
Пассажир
Сообщения: 3
Зарегистрирован: Вс авг 10, 2008 9:50 pm
Благодарил (а): 0
Поблагодарили: 2 раза

Re: Прошу сделать поиск изображения на экране - с параметрами

Сообщение gywen » Пт фев 07, 2020 3:42 pm

Аналог я нашел тут: https://ahk-wiki.ru/imagesearch
в Auto Hot Key (AHK) - но это скриптовый язык автоматизации. Разбираться там не программисту сложно... Чтобы что-то автоматизировать нужно много изучать и сама задача автоматизации пишется текстом очень долго по сравнению с xstarter.

Если можете как-то скопировать оттуда функцию поиска изображений в xtarter. Это было проще, чем придумывать как это сделать с нуля. К сожалению там нет возможности задать небольшие искажения в изображениях, но и то что есть, уже было бы неплохо, если бы это было в xstarter.
За это сообщение автора gywen поблагодарил:
adept (Сб апр 04, 2020 10:32 pm)
Рейтинг: 33.33%

Аватара пользователя
adept
Ас
Сообщения: 177
Зарегистрирован: Ср июн 05, 2013 8:57 pm
Благодарил (а): 16 раз
Поблагодарили: 12 раз
Контактная информация:

Re: Прошу сделать поиск изображения на экране - с параметрами

Сообщение adept » Сб апр 04, 2020 10:37 pm

согласен, что этот функционал очень облегчил бы автоматизацию и расширил её возможности
а вопрос в том, кто будет это реализовывать, остаётся открытым
что касается смещения кнопок без изменения цветов и формы, можно прикрутить к проверке хэша попиксельный пробег по области экрана с помощью циклов, но это, конечно, затратное извращение .)
Помогаю в автоматизации процессов на компьютере с помощью xStarter с 2012 года
Нужна подсказка, готовое решение или обучение? Поделись подробностями, напиши мне!
ВКонтакте: vk.com/s0f0s | Телеграм: s0ff0s

Godiki
Пассажир
Сообщения: 1
Зарегистрирован: Ср янв 13, 2021 5:00 pm
Благодарил (а): 0
Поблагодарили: 0

Re: Прошу сделать поиск изображения на экране - с параметрами

Сообщение Godiki » Ср янв 13, 2021 5:06 pm

Это для веба? Так там кнопки не по пикселям ищутся, а по хукам или объектам css. Для этого другой софт есть. А скрины частоить это ну так себе идея.

kain151
Ас
Сообщения: 305
Зарегистрирован: Ср июн 24, 2009 4:12 am
Благодарил (а): 8 раз
Поблагодарили: 4 раза

Re: Прошу сделать поиск изображения на экране - с параметрами

Сообщение kain151 » Вт янв 03, 2023 8:25 pm

Плагин для получения цвета пикселя и поиска изображений:
viewtopic.php?f=5&t=7642
Последний раз редактировалось kain151 Сб апр 08, 2023 3:38 pm, всего редактировалось 1 раз.

grade22
Пассажир
Сообщения: 3
Зарегистрирован: Пт сен 20, 2019 8:39 am
Благодарил (а): 0
Поблагодарили: 1 раз

Re: Прошу сделать поиск изображения на экране - с параметрами

Сообщение grade22 » Вт авг 01, 2023 4:32 pm

Да, такой функционал - это супер. Есть подобное у этой программы. Находит нужную картинку при нахождении делает определённые действия, кликает, переходит к следующему действию, перемещает мышку и т.д.
Вложения
Скриншот 01.08.23_20.30.46.png
Скриншот 01.08.23_20.30.46.png (95.31 КБ) 1532 просмотра

Ответить