Auf Button drücken wenn bestimmtes Bild erscheint

[gene]

Hallo,

ich nutze altes Tablet (Lenovo Tab4 10 Plus; gerootet) zur Steuerung meines Rollentrainers und Laufbandes. Dazu nutze ich Zwift. Ich habe das ganze soweit automatisiert, dass direkt nach dem Start des Tablets die Software ausgeführt wird. Das geht aber scheinbar nur mit MacroDroid, nicht mit Tasker. Ich muss dann bei Zwift kurz auf Anmeldungen klicken, User und Passwort merkt er sich. Zwift läuft aber behäbig, daher will ich jetzt noch einen "Klick" auf den Anmeldebutton simulieren wenn das Fenster erscheint. Das Drücken kann ich mit Tasker simulieren, ich suche eine Möglichkeit zu erkennen, wann das Fenster erscheint. Wie geht das?

Unter Linux am Notebook habe ich sowas mal mit einer Brachial-Lösung gemacht: in einem Shellscript läuft eine Endloschleife, die alle x Sekunden einen Screenshot macht, das mit ImageMagick mit einem vorher gemachten Screenshot vergleicht und wenn die Abweichung unter einem bestimmten Wert liegt wird ein Klick simuliert. Könnte man das über Tasker machen?

 

[swa00]

Das Drücken kann ich mit Tasker simulieren, ich suche eine Möglichkeit zu erkennen, wann das Fenster erscheint.

Ich kann dir nur aus (App) Entwicklersicht dazu helfen :

Ist dir bekannt, welche Art von View dort erstellt wird und welche Klasse/Layout das auslöst ?
Ist es überhaupt eine native App und keine kontinuierlich gregenderte (z.b. React) , oder gar Webview basierend ?

Ansonsten sehe ich eher eine geringe Chance in den UI Thread der App einzugreifen.
Auch nicht mit einer periodischen Loop.

 

[gene]

Hab es jetzt genauso gelöst wie am PC. Ein Screenshot wird erstellt per imagemagick in termux mit einem früheren Screenshot verglichen und solange eine schleife ausgeführt bis der wert unter einem bestimmten Vergleichswert liegt. Dann in klick simuliert.

Ziemliches gefummel geht aber.

 

[chika]

Wenn du eh schon Macrodroid nutzt, da gibt es doch ein paar Trigger die das können sollten. Spontan fällt mir da *Bildschirminhalt* ein

 

[gene]

Inzwischen starte ich zwift auch über tasker. Mir war der trigger in tasker nicht bekannt einen task zu starten wenn der monitor erstmals an ist.

Für macrodroid hab ich das hier gelesen:

That this trigger may not work for all apps/screen content as often text will be non-readable (for example if rendered within a game).

Aus der sicht von macrodroid ist dich jeder screen ein Bild. Macht der ein OCR?