Traduction automatique – pas encore relue par un locuteur natif.
Computer Control
Disponible dans la version 0.1.5 (bêta). Contrôle complet de l'ordinateur : ouvrir et utiliser des programmes avec une approbation par programme, une voie clavier pour les programmes sans champs, des messages jamais envoyés sans votre approbation, la carte Observe→Assist, Trusted Workspace, l'arrêt d'urgence Ctrl+Alt+End et Computer Control Doctor. Désactivé par défaut. Le clic basé sur la vision n'est pas encore inclus.
Chapitres
- 00:00 Disponible dans la version 0.1.5
- 00:30 Désactivé par défaut – à vous de choisir
- 01:00 Ouvrir et utiliser des programmes
- 01:50 Les messages ne sont jamais envoyés sans vous
- 02:30 Arrêt d'urgence et reprise du contrôle
- 03:10 Computer Control Doctor
- 03:40 Ce qu'il ne fera pas
Script / transcription
Le contrôle complet de l'ordinateur est disponible dans la version 0.1.5 (bêta). La vidéo est en cours d'enregistrement — d'ici là, voici le script.
Le contrôle de l'ordinateur est désactivé par défaut. Au premier démarrage de l'application, vous choisissez comment vous souhaitez utiliser Paralake.AI, et vous pouvez modifier ce choix à tout moment sous Settings, Privacy & Permissions. Observe se contente de lire les programmes que vous approuvez. Assist peut aussi cliquer et saisir du texte — chaque action après votre approbation.
Demandez à l'IA d'ouvrir Discord : elle ouvre le programme installé et ne répond qu'une fois la fenêtre visible. Vous approuvez chaque programme. Les programmes qui n'exposent pas leurs champs à Windows, comme Discord, sont alors contrôlés au clavier.
Les messages ne sont jamais envoyés sans que vous ayez approuvé ce message précis. Les clics et la saisie dans les navigateurs et les e-mails sont approuvés à chaque fois.
Appuyez sur Ctrl+Alt+End pour arrêter immédiatement l'IA — même lorsque l'application n'a pas le focus et sans Internet. Si vous bougez la souris ou tapez vous-même, l'IA se met en pause. Un petit marqueur au niveau du pointeur de la souris indique quand l'IA a le contrôle.
Si quelque chose ne fonctionne pas, lancez Computer Control Doctor sous Computer control.
Elle ne saisira ni mots de passe ni numéros de carte, et le clic avec compréhension d'image n'est pas encore inclus.
Prérequis
- Paralake.AI version 0.1.5 pour tout ce qui figure sur cette page. Disponible dans la version 0.1.5 (bêta).
- Windows. Le contrôle de l'ordinateur fonctionne avec les programmes de l'ordinateur sur lequel Paralake.AI est installé.
-
Disponible dans la version 0.1.5 (bêta)
Statut : disponible dans la version 0.1.5 (bêta). Le contrôle complet de l'ordinateur fait partie de la version 0.1.5, que vous pouvez télécharger aujourd'hui (bêta). Les versions antérieures (0.1.1 et 0.1.2) ne disposent que d'un contrôle de l'ordinateur de base via Windows UI Automation, désactivé par défaut. Cette page décrit le fonctionnement du contrôle complet de l'ordinateur dans la 0.1.5 afin que vous sachiez à quoi vous attendre — elle est en bêta, les détails peuvent donc encore changer.
-
Désactivé par défaut – vous choisissez
- Le contrôle de l'ordinateur est désactivé par défaut, dans toutes les versions. Le chat, le code, les projets et les serveurs fonctionnent sans lui.
- Au premier démarrage de l'application, vous choisissez comment vous souhaitez utiliser Paralake.AI : discuter, travailler sur un projet, connecter un serveur ou activer le contrôle de l'ordinateur. Le contrôle de l'ordinateur est entièrement facultatif.
- Si vous l'activez, vous choisissez un niveau :
- Observe – lit ce qui est visible dans les programmes que vous approuvez. Aucun clic ni frappe au clavier.
- Assist – peut aussi cliquer et saisir du texte. Chaque action dans un programme est approuvée par vous.
- Vous pouvez modifier ce choix à tout moment dans Settings → Privacy & Permissions. Vous pouvez également y désactiver les commandes de terminal ou les modifications de fichiers pour l'agent, et arrêter toutes les tâches de l'IA.
-
Ouvrir et utiliser des programmes – approbation par programme
- Demandez par exemple : « Ouvre Discord ». L'IA ouvre le programme installé et ne répond qu'une fois la fenêtre réellement visible. Si le programme est déjà ouvert, sa fenêtre est mise au premier plan.
- L'IA lit les programmes, clique et saisit du texte — avec votre approbation par programme. Le démarrage d'un programme peut être réglé sur Allow always pour ce programme ; la lecture et le contrôle d'un programme sont approuvés pour 24 heures au maximum à la fois.
- Les clics et la saisie dans les navigateurs et les programmes de messagerie sont approuvés à chaque fois et ne sont jamais enregistrés en Allow always.
- Certains programmes ne peuvent jamais être approuvés : gestionnaires de mots de passe, paramètres de sécurité et outils système.
- Le contrôle de l'interface graphique se met en pause lorsque Windows est verrouillé ou que la session à distance est déconnectée.
-
Programmes sans champs : la voie clavier
Le contrôle de l'ordinateur lit les noms des boutons, des champs et des menus que Windows signale pour un programme (Windows UI Automation). Les programmes Windows classiques exposent désormais correctement leurs champs.
Certains programmes — par exemple Discord et d'autres applications Electron, ainsi que de nombreux jeux — n'exposent pas leurs champs à Windows. Ceux-ci sont alors contrôlés à l'aide de raccourcis clavier (par exemple le sélecteur rapide de Discord).
Bientôt disponible : le clic avec compréhension d'image dans les programmes qui n'exposent pas leurs champs. Il n'est pas inclus dans la 0.1.5.
-
Les messages ne sont jamais envoyés sans vous
- Un message n'est jamais envoyé dans un programme de chat ou de messagerie sans que vous ayez approuvé ce message précis. La carte d'approbation affiche le texte et la fenêtre, et elle ne peut jamais être enregistrée en Allow always.
- N'approuvez que si le texte et le destinataire sont corrects.
- Paralake.AI ne se connecte pas à votre compte de messagerie. La lecture ou la réponse aux e-mails depuis votre propre compte n'est pas disponible en tant que fonctionnalité ; tout au plus, vous pouvez laisser l'IA travailler dans votre programme de messagerie avec une approbation pour chaque clic et chaque envoi.
-
Observe → Assist
Si le contrôle de l'ordinateur est réglé sur Observe et qu'une tâche nécessite un clic ou une saisie, l'IA vous demande si vous souhaitez passer en Assist au lieu d'abandonner. Le changement se fait toujours par votre clic sur une carte — il ne peut jamais être enregistré. Même en Assist, chaque action reste approuvée par vous. Vous pouvez revenir en arrière sous Settings → Computer control.
-
Trusted Workspace
Dans la 0.1.5, vous pouvez démarrer une session Trusted Workspace pour votre projet — fichiers, commandes, souris et clavier, serveur de développement FiveM — et éviter une demande par action. L'envoi, la suppression, la publication, les achats et les actions dangereuses font toujours l'objet d'une demande malgré tout. La session est visible, limitée dans le temps et peut être arrêtée à tout moment. Voir Trusted Workspace.
Dans une session Trusted Workspace, l'IA peut travailler dans les programmes que vous avez choisis sans demander à chaque fois. Les clics et la saisie dans les navigateurs et les e-mails restent approuvés à chaque fois, l'envoi de messages est toujours confirmé, et les champs de mot de passe et les vérifications CAPTCHA ne sont jamais touchés.
-
Arrêter à tout moment
- Arrêt d'urgence : Ctrl+Alt+End arrête immédiatement l'IA — même lorsque l'application n'a pas le focus et sans Internet.
- Si vous bougez la souris ou tapez vous-même, l'IA se met en pause. Vous avez repris la main.
- Un petit marqueur au niveau du pointeur de la souris indique quand l'IA contrôle l'ordinateur.
- L'application dispose des boutons Pause, Stop et Resume. Stop all AI jobs dans Privacy & Permissions a le même effet que Ctrl+Alt+End.
- Ce que fait l'agent est consigné dans le Security log.
Ctrl+Alt+End -
Computer Control Doctor
Computer Control Doctor (sous Computer control) vérifie que tout ce qui est nécessaire au contrôle de l'ordinateur fonctionne : le service de l'agent, l'application de bureau, le niveau de contrôle de l'ordinateur, la pause/l'arrêt d'urgence, les registres d'outils et de programmes, la session Windows, UI Automation, Trusted Workspace, le modèle d'IA et la vision. Chaque ligne vous indique quoi faire s'il manque quelque chose. Un avertissement pour la vision est normal, puisque le clic avec compréhension d'image n'est pas encore inclus.
-
Ce qu'il ne fera pas
- Il ne saisira pas de mots de passe, de numéros de carte ni d'autres secrets.
- Il n'effectuera pas de paiements ni d'achats pour vous.
- Il ne contrôlera pas les gestionnaires de mots de passe, les paramètres de sécurité ni les outils système.
- Il ne travaillera pas dans des programmes que vous n'avez pas approuvés, et il n'enverra rien que vous n'ayez approuvé.
Il s'agit d'un contrôle des autorisations dans Paralake.AI, et non d'un bac à sable au niveau du système d'exploitation. Les programmes s'exécutent avec vos propres autorisations Windows ; n'approuvez donc que des programmes que vous comprenez.
-
Ce que vous pouvez faire dès aujourd'hui
- Laisser l'agent travailler dans votre dossier de projet, avec des points de restauration et l'annulation.
- Utiliser le navigateur propre à l'agent (bêta) pour tester des pages web — voir The agent's own browser (Le navigateur propre à l'agent).
- Suivre paralake.ai/changelog pour savoir quand la version 0.1.5 sera publiée.
Sécurité
- Le contrôle de l'ordinateur est désactivé par défaut. Ne l'activez que si vous en avez besoin, et choisissez Observe si la lecture suffit.
- N'approuvez que les programmes dont vous avez besoin. Vérifiez le texte et le destinataire sur chaque carte d'envoi.
- Ne collez jamais de mots de passe ou de numéros de carte dans le chat. Le contrôle de l'ordinateur ne les saisira pas.
- Ne laissez pas l'ordinateur sans surveillance pendant que l'IA contrôle un programme. Ctrl+Alt+End l'arrête immédiatement.
Dépannage
Je ne trouve pas le contrôle complet de l'ordinateur dans l'application
Causes probables: Il est disponible dans la version 0.1.5 (bêta). Les versions antérieures ne disposent que d'un contrôle de l'ordinateur de base, désactivé par défaut.
- Pour l'instant, utilisez l'agent dans votre dossier de projet et le navigateur propre à l'agent.
- Suivez paralake.ai/changelog. Lorsque la 0.1.5 sera publiée, ce guide l'indiquera.
Contactez le support si: Quelqu'un vous propose un module « computer control » en dehors de paralake.ai — signalez-le à help@paralake.ai. Support
(0.1.5) L'IA indique que le contrôle de l'ordinateur est désactivé
Causes probables: Le contrôle de l'ordinateur est désactivé par défaut, et rien n'a été activé.
- Activez-le dans Settings → Privacy & Permissions et choisissez Observe ou Assist.
- Lancez Computer Control Doctor sous Computer control si cela ne fonctionne toujours pas.
Contactez le support si: Computer Control Doctor affiche une erreur que vous ne parvenez pas à corriger avec l'action indiquée sur cette ligne. Support
(0.1.5) L'IA ne parvient pas à cliquer sur un champ dans un programme
Causes probables: Le programme n'expose pas ses champs à Windows (fréquent avec Discord, d'autres applications Electron et les jeux). · Le contrôle de l'ordinateur est réglé sur Observe.
- Laissez l'IA utiliser la voie clavier qu'elle propose.
- Approuvez le passage en Assist si vous voulez qu'elle clique et saisisse du texte.
- Le clic avec compréhension d'image arrivera plus tard et n'est pas inclus dans la 0.1.5.
FAQ
Peut-il voir tout mon écran ?
Il ne fonctionne qu'avec les programmes que vous approuvez. Il lit leurs boutons et leurs champs via Windows et peut prendre une capture d'écran d'un programme approuvé. Le clic basé sur la compréhension d'image n'est pas encore inclus.
Puis-je le laisser fonctionner sans qu'il demande ?
Dans la 0.1.5, vous pouvez démarrer une session Trusted Workspace limitée dans le temps pour les actions ordinaires. L'envoi, la suppression, la publication, les achats et les actions dangereuses font toujours l'objet d'une demande malgré tout.
Peut-il répondre à mes e-mails ?
Il n'y a aucune connexion à votre compte de messagerie. Il peut seulement travailler dans votre programme de messagerie avec votre approbation pour chaque clic, et rien n'est envoyé sans que vous ayez approuvé ce message.
Quand sera-t-il disponible ?
Il est disponible dans la version 0.1.5 (bêta). Suivez paralake.ai/changelog.