Sterowanie interfejsem graficznym (Computer Use)
Computer Use pozwala ChatGPT widzieć graficzny interfejs i wykonywać w nim działania na macOS lub Windows. Przydaje się, gdy samo polecenie w terminalu lub integracja strukturalna nie wystarczają — na przykład do sprawdzenia aplikacji, użycia przeglądarki albo zmiany ustawień. Zawęź zadanie do konkretnego zakresu i sprawdź prośby o uprawnienia, bo działania mogą wpływać na stan aplikacji i systemu poza obszarem projektu.
Aby rozpocząć, w aplikacji ChatGPT przełącz się na Work albo wybierz Codex, a następnie otwórz Plugins > Computer Use i zainstaluj wtyczkę, jeśli pojawi się taka opcja. Włącz serwer i umiejętność Computer Use, po czym wybierz Try now. W prośbie możesz użyć @Computer; opisz dokładną aplikację, okno lub przebieg, który ma obsłużyć.
Przed zadaniem przejrzyj dostęp aplikacji w Settings > Computer use; aplikacje zatwierdzone na przyszłość znajdziesz w sekcji Always-allowed apps. ChatGPT prosi o zgodę przed użyciem aplikacji, a opcja Always allow pozwala korzystać z niej w przyszłości bez ponownego pytania. Na macOS wymagane są uprawnienia Screen Recording, by widzieć aplikację, oraz Accessibility, by klikać, pisać i nawigować. Na Windows aplikacja docelowa musi pozostać widoczna na aktywnym pulpicie, a Computer Use przejmuje pierwszy plan podczas pracy.
Wybierz Computer Use, gdy zadanie zależy od GUI, którego nie da się łatwo zweryfikować samymi plikami lub wynikiem polecenia. Sprawdza się przy testowaniu aplikacji desktopowej, odtwarzaniu błędu widocznego tylko w interfejsie, zmianie ustawień przez klikanie oraz pracy obejmującej więcej niż jedną aplikację. Jeśli aplikacja udostępnia dedykowaną wtyczkę lub serwer MCP, do dostępu do danych i powtarzalnych operacji wybierz tę integrację zamiast sterowania wizualnego. Computer Use nie automatyzuje aplikacji terminalowych ani samego ChatGPT, a w przeglądarce może wykonywać działania na stronach, na których jesteś już zalogowany.
@Computer, aby odtworzyć błąd występujący wyłącznie w interfejsie graficznym.Use @Computer to reproduce a bug that only appears in a graphical interface.
@Computer, aby zmienić ustawienia aplikacji wymagające przechodzenia przez interfejs.Use @Computer to change app settings that require clicking through a UI.
Zastosowanie w praktyce
Użyj @Computer, gdy odtwarzasz problem widoczny tylko w graficznym interfejsie; wskaż konkretną aplikację lub przebieg. Do lokalnej aplikacji webowej najpierw wybierz wbudowaną przeglądarkę; Computer Use dobierz wtedy, gdy potrzebna jest wizualna inspekcja lub obsługa aplikacji. Możesz zlecić przepływ rozciągający się na kilka aplikacji, ale ogranicz zadanie do jasnego celu i jednej aplikacji lub przebiegu naraz. Jeśli zadanie obejmuje konto, bezpieczeństwo, prywatność, sieć, płatność lub dane uwierzytelniające, pozostań przy komputerze i zatwierdzaj kolejne kroki.