Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego rdzenia jego architektury. U podstaw leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw odbiera informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten obieg powtarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Sercem tego procesu jest model językowy, który odgrywa rolę własnego głosu konsultacyjnego agenta. To on interpretuje polecenia użytkownika, dzieli złożone zadanie na drobniejsze podzadania i sugeruje kolejność ich wykonania. Środowisko modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy wymaga konkretnych danych spoza swojej pamięci treningowej.
Ciekawym składnikiem architektury jest tak zwana pamięć operacyjna, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy procedura rozkłada się na wiele etapów i wymaga przełączania między różnymi źródłami informacji. To dokładnie ta umiejętność wyróżnia agenta od podstawowego skryptu, który odtwarza jedynie z góry zapisaną listę poleceń.
Oddzielną sprawą pozostaje mechanizm ewaluacji własnych działań. Odpowiednio zbudowany agent jest w stanie zidentyfikować, że otrzymany wynik nie zgadza się od oczekiwanego, i cofnąć się do wcześniejszego etapu, by spróbować innej ścieżki. Taka samokorekta zbliża działanie maszyny do ludzkiego zwyczaju weryfikowania własnej pracy przed jej oddaniem.