Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego rdzenia jego architektury. U podstaw leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw odbiera informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten obieg odtwarza się wielokrotnie, aż do osiągnięcia zamierzonego efektu.
Sercem tego procesu jest model językowy, który pełni rolę wewnętrznego głosu doradczego agenta. To on odczytuje instrukcje użytkownika, rozbija złożone zadanie na drobniejsze podzadania i proponuje kolejność ich realizacji. Środowisko modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy potrzebuje precyzyjnych danych spoza swojej pamięci treningowej.
Interesującym składnikiem architektury jest tak zwana pamięć robocza, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie gubi nici nawet wtedy, gdy proces rozciąga się na wiele etapów i wymaga przełączania między różnymi źródłami informacji. To właśnie ta zdolność wyróżnia agenta od podstawowego skryptu, który wykonuje jedynie z góry zapisaną listę poleceń.
Oddzielną kwestią pozostaje mechanizm ewaluacji własnych działań. Odpowiednio skonstruowany agent jest w stanie zidentyfikować, że otrzymany wynik nie zgadza się od zamierzonego, i cofnąć się do wcześniejszego etapu, by podjąć próbę alternatywnej ścieżki. Taka samokorekta zbliża działanie maszyny do ludzkiego zwyczaju sprawdzania własnej pracy przed jej złożeniem.