Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U fundamentu leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw rejestruje informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten cykl odtwarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę własnego głosu konsultacyjnego agenta. To on interpretuje instrukcje użytkownika, rozbija złożone zadanie na mniejsze podzadania i proponuje kolejność ich realizacji. Otoczenie modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy potrzebuje konkretnych danych spoza swojej wiedzy treningowej.
Interesującym składnikiem architektury jest tak zwana pamięć operacyjna, w której agent trzyma kontekst bieżącego zadania. Dzięki niej nie traci nici nawet wtedy, gdy procedura rozkłada się na wiele etapów i potrzebuje przeskakiwania między różnymi źródłami informacji. To dokładnie ta zdolność wyróżnia agenta od podstawowego skryptu, który odtwarza jedynie wcześniej zapisaną listę poleceń.
Oddzielną kwestią pozostaje mechanizm oceny własnych działań. Dobrze skonstruowany agent potrafi rozpoznać, że otrzymany wynik nie zgadza się od zamierzonego, i cofnąć się do wcześniejszego etapu, by spróbować alternatywnej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego zwyczaju sprawdzania własnej pracy przed jej oddaniem.