Andrej Karpathy popiera wprowadzenie nowego terminu związanego z "inżynierią kontekstową" w tworzeniu oprogramowania AI przy użyciu LLM. A ten termin od dawna wydaje się bardzo potrzebny. Za każdym razem, gdy tłumaczę ludziom, w jaki sposób rozwijamy naszego Nethermind AuditAgent, jednym z kluczowych aspektów, poza wykorzystaniem wiedzy domenowej (bezpieczeństwo web3) i wykorzystaniem najlepszych dostępnych modeli AI (od OpenAI, Anthropic i Google) oraz narzędzi dla LLM, jest właśnie "inżynieria kontekstu". Czasami mówi się, że "kontekst jest królem" i rzeczywiście jest to prawda. LLM, niezależnie od tego, czy są to ogromne zaawansowane, czy zoptymalizowane małe LLM, są potężnym narzędziem, ale jak każde narzędzie, jeśli znajdzie się w niewłaściwych rękach, uzyskasz znacznie mniej obiecujące wyniki, niż mógłbyś, gdybyś pracował z nimi poprawnie. A zarządzanie kontekstem (lub inżynieria) jest rzeczywiście złożonym i niezbyt dobrze opisanym obszarem, który stale ewoluuje, a tak naprawdę pojawił się jako rozszerzenie koncepcji inżynierii szybkiej, która ma już pewne negatywne konotacje. Ogólnie rzecz biorąc, Andrej wymienił główne aspekty związane z inżynierią kontekstu (na drugim zrzucie ekranu), ale w każdym konkretnym zadaniu ludzie osiągają doskonałe wyniki w dużej mierze metodą prób i błędów, za każdym razem monotonnie próbując wybrać odpowiednie elementy kontekstu, które są naprawdę potrzebne na tym etapie rozwiązywania problemów, zbierając benchmarki dla każdego etapu, patrząc na metryki, dzieląc zbiory danych na testy, walidacja i tak dalej, i tak dalej. Co sądzisz o aplikacji "context engineering"?