Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
+1 за "контекстную инженерию" по сравнению с "быстрой инженерией".
Люди ассоциируют подсказки с краткими описаниями задач, которые вы бы дали LLM при повседневном использовании. В каждом промышленном приложении LLM контекстная инженерия — это тонкое искусство и наука наполнения контекстного окна именно той информацией, которая нужна для следующего шага. Наука, потому что правильное выполнение этого процесса включает в себя описания и объяснения задач, несколько примеров, RAG, связанные (возможно, мультимодальные) данные, инструменты, состояние и историю, сжатие... Слишком мало или неправильная форма, и у LLM нет подходящего контекста для оптимальной производительности. Слишком много или слишком неуместно, и затраты на LLM могут возрасти, а производительность может снизиться. Сделать это хорошо очень нетривиально. А искусство из-за направляющей интуиции вокруг LLM, психологии людей, духов.
Помимо самой контекстной инженерии, LLM-приложение должно:
- Разбивайте проблемы на потоки управления
- Правильно упаковывайте контекстные окна
- Адресные звонки на LLM нужного типа и возможностей
- обрабатывать потоки UIUX для генерации-верификации
- многое другое - ограждения, безопасность, эвалы, параллелизм, предварительная выборка, ...
Таким образом, контекстная инженерия — это всего лишь одна маленькая часть формирующегося толстого слоя нетривиального программного обеспечения, которое координирует отдельные LLM-звонки (и многое другое) в полноценные LLM-приложения. Термин «оболочка ChatGPT» надоел и очень, очень неправильный.
Топ
Рейтинг
Избранное