Как пользоваться ChatGPT эффективно

Разница между 70,6 и 60 % из прошлого раздела — это разница между двумя группами с моделью. Обе работали с одной и той же GPT‑4. Вторая перед опытом получила обзор приёмов составления запросов: учебные видео и документы о том, как пользоваться моделью эффективно.

Внутри границы возможностей обзор помог. На восемнадцати задачах о новом продукте — от «предложите не меньше десяти идей обуви» до пресс-релиза — средняя оценка качества у группы с обзором была 5,86 против 5,68 у группы просто с моделью и 4,38 у контрольной. Разница между двумя группами с моделью держится на границе обычного порога значимости в 5 %. Работала группа с обзором при этом медленнее соседей: на 22,5 % быстрее контрольной против 27,6 %.

За границей тот же обзор навредил. Верных решений у группы с обзором было 60 % против 70,6 % у группы без него. Работала она быстрее всех — на 30 % меньше времени, чем контрольная, против 18 % — и писала убедительнее всех. Разница в верности между двумя группами с моделью значима только на уровне 10 %, а не обычных 5 %.

Этот раздел касается нас напрямую. Письмо, которое вы читаете, — тоже обзор приёмов работы с моделью. Единственный замер такого обзора, который мы нашли, говорит: внутри границы он добавил качества, за границей — скорости и гладкости, а верных решений стало меньше.

Чего мы не знаем, так это того, что именно было в обзоре: в статье о нём одна фраза. Почему он ускорил работу за границей и замедлил внутри, данные не объясняют. Авторы называют происходящее чрезмерной опорой на модель, и дальше этой формулировки опыт не пускает.