Пару слов про тот самый ChatGPT

Разработка

Пару слов про тот самый ChatGPT👻… Он либо не так хорош, как я думал. Либо я не умею его готовить. Я вскормил ему две песни Eminem — The Without Me (первый скрин) и Real Slim Shady (второй), в которых объективно не может быть все хорошо (идеальный артист для тестирования моего приложения, кстати говоря). Задал ему пару запросов по содержанию текста. И прогнал по одним и тем же данным 30 раз.
И вот мои выводы:

Во-первых, он тупой. На “Without Me” gpt-3.5-turbo только в 3% (!) случаев сообщил о не нормативной лексике. Это на 97% меньше ожидаемого. На трек “Slim Shady” они оба отреагировали на все 💯, но причины они находили порой странные. Триггерами могут быть 'hard liquors', 'vodka' или даже 'shocked', что очень забавно, но совсем не информативно. Модель gpt-4 в целом справлялась гораздо лучше, но время ответа в ~18 секунд совсем не вдохновляет. В контексте потокового анализа текстов песен интеграция с Чатом этой версии теряет всякий смысл.

Во-вторых, он непостоянный. На скриншотах в больших таблицах можно увидеть проценты. В левом столбце затертые слова, которые ГПТ показались нехорошими. Не все из них плохие, но я не стал особо фильтровать. Оставил парочку для информативности. Процент означает, сколько раз из всех попыток ЧатГПТ выдал мне то или иное слово. И тут полный разнобой. Модель gpt-3.5 даже выдала одно слово дважды (103%). То есть он в целом находит около двух десятков слов, но только некоторые из них выдает стабильно, изредка подмешивая другие.

Результаты по Without Me
Результаты по Real Slim Shady

В общем, я совсем не впечатлён. И в моем случае не вижу смысла тратить время и деньги на это добро. Может быть когда-нибудь я смогу найти путь к его нейронам, чтобы получать ожидаемый ответ. Но увы…

Скрипты, которые я накидал для тестов, лежат тут: gist.github.com. Там есть запрос, который отправляется OpenAI, и вопросы, которые задаются по тексту. Возможно среди читающих есть Гуру, был бы рад и благодарен получить совет 😌

ChatGPT, PetProject, Rustify
Подписаться