Надоело мне каждому плагину делать интеграцию к разным нейросетям и N8N тому же. Дошло, что можно сделать один плагин, который будет иметь доступы ко всем нужным нейронкам, установить на один сайт и просто отправлять запросы со всех остальных на него через REST API.
Это оказалось самым лучшим решением за последние пол года, которое сэкономит просто кучу времени.
Посидели повайбкодили и готово
OpenAI — в режиме чата, режиме ассистента и добавил вариант со «стримом», пока не знаю для чего, но может когдато пригодится. В будущем добавлю ещё вместо assistent новую их request api помоему называется.
DeepSeek — просто режим чата, там особо и выбора нет, дёшево, но скорость ответа кошмарная и скидки после 19:30 до 03:30 по времени МСК, в другое время нет в нем смысла, по цене выходит не особо и выгодно.
Perplexity — люблю эту штуку, просто потому что ищет инфу в инете, а не прост из базы ЛЛМки инфу берет. Например может ответить по ресторанам в вашем городе, по их меню, по графику работы или по отзывам. Я по разному использую, сейчас например мне надо для списка из 1900 грузовых автомобилей достать их максимальную грузоподъемность (если вы используете нейронки только для текста, то расширьте сознание, с рутиной они справляются отлично)). Дипсик вообще херню несет, джипити половины не знает, а перплексити красавчик, достает инфу из поиска, как посмотрел чаще всего с сайтов производителя. Да у джипити тоже есть функция поиска в инете, но в 2 раза дороже, если не использовать high у Perplexity. Размер контекста так же настраивается да, low, medium и high.
Mistral — у них есть бесплатный лимит у апи. Для всяких простых задач подойдет. У меня он берет описание товара Вукоммерса сейчас и пишет посты в телегу по нему. Так как товаров много, то по 3-7 в день, лимитов мистрала хватает.
LM Studio — как же без локальных приключений. Это для всякой ерунды совсем, если у вас есть видеокарта и задача которая вообще «не горит». Фейл в том, что оно режет количество токенов в ответе через API и я не смог это изменить, наверно както можно. Поэтому…
Ollama — тоже самое, только ничего не режет. Я сделал сайт, аля Ответы mail, на минималках, загрузил туда миллионы ключевых слов с вопросами, и оно мне пишет на них ответы, уже тысяч 10 тысяч написал. Вполне кстати не дурно пишет. Никак тему не допилю чтоб запустить, а бесплатные чтото мне не нравятся, потом покажу, как время появится на «доделать».
Кастомная — если приспичит подключить чтото эдакое.
Надо добавить ещё грок, gemini (но не пользуюсь ими и оплачивать api чтоб плагин допилить не хочу) и всякие рисовалки для картинок, но я не придумал куда мне эти картинки девать, а ещё их надо модерировать и стоят дороговасто для всяких «оптовых» генераций. Вобщем этим не пользуюсь, вот и нет.
Так это выглядит. Страница настроек:
Тут особо ничего пояснять не надо, задержки, ожидания, прокси глобальная, но можно и у каждого подключения указать свою.
Логи. Без логов никуда, иначе непонятно что там получает нейронка на вход, что отдаёт на выходе, какие ошибки.
Просто кра-со-та. Я подключил другой плагин, он слал через апи ей запросы, получал ответы, а эта прелесть как хитрый прокурор, всё записывает)) Жмёшь подробнее, смотришь что получало на вход, что отдавала на выход. Раньше я это всё в каждом плагине выводил в debug.log и люто бесило что приходилось этот файлик загружать, очищать, кучу этих эррор логов в коде… сейчас просто любой плагин подключаешь, в нем вообще ничего в логи не пишешь, открыл менюшку, посмотрел чё там происходит, исправил…кайф.
Токены. Для внешних подключений. Чтоб никакой разбийник не подключился и не начал тратить вам балансы на аккаунтах нейронок. Безопасность должна быть безопасной)) Тут всё просто, создал, отключил, включил, удалил. Спалил гдето — пересоздал…
И самое важное. Документация.
Она там огромная с кучей примеров как что подключить, как этим всем пользоваться…и я в ней почти нихрена не понимаю, так как я не программист, а мамкин вайбкодер =)
По этой причине я сделал сверху кнопку «Скопировать всю документацию» и при разработке нового плагина скидываю её в ChatGPT или Codex и говорю «сделай так чтоб плагин работал через эту систему» и скидываю скопированную документацию. Он отлично понимает как там что работает, в отличии от меня)) Вот и весь плагин. Простому обывателю наверное он не интересен, а вот всякого рода разработчикам типа меня, очень даже полезная штука.
