Комментарии 21
Как мы научили AI-агента пользоваться IDE: дебаг, рефакторинг и run-конфигурации.
jegornet:
Нейросеть за час справляется с тем, на что у команды синьоров уходят годы – превратить новый проект в неподдерживаемое легаси-говно.
Пока что-то вот наоборот - в проектах, поддерживаемых самыми топовыми профессионалами, ИИ обнаруживает огромные дыры. Но люди ещё веруют в свои сверхспособности, как Каспаров верил, что шахматы машинам недоступны.
Ну и как, доступны?
«Если игральные кубики подбросить 100500 раз, то один раз таки выпадет шесть шестёрок» ©
Ну как находят. Знают что такая-то библиотека однозначно дырявая, вот и ищут её вхождение во все проекты. Отсюда гигантские цифры.
Вы бы вот это почитали, а то совсем не в тему:
https://habr.com/ru/news/1020854/
https://habr.com/ru/companies/kodik/articles/1020826/
Это разные вещи: дать ии писать крупный проект и что бы он не превращался в легаси Г., и сканиравровать проект на уязвимости при помощи ии или другого инструмента, или для анализа и рефакторинга.
Шахматы доступны т.к. есть конечные вариант всех комбинаций ходов. Где то читал, что с игрой Го не все так просто для машин)
Вот именно поэтому тут и добавили рефакторинг и дебаг инструменты: ИИ всё равно будет трогать ваш код, а так сломает меньше, чем могла бы
Все мои попытки заставить ИИ найти и решить проблему в один запрос приводят к эффекту обезъяньей лапки. То есть решает, но таким способом, что нахрен такое счастье. Например, если какой-то кусок кода не работает, ИИ может просто написать новый, чтобы не чинить. А старый обычно оставит.
Как всегда, в несколько шагов, с подтверждением от пользователя, всё работает отлично.
Это модели сонет и опус 4.6? Как раз пишу довольно сложную логику но такого давно не видел.
Проблема проблеме рознь. Например , если вы пишите сложную логику в одной функции, то ии хорошо справляется, но если у вас сложный и большой проект, то полагаясь в целом на ии вы получите лапшу из малопонятного кода и не рабочего.
В общем нужен контекст ваших задач, что бы были понятны ваши беды и печали)
Делюсь лайфхаком. Если кодовую базу проекта запихать в векторную базу, а потом использовать как mcp - сервер то 88% токенов сэкономите.
Получал только полностью противоположные результаты с таким подходом: даже умные агенты превращались в генераторы мусора =)
Ждём от вас статью с объяснением, как это сделать, чтобы оно гарантировано работало!
Мне ИИ сделал такой проект, и написал статью, но habr.ru, статьи написанные ИИ не готов публиковать - их ответ.
Идея в том, чтобы отправлять платной модели не весь код, а подходящие небольшие куски кода и описания, на этом собственно и экономия.
1. Актуальность
1.1. Векторная база проекта создается, пересоздается и/или обновляется локально - экономия на эммбеддинге.
1.2.При обновлении модуля проекта переписываются/дополняются, необходимые описания архитектура проекта или описания только модуля проекта.
2. MCP-сервер должен выдавать актуальные куски кода (в количестве 5-10 штук), а не всю кодовую базу, с предыдущими нерабочими версиями.
3. Всякие рутинные операции, типа поиска и замены вхождений, отправки в репозиторий, создания каталогов и шаблонов файлов, запуска, актуализация RAG проекта для mcp-сервера - должна уметь выполнять локальная модель (самообучающаяся) - у неё своя база инструкций, в том числе, как пользоваться инструментами IDE.
таких проектов уже миллион, весь реддит ими забит, раз в неделю появляется кто-то с кодовой раг системой которая ну вот точно решит все проблемы) только толку от таких проектов пока что немного, проще перед задачей сказать LLM изучи как работает вот эта фича, запиши все в md файл, а в новом чате уже задавать задачу и подсунуть сгенеренный md файл с описанием фичи.
Круто!
Странно, что JetBrains не вынесла этот функционал в MCP сервер, и круто что вы его все равно реализовали
Отличная работа! А вы эвалили результаты и, если да, то на каких бенчмарках? Любопытно, действительно ли эти тулы улучшают/ускоряют/удешевляют работу агента. И если получилось увидеть эффект, то какой в цифрах?
У нас есть собственный бенчмарк, в котором обкатываем изменения в возможностях нашего агента, а также сравниваемся с claude code, opencode и т.д. Наличие инструментов в "среднем по больнице" значительно повышает эффективность (30%+), но сравнение не до конца честное, так как результат критически зависит от задачи, возможностей конкретного фреймворка и общего сетапа: mcp-тулов, AGENTS.md, скиллов и т.д. и т.п.
Как мы научили AI-агента пользоваться IDE: дебаг, рефакторинг и run-конфигурации. Что нового в Veai 5.8