Может ли ChatGPT действительно заменить криптоаудиты?

Все экспериментируют с ChatGPT, даже криптобиржи.

Недавно Coinbase обратилась к искусственному интеллекту, чтобы поэкспериментировать с тем, насколько точно ChatGPT может проводить проверку безопасности токенов - требование для всех криптовалют, перечисленных на бирже.

После проверки 20 различных смарт-контрактов мега-популярный инструмент ИИ выдал те же результаты, что и проверенные  вручную 12 критоактивов.

Однако из восьми промахов пять были случаями, когда ChatGPT неправильно обозначил высокорисковый актив как низкорисковый, что является наихудшим сбоем.

Эксперимент также показал, что ИИ иногда выдавал противоречивые результаты, причем одно и тот же вопрос генерировал разные ответы, особенно при переходе от одной итерации ChatGPT к следующей.

Тем не менее, команда Coinbase с оптимизмом смотрит на то, что — при дальнейшем быстром проектировании — они смогут повысить точность ChatGPT до такой степени, что его можно будет использовать в качестве вторичной проверки качества.

"Мы не удивлены, потому что такие смарт-контракты также могут автоматически проверяться [другими традиционными программными] инструментами", - сказал Decrypt представитель BlockSec, компании, занимающейся инфраструктурой безопасности блокчейна. "Однако он не может работать для сложной бизнес-логики, которая является основными поверхностями атаки и основными лазейками, на которых должны сосредоточиться аудиты смарт-контрактов.

Оптимизм Coinbase по поводу использования инструмента для дополнительных гарантий, тем не менее, был поддержан другими экспертами по безопасности в области крипто-безопасности.

"На данном этапе он [ИИ] не может заменить человека, но это незаменимая помощь, в том числе для  невнимательных аудиторов", - говорится в заметках независимого исследователя безопасности Officer's Notes в Decrypt через Twitter. "Я думаю, что вопросы и ответы [обеспечение качества] и фаззинг определенно не смогут обойтись без инструментов ИИ в будущем".

ChatGPT заменяет инженеров

Хотя и предварительный, сектор безопасности блокчейна, похоже, принимает возможное внедрение инструментов ИИ.

Но может ли ИИ заменить ручных аудиторов безопасности в будущем?

"Возможно, однажды мы дойдем до этого момента, но до этого еще далеко. Более вероятным является дополнительный подход. Есть некоторые вещи, которые люди делают лучше, чем машины, и наоборот ", - сказала Decrypt  глава отдела  Certik Конни Лам. "Инструменты помогают нам создавать новые вещи, но они не заменяют нас. Изобретение калькулятора не сделало бухгалтеров устаревшими, оно сделало их лучше в своей работе ".

Однако на данный момент инструменты безопасности, не связанные с ИИ, по-прежнему гораздо полезнее, чем все, что просто выходит на рынок для обнаружения уязвимостей.

"Текущие инструменты аудита безопасности по-прежнему превосходят OpenAI", - сказал Decrypt представитель OpenZeppelin. "Они [Coinbase] тестируют его для листинга токенов ERC-20, что является хорошо известной моделью. Это делает его более подходящим для автоматизации ".

Однако это может измениться.

Быстрые успехи, наблюдаемые даже между ChatGPT 3.5 и ChatGPT 4, ощутимы, что говорит о том, что дальнейшие обновления будут продолжать впечатлять.

И по мере того, как они это делают, интеграция этих инструментов должна даже “поощряться”.

"Использование ChatGPT следует поощрять на этапе разработки. Это мощный инструмент, и отказ от работы с ним и изучения того, что он может сделать, был бы неудачей ", - сказал Лам. "ChatGPT также является очень мощным инструментом для поиска информации и создания центра знаний. Это может помочь пользователям быстро разобраться в сложных темах и быть в курсе последней информации о безопасности ”.