Исследователь Гонконгского университета науки и технологий Борис Крюк предложил способ проверять нейросети, которые оценивают опасность землетрясений и цунами. Такая проверка поможет городским властям и спасательным службам понять, когда на подсказки компьютера можно опираться, а когда лучше этого не делать. Работа опубликована в международном научном журнале MDPI Sustainability.
Искусственный интеллект всё активнее используют для защиты от стихийных бедствий. Программы анализируют огромные массивы данных о прошлых толчках и пытаются оценить, чего ждать дальше. Международные договорённости по снижению риска бедствий требуют, чтобы местные власти получали понятную и доступную информацию об угрозах. Но у сотрудника городского штаба по чрезвычайным ситуациям обычно нет времени разбираться в устройстве нейросети. Ему важно другое: можно ли положиться на подсказку программы и сможет ли он потом объяснить жителям и проверяющим, почему принял именно такое решение.
Обычно разработчики рассказывают прежде всего о том, насколько точна их модель. Борис Крюк считает, что этого недостаточно. Хорошая точность в среднем ещё не говорит, подходит ли модель для конкретной задачи, например для решения о выезде инспекторов или об эвакуации жителей побережья. Поэтому исследователь предлагает задавать каждой такой модели несколько простых, но принципиальных вопросов.
Первый вопрос касается того, действительно ли модель опирается на науку. Многие современные нейросети называют «обученными с учётом физики». В них закладывают известные законы сейсмологии: как часто случаются слабые и сильные толчки, как постепенно затихают повторные толчки после главного удара, насколько сильнейший из них обычно уступает основному. Считается, что такие законы делают прогнозы надёжнее. Однако исследование показало, что закон может присутствовать в модели лишь формально. Если он встроен неудачно, нейросеть его просто не замечает и учится так, будто его нет. Снаружи модель выглядит научно обоснованной, а внутри работает как обычная программа. Это похоже на прибор, который стоит на столе, но не включён в розетку. Крюк предлагает несложную проверку, которая показывает, влияет ли каждый заложенный закон на обучение на самом деле.
Второй вопрос связан с тем, что модель узнаёт о природе. В процессе обучения нейросеть сама подбирает некоторые характеристики, которые описывают поведение земной коры. Принято считать, что если они совпадают с известными учёным значениями, модель работает правильно. Но исследование показало, что одна и та же модель при разной подготовке исходных данных выдаёт заметно разные результаты, и все они выглядят правдоподобно. Разница из-за способа подготовки данных оказалась во много раз больше, чем разница между повторными запусками. Есть и ещё одна ловушка. Если разработчик заранее ограничил допустимые пределы, совпадение с учебником ничего не доказывает: модель просто не может выйти за эти рамки. Это как экзамен, на котором правильный ответ подсказан заранее.
Третий вопрос, пожалуй, самый важный для практиков: для каких решений модель полезна. Любое решение в чрезвычайной ситуации — это поиск баланса между ценой мер предосторожности и возможным ущербом. Оставить ли инспекционные бригады в районе ещё на сутки? Продлить ли оцепление вокруг повреждённого здания? Отозвать ли запрос о помощи из соседних регионов? В одних случаях ошибка обходится дорого, в других почти ничего не стоит. Крюк предлагает оценивать пользу модели отдельно для каждого типа решений, а не одной общей оценкой.
Свой метод исследователь применил к модели, созданной при его участии. Её обучали на мировом каталоге сильных землетрясений Геологической службы США за последние полтора десятилетия. Проверку провели так, как это происходит в жизни: модель училась на более ранних событиях, а оценивалась на более поздних, которых раньше не видела.
Результат получился честным и неоднозначным. Часть модели, которая определяет, относится ли новый толчок к уже идущей серии, оказалась полезной для решений с материальными последствиями: о работе инспекторов, оцеплении зданий и привлечении помощи. А часть, связанная с цунами, не превзошла простую статистику прошлых лет. Значит, для решений об эвакуации, от которых зависят жизни людей, использовать модель в нынешнем виде нельзя. В статье это сказано прямо, без попыток приукрасить результат.
Ещё одна неожиданная находка касается сравнения с простыми методами. Сложную нейросеть сравнили с давно известными алгоритмами, которые обучались на тех же данных. Нейросеть оказалась лишь немного лучше. При этом простые алгоритмы обучаются за секунды на обычном компьютере. Для небольшого города с ограниченным бюджетом это серьёзный аргумент: платить за сложную технологию ради едва заметного выигрыша нет смысла.
Отдельного внимания заслуживает открытость работы. Свою модель исследователь проверил по собственной системе и опубликовал список расхождений между черновиками статьи и реально работающей программой. Некоторые из этих расхождений меняли выводы. Для каждого утверждения в статье указано, доказано ли оно строго, измерено ли в ограниченных условиях или пока остаётся предположением.
На основе исследования предложены практические рекомендации. При закупке подобных программ власти могут требовать от разработчиков ответов на понятные вопросы. Проверяли ли, что заложенные законы действительно работают? Как задавались характеристики модели и насколько они меняются при разной подготовке данных? Для каких решений модель полезна, а для каких нет? Насколько она лучше простых методов и сколько стоит её работа?
Местным службам рекомендуется заранее, вместе с теми, кто может понести потери, определить цену ошибки для каждого решения. Затем нужно сверить её с тем, где модель действительно полезна, записать, при каком уровне риска срабатывает сигнал, и договориться, когда систему следует перепроверить.
Главный вывод работы касается не только землетрясений. Прежде чем доверять искусственному интеллекту решения, от которых зависят безопасность и деньги людей, нужно понять, где он действительно помогает, а где только кажется умным.
