Во время хакатона напряжение нарастает с первой же секундой обратного отсчета... Студенты знакомятся с различными задачами и технологиями, учатся понимать сильные стороны своих товарищей по команде и проводят мозговой штурм для своего проекта. Для команды Rocko, в которую вошли Мохаммад Стейтие (Mohammad Steitieh), Амр Альтавил (Amr Altaweel), Саид Элакад (Said Elakad) и Бадер Эль-Асади (Bader El-Asadi), лучшие идеи иногда приходят из самых неожиданных мест.

Вдохновение пришло после того, как Амр посмотрел видео о трагедии в пещере Натти-Патти. На следующее утро он озвучил эту идею, команда загорелась ею, и примерно через 32 часа они создали рабочий аварийный маяк, который занял первое место в аппаратном треке QNX на хакатоне cuHacking 7, опередив 20 конкурирующих проектов.

«В соответствии с философией QNX, мы хотели, чтобы наш проект предлагал реальное решение критически важной задачи. Амр предложил концепцию безопасности спелеологов, у нас под рукой были квантовые магнитометры благодаря моей работе в лаборатории Entrust Securities Lab Карлтонского университета, магнитные поля проникают сквозь породу, и мы поняли, что должны это сделать», — рассказывает Мохаммад Стейтие.

Пещеры — крайне суровая среда для связи. Радиочастотные сигналы сильно затухают в скальных породах и грунте, поэтому у застрявшего или пострадавшего исследователя глубоко под землей часто нет надежного способа позвать на помощь.

оригинал

Ключевое отличие? Отправлять диагноз, а не данные. Классифицируя чрезвычайную ситуацию прямо на устройстве и кодируя ее всего в два байта, они минимизируют объем передаваемых данных, которым предстоит пройти через один из самых суровых каналов связи, которые только можно представить в аварийных ситуациях.

Команда запустила две полностью локальные архитектуры ИИ на Raspberry Pi 5 под управлением QNX:

Преобразование речи в текст с помощью OpenAI Whisper для фиксации голосового сообщения о чрезвычайной ситуации.
Классификация травм с использованием локально обученной сверточной нейронной сети MobileNetV2 с кастомным слоем softmax. Она принимает изображение раны размером 224×224 и определяет класс травмы; модель экспортирована в TFLite для эффективной работы на Raspberry Pi.

Для физического уровня они вручную намотали 20 метров медного провода сечением 18 AWG на цилиндр от компакт-диска, чтобы сформировать магнитный передатчик. 12-битное сообщение использует манчестерское кодирование на частоте 8 Гц для обеспечения различимости битов, а тильда служит разделителем, отмечающим начало каждого кадра. На поверхности квантовый TMR-магнитометр с полосовым фильтром 7–9 Гц и согласованной фильтрацией выделяют сигнал из шума. Встроенный искусственный интеллект и квантовые датчики работают вместе, управляемые ОС QNX для обеспечения надежности.

«Я помню, как мы до поздна сидели с Саидом, экспериментируя с Raspberry Pi под управлением QNX. В нашем мире тяжелые агентные рабочие процессы — это все. Было необычно поработать с чем-то изначально легковесным. Архитектура QNX — ее главная особенность; она создана для сценариев, где отказ недопустим. Для нас это была новая задача с измеримым результатом, мы инженеры, и мы это любим», — говорит Бадер Эль-Асади.

Именно поэтому так важен практический доступ к платформам промышленного уровня. Благодаря инициативе QNX Everywhere студенты могут бесплатно создавать прототипы на базе той же фундаментальной ОС реального времени (RTOS), которая используется в автомобильной, медицинской и других критически важных отраслях, на таком доступном оборудовании, как Raspberry Pi.

Rocko — это доказательство того, что при наличии правильного вдохновения и правильных инструментов студенты могут создавать технологии, которые действительно спасают жизни. Поздравляем команду Rocko с успешным завершением выходных, и нам не терпится увидеть, что они сделают дальше.