Техностартап зменшив вагу нейромереж у 15 разів Великі ШІ-моделі можуть працювати не лише у дата-центрах. Стартап PrismML створив Bonsai 27B, який запускається безпосередньо на смартфоні, а Apple вже тестує нову технологію.
Про це інформує РБК-Україна з посиланням на CNBC.
Технологія стиснення: як зменшити ШІ у 15 разів
В основі розробки лежить
відкрита нейромережа Qwen3.6 27B від китайської компанії Alibaba. В оригінальному стані вона важить близько 54 ГБ, що унеможливлює її запуск на споживчих гаджетах.
Інженери PrismML застосували метод радикального спрощення математичних значень. Замість стандартного 16-бітного кодування кожна вага всередині нейромережі тепер записується за допомогою всього 1-2 бітів.
Патенти на метод належать Caltech і ліцензовані виключно для стартапу, який у березні залучив 16,25 мільйона доларів інвестицій.
У результаті
компанія випустила дві безкоштовні версії моделі під ліцензією Apache 2.0:
- Мобільна версія (3,9 ГБ): оптимізована для смартфонів, сумісна з iPhone 15 та новішими моделями через фреймворк Apple MLX.
- Версія для ноутбуків (5,9 ГБ): адаптована для MacBook та комп'ютерів із відеокартами NVIDIA через архітектуру CUDA.
За даними розробників, таке стиснення дозволяє моделі використовувати у 10-15 разів менше оперативної пам'яті. При цьому
швидкість генерації відповідей зростає у 6–8 разів, а споживання енергії знижується у 3-6 разів.
Читайте більше: Це вміє лише iOS 27: 5 ШІ-функцій, яких поки немає в Android 17
Що це змінить для Apple та асистента Siri?
Apple веде переговори з PrismML на тлі запуску публічної бета-версії iOS 27, де компанія презентувала масштабне оновлення Siri.
Локальний запуск стиснутих моделей безпосередньо на процесорах iPhone дає Apple
кілька стратегічних переваг:
Мінімальна затримка: смартфону більше не потрібно чекати на відповідь від хмари - обробка запитів відбувається миттєво.
Максимальна приватність: конфіденційні дані, такі як медична інформація, списки ліків чи фітнес-показники, взагалі не залишають пристрій.
Автономність: базові функції ШІ, інструменти обчислювальної фотографії, генерації відео та редагування тексту можуть працювати без підключення до інтернету.
Зниження витрат: зменшується фінансове навантаження на утримання власних дата-центрів Apple та оплату сторонніх хмарних ліцензій.
Технічні обмеження та реакція ринку заліза
Попри оптимістичні заяви PrismML, незалежні аналітики з Counterpoint Research та IDC закликають оцінювати технологію обережно, оскільки реальних тестів за межами лабораторії ще не проводили.
Екстремальне стиснення має свої компроміси: модель втрачає кілька відсотків загальної ефективності.
Зокрема,
у Bonsai 27B помітно погіршилися згадування точних фактів, розпізнавання зображень та робота зі сторонніми інструментами, хоча логіка, математика та написання коду залишилися на високому рівні.
Також відкритим залишається питання енергоспоживання під час тривалого використання, оскільки безперервна робота нейромережі у фоновому режимі здатна швидко розрядити акумулятор телефона, а процесор починає скидати частоти через перегрів вже після п'яти хвилин безперервної роботи.
Ще більше цікавого:
- macOS 27 стане останньою: які Mac більше не отримають оновлень
- Більшість власників Apple Watch про це не знають: 9 функцій, які варто увімкнути
