За даними Jinshi на 3 березня, недавно група Lenovo оголосила про вперше в галузі самостійне розгортання великої моделі DeepSeek-R1/V3 671B на сервері Lenovo WAT7780 G3, здатному забезпечити плавний досвід для 100 паралельних користувачів з об'ємом пам'яті менше 1TGB (фактично 768GB). За даними Lenovo, система витримала стандартне тестування на 512 токенів, підтримуючи стабільний вихід 10 токенів в секунду для 100 паралельних користувачів і скорочуючи час відповіді першого токену до 30 секунд.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Сервери штучного інтелекту Lenovo вперше реалізували локальне розгортання глибокошукача DeepSeek з повним обсягом в менше 1 ТБ, підтримують 100 одночасних запитів.
За даними Jinshi на 3 березня, недавно група Lenovo оголосила про вперше в галузі самостійне розгортання великої моделі DeepSeek-R1/V3 671B на сервері Lenovo WAT7780 G3, здатному забезпечити плавний досвід для 100 паралельних користувачів з об'ємом пам'яті менше 1TGB (фактично 768GB). За даними Lenovo, система витримала стандартне тестування на 512 токенів, підтримуючи стабільний вихід 10 токенів в секунду для 100 паралельних користувачів і скорочуючи час відповіді першого токену до 30 секунд.