رونمایی انویدیا از TensorTR-LLM با هدف افزایش سرعت مدل های زبان برای ویندوز
انویدیا می گوید TensorRT-LLM هم برای توسعه دهندگان و هم برای کاربران عادی مفید خواهد بود.
به گزارش اخبار تایمز؛ Nvidia بر بازار سخت‌افزار مولد هوش مصنوعی حکومت می‌کند و سخت‌افزار آن در مراکز داده شرکت‌هایی مانند مایکروسافت و OpenAI برای چت‌ربات‌هایی مانند BingChat و ChatGPT استفاده می‌شود. اکنون انویدیا از نرم افزار جدیدی به نام TensorRT-LLM رونمایی کرده است که عملکرد مدل های زبانی در مقیاس بزرگ (LLM) را بهبود می بخشد.
انویدیا در پستی از این ابزار منبع باز جدید رونمایی کرده است. البته باید اشاره کنیم که پیش از این TensorTR-LLM برای مراکز داده منتشر شده بود و هم اکنون در اختیار کاربران ویندوز قرار گرفته است. این ابزار سرعت اجرای مدل های زبان بزرگ را در کامپیوترهای ویندوزی مجهز به گرافیک GeForce RTX تا ۴ برابر افزایش می دهد.
ابزار TensorRT-LLM برای کاربران و توسعه‌دهندگان مفید خواهد بود
در پستی که این ابزار را معرفی کرد، انویدیا گفت که TensorRT-LLM هم برای توسعه دهندگان و هم برای کاربران عادی مفید خواهد بود:
در مقیاس بزرگ، این شتاب‌دهنده می‌تواند تجربه استفاده از مدل‌های پیچیده زبان را به میزان قابل توجهی بهبود بخشد؛ مدل‌هایی مانند دستیارهای پیامک و کدنویسی که نتایج را به طور همزمان کامل می‌کنند. نتیجه این رویکرد عملکرد سریع‌تر و کیفیت بهتر است که به کاربران امکان می‌دهد بهترین را انتخاب کنند.
انویدیا ویدیویی منتشر کرده است که نشان می دهد TensorRT-LLM چگونه کار می کند. در این مثال، مدل استاندارد LLaMa 2 پاسخ دقیقی نمی دهد، اما وقتی با TensorRT-LLM جفت می شود، نه تنها پاسخ دقیق تری می دهد، بلکه پاسخ سریع تری نیز می دهد.