Advantech wprowadza oprogramowanie GenAI Studio w ramach rozwiązania Edge AI SDK
AdvantechAdvantech ogłasza premierę oprogramowania GenAI Studio do rozwiązania Edge AI SDK, które stanowi odpowiedź na rosnące zapotrzebowanie na efektywne kosztowo, lokalne rozwiązania dla dużych modeli językowych (LLM).
Celem tej inicjatywy jest ułatwienie wdrożenia modeli LLM przez programistów oraz małe i średnie przedsiębiorstwa (MŚP) dzięki zmniejszeniu ich zależności od procesorów graficznych, co w efekcie obniża koszty i umożliwia szersze wykorzystanie generatywnych technologii sztucznej inteligencji.
Rozwój sztucznej inteligencji
Wchodzące w skład oferty rozwiązań Edge AI SDK firmy Advantech oprogramowanie GenAI Studio stanowi odpowiedź na bolączki trapiące różne branże, pozwalając m.in. skrócić czas oczekiwania operatorów w zakładach produkcyjnych na dostęp do istotnych danych lub zmniejszyć obciążenie pracowników ochrony zdrowia związane z obsługą dokumentacji. Bezkodowa i opłacalna platforma usprawnia stosowanie modeli LLM, umożliwiając szybkie i efektywne wdrażanie rozwiązań AI, co przyczynia się do wzrostu produktywności i efektywności działania.
Opracowane oprogramowanie GenAI Studio wykorzystuje wszechstronną platformę oferującą wyjątkowe funkcje integracji lokalnych i opartych na chmurze modeli LLM, m.in. OpenAI, Gemini, Anthropic i Ollama. Oferuje również możliwość pełnego dostrajania parametrów, zoptymalizowaną pod kątem środowisk z ograniczonymi zasobami GPU, co pozytywnie wpływa na jego dostępność i wydajność.
GenAI Studio to kompleksowy zestaw narzędzi
- Zintegrowane usługi dostrajania i wnioskowania: Oprogramowanie GenAI Studio łączy funkcje dostrajania i wnioskowania, aby zapewnić maksymalne wykorzystanie możliwości sprzętowe oraz bardziej elastyczne i wydajne przydzielanie zasobów.
- Zaawansowane zarządzanie zasobami GPU i harmonogramowanie zadań: Te funkcje umożliwiają użytkownikom optymalizację działania sprzętowych rozwiązań AI, poprawiając opłacalność wyposażenia o wysokiej wartości.
Szybki rozwój sztucznej inteligencji skutkuje wzrostem zapotrzebowania na dostępne rozwiązania LLM, wiele przedsiębiorstw doświadcza jednak trudności wynikających z ograniczonych zasobów. Odpowiedzią na to jest rozwiązanie Edge AI SDK firmy Advantech, które stanowi zestaw narzędzi umożliwiających efektywną ocenę, rozwój i wdrażanie aplikacji AI na urządzeniach brzegowych.
Oprogramowanie GenAI Studio i serwer brzegowy Edge AI
Dopełnieniem oprogramowania GenAI Studio jest serwer brzegowy AI Edge AIR-520 firmy Advantech, będący solidną platformą sprzętową wyposażoną w procesory GPU NVIDIA RTX i dyski SSD Phison AI. Połączenie tych dwóch rozwiązań oferuje niezawodne, wydajne możliwości obliczeniowe zaprojektowane pod kątem zastosowań AI w branżach takich jak produkcja, ochrona zdrowia i handel detaliczny.
MOŻE ZAINTERESUJE CIĘ TAKŻE
Edge AI SDK to w pełni zintegrowana platforma zaprojektowana z myślą o bezproblemowym rozwoju brzegowych rozwiązań AI. Dzięki wstępnie skonfigurowanym komponentom sprzętowym i optymalnie dostrojonemu oprogramowaniu umożliwia łatwe wdrożenie wymagające jedynie podłączenia w połączeniu z przystępną kosztowo personalizacją LLM, bezproblemową kompatybilnością z narzędziami i łatwym zarządzaniem wdrożeniami na dużą skalę na brzegu sieci. Zaprojektowane z myślą o niezawodności, skalowalności i przyjazności dla użytkownika rozwiązanie Edge AI SDK firmy Advantech upraszcza drogę do innowacji AI.
Rozwiązanie składa się obecnie z trzech zasadniczych komponentów:
- Oprogramowanie GenAI Studio: umożliwia opłacalne tworzenie, ocenianie i integrowanie niestandardowych dużych modeli językowych (LLM) przy użyciu lokalnych rozwiązań sprzętowych.
- Zestaw funkcji wnioskowania: umożliwia szybką optymalizację i ocenę wydajnych środowisk AI kompatybilnych z wbudowanymi systemami operacyjnymi.
- Platforma synchronizacji: zapewnia efektywne zarządzanie aktualizacjami modeli i aplikacji AI w szeroko zakrojonych wdrożeniach brzegowych, integrując działania MLOps w celu usprawnienia procesów.
Pakiet Edge AI SDK w połączeniu z dodatkowym modułem GenAI Studio firmy Advantech zwiększa możliwości firm w zakresie rozwijania i wdrażania narzędzi AI w bardziej efektywny i opłacalny sposób.
Źródło: Advantech
