Przetwarzanie

Modele językowe

Modele językowe to zaawansowane systemy AI, które mogą rozumieć, interpretować i generować ludzki język. Te modele są trenowane na ogromnych zestawach danych tekstowych i uczą się wzorców, zestawień słów, struktur zdań, a nawet subtelności różnych języków i użycia języka. Rdzeniem wielu nowoczesnych modeli językowych jest architektura transformer, która wykorzystuje mechanizmy samouwagowania (self-attention) do określenia, które części tekstu są istotne w danym kontekście.

Podczas przetwarzania języka te modele używają metod statystycznych do przewidywania, które słowo lub zdanie następujące po sobie będzie najbardziej prawdopodobne. Potrafią rozumieć kontekst długich fragmentów tekstu i dzięki temu generować nie tylko gramatycznie poprawne, ale także treściowo spójne i relewantne teksty.

Podczas użycia modelu językowego na przykład do chatbota lub generatora tekstu, modelowi podaje się określone prompt-y lub dane początkowe, a na podstawie tych danych generuje tekst, który logicznie wynika z podanego kontekstu. Celem tych modeli jest produkcja tekstu tak bardzo przypominającego człowieka, zarówno pod kątem treści, jak i stylu.

Tekst-na-obraz modele

Modele tekst-na-obraz to systemy AI zdolne do generowania wizualnych reprezentacji na podstawie opisów tekstowych, takich jak zdjęcia, ilustracje lub inne typy materiałów wizualnych. Te modele korzystają z zaawansowanych sieci neuronowych, a ściślej z Generative Adversarial Networks (GAN) lub ich wariantów, takich jak modele dyfuzji.

Proces zaczyna się od tekstowego opisów wprowadzonych przez użytkownika. Model ocenia ten tekst i próbuje zrozumieć jego znaczenie i kontekst. Następnie generuje obrazy odpowiadające opisowi, wykorzystując to, czego nauczył się podczas treningu, gdzie był trenowany na ogromnych zestawach danych para tekst-obrazy.

Podczas treningu model uczy się asocjacji między opisami tekstowymi a cechami wizualnymi. Na przykład, jeśli model wielokrotnie widzi związek słów „żółte słońce nad niebieskim morzem” wraz z obrazami ilustrującymi ten scenariusz, nauczy się rozpoznawać te elementy i odtwarzać je w przyszłych kreacjach obrazów.

Wynikiem są często bardzo dokładne i szczegółowe obrazy, które odpowiadają wprowadzanemu opisowi. Te modele stają się coraz doskonalsze i potrafią odwzorować złożone scenariusze z wieloma obiektami i abstrakcyjnymi pojęciami. Są wykorzystywane w szerokim zakresie zastosowań, w tym w twórczości artystycznej, projektowaniu gier, wirtualnej rzeczywistości i nie tylko.

AI-Public udostępnia modele

Ważne jest zrozumienie, że AI-Public udostępnia różne modele AI, które są oferowane przez duże firmy technologiczne za pomocą API. API, czyli Application Programming Interface, to zestaw reguł i definicji umożliwiających programom współpracę. Działa jak „język”, który oprogramowanie rozumie, aby wymieniać informacje i wywoływać funkcje nawzajem. AI-Public sam nie posiada własnych modeli językowych ani tekst-obrazu.

Nie ponosimy odpowiedzialności za wyniki poszczególnych modeli. Jednak zwróciliśmy uwagę na wybór najlepszych i najciekawszych modeli dla firm.

Procedura przetwarzania

Następująca procedura jest stosowana, aby wygenerować odpowiedź:

• Użytkownik tworzy prompty.
• Aplikacja front-end łączy to z aktywną rozmową i dodaje wiadomość czatu o statusie „Inicjalizacja”.
• Na serwerach AI-Public wywoływana jest „funkcja” przez dodanie wiadomości czatu.
• Status wiadomości czatu zostaje ustawiony na „Przetwarzanie”.
• Przy wyborze czatu z dokumentami serwer najpierw wysyła żądanie do bazy wektorów Firestore, aby wybrać teksty z dokumentów.
• Serwer następnie wysyła żądanie przez API do wybranego modelu językowego.
• Jeśli ustawienie „Streamowanie” jest włączone, to zapisujemy wiadomość po każdej 10-tej otrzymanej klatce i po każdej 25-tej po otrzymaniu 100 klatek.
• Gdy całe wykonanie odpowiedzi zostanie odebrane, status zostaje ustawiony na „Zakończono”.
• Aplikacja front-end zostaje odświeżona po każdej aktualizacji bazy danych.
• W przypadku wykrytych błędów status zostaje ustawiony na „Błąd” i wyświetla się komunikat o błędzie.

Nie przesyłamy danych osobowych z każdą prośbą API. Jednak użytkownik może mieć w promptcie lub w załadowanych dokumentach dane osobowe.