Post Elasticon - Search & Generative AI

De reis begint met het begrijpen van de fundamentele elementen van zoekprojecten. Traditionele vereisten omvatten facet-zoekopdrachten voor resultaatfiltering en typeahead voor suggesties tijdens het zoekproces. Ongeveer tien jaar geleden introduceerde de mobiele era nieuwe uitdagingen, met name het integreren van geo-locatie in zoekalgoritmen. Elastic, een robuuste oplossing, kwam naar voren om deze uitdagingen aan te pakken en bood daarnaast mogelijkheden zoals synoniembeheer, automatische taalherkenning en diepgaande statistieken over zoekopdrachten.

Zoeken aangedreven door Elasticsearch is alomtegenwoordig geworden. Zelfs in toepassingen die misschien geen zoekfunctie lijken te hebben, werkt Elasticsearch achter de schermen. Populaire bedrijven zoals Netflix, Tinder en Uber vertrouwen op Elasticsearch als hun zoekmachine. De indrukwekkende cijfers spreken voor zich, met 4,28 biljoen downloads en meer dan 6 biljoen dagelijkse zoekopdrachten naar het Elastic Cloud-platform. Elasticsearch is de 'de facto' standaard geworden voor zoekmachines en zet de benchmark in de industrie.

De capaciteiten van AI markeren het begin van een nieuw tijdperk, en Elasticsearch onderscheidt zich als een fundamentele infrastructuur voor succes in AI-toepassingen. Machine learning, inclusief algoritmen voor beeld- en spraakherkenning, bestaat al enige tijd. De opkomst van Generative AI introduceert nieuwe mogelijkheden, zoals het genereren van afbeeldingen, muziek en teksten.

Een nadere blik op de verschillen tussen traditionele "keyword search" en "AI-powered search results and answers" onthult het transformatieve potentieel van AI-gedreven Elasticsearch. We benadrukken de verbeterde resultaten die worden geleverd door AI-gestuurde zoekopdrachten, waardoor duidelijk wordt waarom industrieën deze technologie steeds vaker adopteren.

*Let op dat de bovenstaande resultaten zijn verkregen met out-of-the-box Elasticsearch-functionaliteiten. In de onderstaande voorbeelden worden de out-of-the-box Elasticsearch-functionaliteiten, inclusief de beveiligingsfuncties, gecombineerd met Generative AI om de antwoorden te formuleren.

Het succesverhaal van Elasticsearch en Generative AI bij Cisco, bekend als "topic search," onderstreept de transformatieve impact. Met bijna 90% van de serviceverzoeken die onmiddellijk oplossingen krijgen, verbetert de integratie van Elasticsearch en Gen AI de klantervaring aanzienlijk.

De voordelen van AI-gestuurde zoekopdrachten strekken zich uit tot verschillende domeinen, van telecomaanbieders en energiebedrijven die helpdeskoperaties stroomlijnen tot e-commerce winkels die gepersonaliseerde aanbevelingen bieden op basis van door gebruikers geüploade afbeeldingen. Bijvoorbeeld, in de e-shop van een kledingwinkel kan een bezoeker een foto van een beroemdheid uploaden en vragen welke vergelijkbare kleding de respectieve winkel kan aanbieden. In de context van voorspellend onderhoud kunnen sensorgegevens bijvoorbeeld worden gecombineerd met klantrecensies om te identificeren waar reparaties het eerst nodig zijn.

Overweeg de uitdagingen waarmee u wordt geconfronteerd en hoe Elasticsearch gecombineerd met AI transformatieve oplossingen kan bieden.

Om de meest relevante use cases voor uw organisatie te identificeren, overweeg de data die u tot uw beschikking heeft. In een support- of servicedeskcontext kan het nuttig zijn om handleidingen niet alleen volledig doorzoekbaar te maken, maar ook toegankelijk met AI-gestuurde zoekopdrachten, waardoor directe reacties op vragen mogelijk zijn. Ticketingsystemen bevatten vaak waardevolle data over problemen en oplossingen, wat snellere antwoorden voor gebruikers of klanten vergemakkelijkt. SLA-documenten, die informatie bieden over wie te contacteren voor specifieke problemen, kunnen waardevol zijn in een supportcontext. In een e-commerce setting kan het integreren van data zoals eerdere interacties, aankopen en voorraadniveaus in de zoekcontext waardevolle inzichten bieden.

De beloften van AI gaan gepaard met hun eigen uitdagingen. Het implementeren van AI vereist vaak een complexe tech-stack en het trainen van modellen is een tijdrovend en kostbaar proces. Elastic pakt deze uitdagingen direct aan door oplossingen te bieden die zorgen voor dataveiligheid, privacy en effectieve implementatie van AI-modellen.

Om hallucinations in AI tegen te gaan, wordt het Retrieval Augmentation Generation (RAG) patroon geïntroduceerd, een architectuur ontworpen om te voorkomen dat LLMs (zoals ChatGPT) hallucineren. RAG bereikt dit door extra context toe te voegen aan de data gerelateerd aan het vraag/antwoordpaar.

Voor een zakelijke oplossing impliceert de RAG-architectuur het beperken van generative AI tot uw bedrijfsinhoud afgeleid van gevectoriseerde documenten, afbeeldingen, audio en video (zoals eerder gedemonstreerd met elastic data). Implementatie van RAG vereist een datastore dat zowel data als context bevat, een vectordatabase en een zoekmachine. Dit wekt de indruk dat het een complexe tech-stack kan inhouden.

Elastic vereenvoudigt het proces met ESRE, waardoor de noodzaak voor een ingewikkelde infrastructuur wordt geëlimineerd. In tegenstelling tot andere oplossingen, biedt Elasticsearch kant-en-klare opslag, een vectordatabase en een krachtige zoek- en relevantiemotor. Binnen het GDPR-kader is het belangrijk op te merken dat met de Elastic-mogelijkheden gegevens geanonimiseerd kunnen worden voordat ze naar de GAI/LLM buiten Elastic worden verzonden.

De Elasticsearch Relevance Engine (ESRE™) wordt benadrukt als het resultaat van jaren onderzoek en ontwikkeling door Elastic. Ontwikkelaars krijgen toegang tot een uitgebreide set tools voor het bouwen van AI-gestuurde zoektoepassingen, inclusief zowel traditionele als vector-databasegestuurde zoekopdrachten. De engine beschikt over RRF (reciprocal rank fusion) voor hybride rangschikking, wat het beste van beide werelden biedt.

Een nadere blik op de noodzakelijke ingrediënten voor AI-gestuurde zoekervaringen omvat het begrijpen van vectoren. Deze multidimensionale numerieke representaties van ongestructureerde data (teksten, afbeeldingen, audio en video’s) vormen de ruggengraat van effectieve AI-gestuurde zoekopdrachten.

We introduceren het concept van embeddings en vectoren, waarbij we het out-of-the-box ELSER-model van Elastic benadrukken. ELSER, nu beschikbaar voor Engels en al getraind door Elastic, levert uitstekende resultaten (zie de schermafbeeldingen hierboven). Andere talen volgen binnenkort en het is belangrijk op te merken dat u 3rd party modellen of uw eigen modellen kunt uploaden in Elastic.

Elastic’s open platform aanpak benadrukt zijn aanpassingsvermogen. Of het nu in de cloud, on-premises of in hybride omgevingen is, Elastic gaat verder dan alleen een vectordatabase te zijn en biedt talrijke integraties om verschillende databronnen te ontsluiten en meer.

Elastic heeft niet alleen een vectordatabase die nodig is voor het bouwen van Generative AI-toepassingen. Elastic kan veel meer! Elastic kan bijvoorbeeld worden gebruikt in de cloud, on-premises en zelfs in hybride omgevingen. Het biedt talrijke integraties om gemakkelijk verschillende databronnen te ontsluiten, enzovoort.

We sluiten af door typische zoekarchitecturen met Elastic Bm25 text search opnieuw te bekijken. Het benadrukt de flexibiliteit van Elasticsearch door gebruikers in staat te stellen modellen zowel binnen als buiten Elastic te genereren, met drie verschillende paden die allemaal naadloos werken met de bekende Elasticsearch API.

Voor organisaties die hun AI-reis willen beginnen, schetsen we cruciale stappen.

Stap 1, dataconsolidatie. Door al uw data op één plek samen te brengen, mogelijk met behulp van de vele out-of-the-box Elastic integraties, kunt u data uit verschillende datasystemen en diensten samenvoegen.

Stap 2 is het creëren van een beveiligde datalaag. Door rolgebaseerde toegang en beveiliging op veld- en documentniveau te integreren, hebben alleen de juiste mensen toegang tot de juiste informatie. Elastic omvat ook uitgebreide monitoring- en auditmogelijkheden om te begrijpen hoe mensen het dataplatform gebruiken. Dit stelt u in staat om de prestaties van het platform en mogelijk misbruik te monitoren.

Stap 3 is de overgang van tekstueel zoeken naar semantisch en hybride zoeken.

Stap 4, nu zijn we klaar om generative AI toe te passen op deze domeinspecifieke data. Door deze data te integreren met een groot taalmodel, wordt het mogelijk om op een nieuwe manier met deze data te interageren.

Elasticsearch onderscheidt zich als een pijler van innovatie op het gebied van zoeken en AI. De naadloze integratie met AI-technologieën opent nieuwe grenzen en belooft een toekomst waarin informatieopslag niet alleen efficiënt maar ook intelligent en transformatief is.