AWS представляет архитектуру агентного ИИ для демократизации аналитики данных через естественный язык

AWS представила инновационную архитектуру, призванную революционизировать аналитику данных, предоставляя бизнес-пользователям возможности самообслуживания с помощью агентного ИИ. Новая архитектура объединяет набор надежных сервисов AWS для создания бесшовного аналитического конвейера. В современной экономике, насыщенной данными, предприятия различных секторов, таких как розничная торговля, финансовые услуги, здравоохранение и производство, сталкиваются с огромной проблемой преобразования обширных озер данных в действенную информацию. Последствия этой новой архитектуры далеко идущие, фундаментально меняющие ландшафт корпоративной аналитики данных.

Традиционные методы анализа данных, требующие глубоких технических знаний в области SQL, моделирования данных и инструментов бизнес-аналитики, часто создают узкие места, которые замедляют принятие решений. Эти сложности мешают нетехническим специалистам извлекать ценные выводы из обширных хранилищ, содержащих петабайты как структурированных, так и неструктурированных данных. Представленная архитектура эффективно устраняет эти барьеры, превращая аналитику данных в возможность самообслуживания. Она позволяет бизнес-пользователям запрашивать сложные наборы структурированных данных и смешивать их с неструктурированными, используя интуитивно понятные интерфейсы естественного языка, что значительно улучшает результаты деятельности предприятий.

В основе новой архитектуры лежит комплексный набор сервисов AWS, работающих в тандеме для создания надежной и масштабируемой среды. Amazon S3 используется в качестве хранилища, а Amazon SageMaker и AWS Glue обеспечивают функциональность озер данных и озёр — хранилищ. Для выполнения бессерверных SQL-запросов к данным, хранящимся в различных форматах, таких как S3 Table, Iceberg и Parquet, применяется Amazon Athena. Центральное место в решении занимает Amazon Quick, который предоставляет функции для создания панелей мониторинга, а также разговорных ИИ-агентов, обеспечивающих доступ к аналитике данных через естественный язык.

Для демонстрации возможностей этой архитектуры было построено озеро — хранилище на основе наборов данных TPC-H. Процесс начинается с загрузки структурированных данных TPC-H, размещенных в публичном бакете S3, где Amazon Athena выполняет первый слой запросов. Athena извлекает, подготавливает данные для обработки, загружает их в S3 и создает соответствующий каталог в AWS Glue. Для демонстрации универсальности озера данных, информация сохраняется в трех оптимизированных форматах: CSV в Amazon S3 с использованием внешних таблиц, Apache Iceberg в формате Parquet для поддержки ACID-транзакций, путешествий во времени и эволюции схемы, а также Amazon S3 Table, являющийся первым облачным объектным хранилищем со встроенной поддержкой Apache Iceberg.

После подготовки данных, структурированные данные TPC-H поступают в Amazon Quick, который интегрируется с QuickSight для создания наборов данных SPICE (Super — fast, Parallel, In-memory Calculation Engine), тем для бизнес-контекста и интерактивных панелей мониторинга с возможностью запросов на естественном языке. Параллельно с этим, веб-краулер индексирует неструктурированные данные, такие как документация и спецификации TPC-H, и передает их в базы знаний. Эти базы знаний, в свою очередь, активируют пространства Amazon Quick — совместные среды, которые наделяют чат-агентов Amazon Quick контекстной осведомленностью и предметными знаниями для взаимодействия на естественном языке.

Таким образом, новая архитектура AWS представляет собой значительный шаг к упрощению доступа к данным и их анализу в масштабах всей организации. Она позволяет предприятиям преодолеть традиционные барьеры, связанные с технической сложностью, и ускорить принятие решений за счет предоставления интуитивно понятных инструментов на основе естественного языка. Это решение особенно актуально для компаний, стремящихся максимально эффективно использовать свои обширные хранилища данных в таких секторах, как розничная торговля, финансовые услуги, здравоохранение, туризм и гостеприимство, а также производство, где скорость и точность аналитики играют ключевую роль.