컨스텔레이션 네트워크와 커먼크롤 재단의 협력이 17년 간의 인터넷 크롤링 데이터를 안전하게 검증하고 접근할 수 있는 혁신적인 방법을 제시했습니다. 이번 출시는 업계 최초의 암호학적으로 안전하고 변경 불가능한 인터넷 데이터 아카이브를 구축하는 것을 목표로 하고 있습니다. 이를 위해 컨스텔레이션 기반의 불변 블록체인 네트워크가 사용되며, 이로 인해 AI 훈련 및 개발을 위해 크롤링된 데이터의 신뢰성과 투명성을 보장하게 됩니다.
이 블록체인 네트워크는 지금까지 수집된 9페타바이트 이상의 데이터를 기반으로 하며, 이 데이터는 현재 80% 이상의 대형 언어 모델(LLM)이 AI 훈련에 활용하는 핵심 자료입니다. 특히, 이 새로운 메타그래프라는 애플리케이션 전용 네트워크는 인공지능 개발에서의 중요한 문제들을 해결하고 윤리적 데이터 소싱 및 데이터 출처 추적, 개인 정보 보호와 같은 새로운 블록체인 기술의 활용 가능성을 탐색하게 됩니다.
한편, 외부의 접근을 안전하게 보호하기 위해 본 네트워크는 컨스텔레이션의 DAG 유틸리티 자산을 사용하여 보호된 온라인 크롤링 데이터를 안전하게 유지합니다. 이번 블록체인 기술의 도입은 암호화폐를 기업에서 데이터를 공증하는 기제로 전환하는 중요한 발전을 나타내며, 전통적인 운영 비용 모델로의 변화를 보여줍니다.
당사의 CTO인 알렉스 브랜데스는 “이번 통합은 AI 개발의 미래를 보호하는 데 있어 중요한 진전을 의미합니다. 훈련 데이터의 암호학적 무결성과 변경 불가능성을 보장함으로써 데이터셋의 신뢰성과 출처를 확립하는 가장 시급한 문제를 해결하고자 합니다”라고 설명했습니다. 이러한 변화는 책임 있는 AI 개발을 위한 새로운 기준을 수립하는 데 기여할 것으로 기대됩니다.
이 블록체인 기반의 데이터 아카이브는 진보된 AI 연구 그룹의 관심을 끌고 있으며, 트레이스AI와 같은 프로젝트가 데이터의 불변성, 감사 가능성 및 증거를 활용하여 AI 모델을 개발 중입니다. 이와 같은 움직임은 데이터 출처 감시, 고급 워터마킹 기술 개발 등 다양한 가능성을 열어주고 있습니다.
커먼크롤의 리치 스크렌타 전무이사는 “데이터 출처에 대해 우려하는 크롤 사용자들에게 컨스텔레이션의 블록체인은 우아한 해결책이 될 것입니다. 우리는 데이터의 안전한 검증을 통해 사용자에게 보다 신뢰할 수 있는 정보를 제공할 것입니다”라고 밝혔습니다.
이와 같이 변화하는 환경 속에서 컨스텔레이션 네트워크와 커먼크롤 재단은 향후 인공지능 개발자들을 위한 솔루션을 확대하고 크롤 데이터에 대한 암호학적 검증 접근 방식을 통합할 예정입니다. 이는 AI의 책임 있는 발전을 위한 중요한 진전을 이룰 것으로 기대됩니다.