생성 인공지능을 위한 새로운 블록체인?

ChatGPT와 후속 GPT-4의 출시 이후, Web3 커뮤니티는 생성 AI와 Web3의 잠재적인 교차점에 대해 추측해 왔습니다. 대화형 지갑이나 언어 탐색과 같은 많은 분명한 사용 사례가 있지만, 탐구할 가치가 있는 더 정교한 논문들이 있습니다.

구글태그.cmd.push(function() {구글태그.display(‘js-dfp-tag-DYS’); };

Jesus Rodriguez는 Into The Block의 CEO입니다.

생성 AI가 자체 블록체인을 가질 자격이 있다면 어떻게 될까요?

오픈 소스 모멘텀 대 중앙 집중식 제어를 위한 블록체인의 실행 가능성을 분석하기 위해서는 기반 모델, 특히 GPT-4와 같은 API 기반 기술에 대한 오픈 소스 대안의 출현과 관련된 현재 상황을 이해하는 것이 중요합니다, 그리고 이러한 기초 모델의 중앙 집중식 제어를 둘러싼 우려가 증가하고 있습니다.

몇 달 전까지만 해도 API 기반 모델과 오픈 소스 기반 모델 간의 격차가 컸습니다. OpenAI의 GPT-4, 언어 공간의 안트레틱의 클로드, DALL-E, 컴퓨터 비전 공간의 미드 저니와 같은 모델은 오픈 소스 대안에 비해 상당히 발전된 것처럼 보였습니다. 그러나 작년 말 API 기반 텍스트 이미지 모델에 대한 실행 가능한 대안을 제공한 Stable Diffusion의 놀라운 오픈 소스 릴리스와 함께 변화가 발생하기 시작했습니다. 그럼에도 불구하고, 대형 언어 모델(LLM)은 계속해서 생성 AI의 초점이 되었고, 그 영역에서 오픈 소스 모델은 품질 측면에서 API 기반 대안에 비해 미미했습니다.

올해 초 메타 AI 리서치는 GPT-3의 성능과 일치하면서도 상당히 작은 LLM인 LLaMA를 소개하는 논문을 발표했습니다. 처음에 이 모델은 오픈 소스로 제작되지 않았지만 예기치 않은 문제가 발생했습니다. 이 모델은 출간 일주일 만에 4chan에서 유출됐고 수천 명의 사람들이 빠르게 다운로드했습니다. LLaMA “사고”는 재단 LLM을 누구나 이용할 수 있게 만들었고 오픈 소스 혁신의 예상치 못한 추진력을 촉발시켰습니다.

유출 직후, 재미있는 동물 이름을 가진 새로운 오픈 소스 기반 모델이 곳곳에서 나타나기 시작했습니다. 스탠포드 대학은 알파카를 출시했고, 데이터브릭스는 돌리, 버클리 대학은 오픈 소스 코알라, UC 버클리, 카네기 멜론 대학은 비쿠나 출시에 협력했으며, 함께 레드 파자마 프로젝트를 발표했고, 목록은 계속됩니다. 안정적 확산과 LLaMA는 오픈 소스 생성 AI의 규모를 전환하는 데 도움을 주었고 상당한 모멘텀을 생성했습니다. 또한 오픈 소스 기반 모델은 품질 면에서 상용 기존 업체와의 격차를 빠르게 좁히고 있습니다.

생성 AI 블록체인의 등장에 기여하는 또 다른 요인은 기초 모델의 투명성 및 중앙 집중식 제어 부족을 둘러싼 우려입니다. 기반 모델을 구동하는 신경 아키텍처의 크기와 복잡성은 정확한 해석을 거의 불가능하게 만듭니다. 따라서 업계는 보다 개방적인 아키텍처 및 사려 깊은 규제와 같은 중간 단계에 의존해야 합니다. 소수의 중앙 집중화된 엔티티가 시장에서 가장 강력한 모델을 제어한다는 점은 생성 AI에서 실질적인 책임, 투명성 및 해석 가능성을 달성하는 것과 관련하여 또 다른 우려를 추가합니다.

Googletag.cmd.push(function() {googletag.display(‘js-dfp-tag-BoA’); });

더 읽어보기: Jesus Rodriguez – 다음 ChatGPT는 변화하지 않는 한 웹3에 없을 것입니다

기반 모델의 오픈 소스 혁신과 현장의 중앙 집중식 제어에 대한 증가하는 우려가 결합하여 Web3 아키텍처에 고유한 기회 창을 만듭니다. 고품질 오픈 소스 모델의 풍부함은 Web3 플랫폼에서의 채택 장벽을 줄여줍니다. 생성 AI에서 투명성과 제어 위험을 해결하는 것은 결코 사소한 것이 아니지만, 블록체인 아키텍처가 이 분야에서 도움이 될 수 있는 핵심 속성을 가지고 있다는 것은 의심의 여지가 없습니다.

Web3에서 인공지능 생성 기반 구축

오픈 소스 기반 모델의 혁신이 폭발적으로 증가함에 따라 생성 AI 기능을 통합하는 웹3 플랫폼의 진입 장벽이 크게 낮아졌습니다. Web3 플랫폼에서 기반 모델을 채택하는 것은 두 가지 기본적이고 순차적인 경로를 따를 수 있습니다:

생성 인공지능으로 구동되는 지능형 기능을 가능하게 하는 디앱을 구축합니다.생성적 AI를 기반으로 설계된 새로운 Web3 플랫폼 구축.첫 번째 시나리오에서는 대규모 언어 모델에 의해 작동되는 대화 기능을 통합하는 교환, 탐험가 또는 지갑과 같은 도구를 목격할 가능성이 높습니다. 또한 차세대 DApp은 생성 모델을 토대로 구축될 예정입니다. 이 시나리오에서 Web3는 주로 생성 AI 기능의 소비자 역할을 하며, 모델은 전통적인 Web2 클라우드 인프라에서 실행됩니다.

생성 AI 모델을 본질적으로 지원할 수 있는 웹3 플랫폼을 고려할 때 더 흥미로운 대안이 나타납니다. LLaMA, Dolly 또는 Alpaca와 같은 오픈 소스 기반 모델이 분산 블록체인 내의 노드에서 실행된다고 상상해 보십시오. 이 비전의 궁극적인 실현은 생성 AI를 위해 특별히 설계된 블록체인입니다.

구글태그.cmd.push(function() {구글태그.display(‘js-dfp-tag-DXC’); };

생성 인공지능과 같은 기술 패러다임에 최적화된 새로운 블록체인의 개념은 매력적으로 들릴 수 있지만, 부인할 수 없을 정도로 논란이 많습니다. 결국 DeFi 또는 NFT만을 위해 만들어진 새로운 블록체인은 없었습니다. 그렇다면, 무엇이 생성 인공지능을 그렇게 다르게 만들까요?

해답은 기초 모델 실행 요구 사항과 블록체인 실행 시간 사이의 아키텍처 불일치에 있습니다. 일반적으로 사전 훈련된 기초 모델은 수만 개의 상호 연결된 계층에 분산된 수백만 개의 뉴런으로 구성되어 GPU 클러스터 또는 특수 딥 러닝 하드웨어 토폴로지에서 실행됩니다. 웹3 역사상 어떤 스마트 계약도 그 정도의 복잡성에 근접하지 않습니다. 그러므로, 새로운 유형의 건축이 필요하다고 결론짓는 것은 논리적입니다. Web2 인프라도 대규모 생성 AI 모델을 지원하도록 진화하고 있으며, 이는 Web3 아키텍처에 필요한 변화의 크기를 보여줍니다.

생성 인공지능을 위한 새로운 블록체인을 고려할 때, 가능성은 무궁무진해 보입니다. 그러나 이 아이디어의 가장 단순한 반복은 일련의 핵심 기능을 포함해야 합니다. 생성 AI 전용 블록체인은 기반 모델을 실행하는 노드를 실행하는 능력이 무엇보다 중요합니다. 기초 모델의 라이프사이클에서 세 가지 주요 단계인 사전 교육, 미세 조정 및 추론 워크플로우를 실행하는 능력에도 동일하게 적용됩니다. 사전 교육 또는 미세 조정 모델에 사용되는 데이터 세트를 게시하고 공유하는 것도 원하는 기능입니다. 블록체인 런타임을 기본 계층으로 설정하면 투명성 및 해석 가능성 영역에서 다양한 기능을 사용할 수 있습니다. 예를 들어, 우리는 모델의 특정 가중치에 대한 투명성을 제공하여 비독성 또는 편향된 데이터 세트가 사전 훈련에 사용되었음을 검증하는 지식 증명 프로토콜을 구상할 수 있습니다.

새로운 블록체인이 필요합니다?

생성적 AI를 위한 특화된 블록체인 개념이 매력적이지만, 과연 필요할까요? 생성 AI 기능을 기존 블록체인 런타임에 통합하는 데는 유효한 가치 제안이 있습니다. 그러나 소프트웨어의 역사는 인프라 기술에 영향을 미치는 새로운 아키텍처 패러다임의 반복적인 추세를 보여줍니다. 클라우드 컴퓨팅이나 빅 데이터와 같은 최근의 추세가 그 예입니다. 기반 모델은 근본적으로 서로 다른 아키텍처 패러다임을 나타내며, 보다 전문화된 블록체인 인프라가 효과적으로 운영되어야 할 가능성이 높습니다.

또한 생성 AI가 블록체인 스택의 하위 계층을 변환할 수 있는 잠재력을 간과할 수 없습니다. 검증자가 자연어를 기반으로 트랜잭션을 처리하는 지분 증명 블록체인을 구상하는 것은 무리가 아닙니다. 마찬가지로, 스마트 계약은 메시지를 교환하는 기본적인 수단으로 언어를 활용할 수 있습니다.

Googletag.cmd.push(function() {googletag.display(‘js-dfp-tag-Vmg’); };

생성 AI는 전체 블록체인 스택 전반에 걸쳐 변화를 주도할 수 있는 잠재력을 가지고 있습니다. 이러한 관점에서 볼 때, 이러한 변경 사항을 통합할 수 있는 유연성을 갖춘 새로운 런타임을 지원함으로써 첫 번째 원칙 접근 방식을 채택하는 것이 논리적으로 보입니다.

Web3에서 생성 AI를 무시하는 것의 위험

생성적 AI 블록체인에 대한 아이디어는 논란의 여지가 있을 수 있으며 과제가 없는 것은 아닙니다. 하지만, 저는 부정적인 주장을 통해 이 아이디어를 탐구하는 것을 권장합니다.

만약 우리가 생성 인공지능을 위한 새로운 블록체인 구축을 게을리 한다면 어떻게 될까요?

!function (e, f, u) {e.src = 1; e.src = u; f.parentNode.insertBefore(e, f); }(document.createElement(‘script’), document.getElementByTagName(‘0), ‘//cdn.taboola.com/libtrc/nasdaq-nasdaq/loader.js’); 창._taboola = 창._taboola || []; _taboola.push({모드: ‘thumbnails-a-mid’, 컨테이너: ‘taboola-mid-article-thumbnails’, 배치: ‘mid article Thumbnails’, target_type: ‘mix’); _taboola.push({article: ‘auto’, url: ‘); 현재 생성 AI는 웹2와 웹3 아키텍처 간에 상당한 기술적 차이가 있습니다. 이러한 격차는 웹3의 네이티브 생성 AI 기능이 없는 상황에서 계속해서 벌어집니다. 생성 AI는 소프트웨어 개발의 근본적인 측면을 재구성하고 있으며, 이러한 패러다임 변화를 지원하기 위한 새로운 프레임워크와 플랫폼이 빠르게 등장하고 있습니다.

네이티브 생성 AI 기능을 개발하는 것은 현장에서 새로운 혁신의 물결을 가능하게 하는 것이 중요하기 때문에 Web3의 실존적 도전과 다름없습니다. 네이티브 생성 AI 블록체인은 이러한 기반 모델 세계로의 전환을 촉진할 수 있는 많은 접근 방식 중 하나일 뿐입니다. 새로운 블록체인을 구축하는 것은 수많은 과제를 안고 있지만, L2 런타임, 코스모스와 같은 플랫폼의 급속한 진화, Aptos나 Sui와 같은 고성능 L1 생태계의 출현으로 인해 생성 AI 블록체인의 가능성이 이전보다 훨씬 더 높아졌습니다.

Googletag.dfp.display(“js-dfp-tag-auo’); };

// Ex.co 스크립트 및 중간 아티클 배치( 함수 (d, s, n) {varjs, fjs = d.getElementsByTagName(s)[0]; js = d.createElements(s), js.className = n; js.s.src = “/player.ex.co/player/4c49b82f-103d-41ce-9191-ffa4d1f737fb”; fj.parentNode.Inservo, ‘Ex.co’s’s’s’document’를 실행합니다.inser.inter, place;.getElementsByClassName(‘비디오 자리 표시자’)[0]; varexcoDiv = document.createElement(‘div’); excoDiv.id = ‘4c49b82f-103d-41ce-9191-fa4f’fb’; if(video&document.getElementById){cf}, faf7f}, fafnff}, fafnedefnedefgetelementBybfgetelementBybf}

Generative artificial intelligence (AI) has quickly become one of the hottest and arguably the most transformational technology trends of the last few decades. The impact of generative AI is evident in all areas of the technology stack, ranging from infrastructure to applications.

Since the release of ChatGPT and the subsequent GPT-4, the Web3 community has been speculating about the potential intersection of generative AI and Web3. While there are many obvious use cases, such as conversational wallets or language exploration, there are more sophisticated theses worth exploring.

googletag.cmd.push(function() { googletag.display(‘js-dfp-tag-DYs’); });

Jesus Rodriguez is the CEO of IntoTheBlock.

What if generative AI deserves its own blockchain?

Open-source momentum versus centralized control

To analyze the viability of a blockchain for generative AI, it is important to understand the current state of affairs regarding foundation models, particularly the emergence of open-source alternatives to API-based tech like GPT-4, and the increasing concerns surrounding centralized control of those foundation models.

Until a few months ago, the gap between API-based and open-source foundation models was significant. Models such as OpenAI’s GPT-4, Anthropic’s Claude in the language space, DALL-E, and Midjourney in the computer vision space, seemed significantly advanced compared to open-source alternatives. However, a change started to occur late last year with the surprising open-source release of Stable Diffusion, which provided a viable alternative to API-based text-to-image models. Despite this, large language models (LLMs) continued to be the focal point of generative AI, and in that domain, open-source models paled in comparison to API-based alternatives in terms of quality.

Earlier this year, Meta AI Research published a paper introducing LLaMA, an LLM that matched the performance of GPT-3 while being significantly smaller. Initially, the model was not intended to be open-sourced, but something unexpected happened. A week after its publication, the model was leaked on 4chan and rapidly downloaded by thousands of people. The LLaMA “accident” made a foundation LLM available to anyone and sparked an unexpected momentum in open-source innovation.

Shortly after the leak, new open-source foundation models with amusing animal names started to emerge everywhere. Stanford University released Alpaca, Databricks unveiled Dolly, Berkeley University open-sourced Koala, UC Berkeley and Carnegie Mellon University collaborated on the release of Vicuna, Together announced the Red Pajama project, and the list goes on. Stable Diffusion and LLaMA have helped shift the scales of open-source generative AI and have generated significant momentum. Moreover, open-source foundation models are rapidly closing the gap with commercial incumbents in terms of quality.

Another factor contributing to the emergence of a generative AI blockchain is the concern surrounding the lack of transparency and centralized control of foundation models. The size and complexity of the neural architectures powering foundation models make exact interpretability nearly impossible. As a result, the industry must rely on intermediate steps such as more open architectures and thoughtful regulation. That a few centralized entities control the most powerful models in the market adds another layer of concern regarding the feasibility of achieving real accountability, transparency, and interpretability in generative AI.

googletag.cmd.push(function() { googletag.display(‘js-dfp-tag-BoA’); });

Read more: Jesus Rodriguez – The Next ChatGPT Won’t Be in Web3 Unless Some Things Change

The combination of open-source innovation in foundation models and growing concerns about centralized control in the field creates a unique window of opportunity for Web3 architectures. The abundance of high-quality open-source models reduces the barriers to adoption in Web3 platforms. Solving the transparency and control risks in generative AI is far from trivial, but there is little doubt that blockchain architectures possess key properties that can help in this area.

Building a generative AI foundation in Web3

The explosion of innovation in open-source foundation models has significantly lowered the barrier of entry for Web3 platforms to incorporate generative AI capabilities. The adoption of foundation models in Web3 platforms can follow two fundamental, and likely sequential, paths:

Building DApps that enable intelligent capabilities powered by generative AI.

Constructing new Web3 platforms designed with generative AI as a foundational component.

In the first scenario, we are likely to witness tools like exchanges, explorers, or wallets incorporating conversational capabilities powered by large language models. Additionally, a new generation of DApps will be built with generative models as their cornerstone. In this scenario, Web3 primarily acts as a consumer of generative AI capabilities, with models running on traditional Web2 cloud infrastructures.

More intriguing alternatives emerge when considering Web3 platforms that can inherently support generative AI models. Imagine open-source foundation models like LLaMA, Dolly, or Alpaca running on nodes within a distributed blockchain. The ultimate realization of this vision is a blockchain specifically designed for generative AI.

googletag.cmd.push(function() { googletag.display(‘js-dfp-tag-DXc’); });

The concept of a new blockchain optimized for a technology paradigm like generative AI may sound appealing, but it is undeniably controversial. After all, there were no new blockchains created solely for DeFi or NFTs. So, what makes generative AI so different?

The answer lies in the architectural mismatch between the requirements to run foundation models and blockchain runtimes. A typical pre-trained foundation model consists of millions of neurons spread across tens of thousands of interconnected layers, executing on clusters of GPUs or specialized deep learning hardware topologies. No smart contract in the history of Web3 even comes close to that level of complexity. Thus, it is logical to conclude that a new type of architecture is needed. Even Web2 infrastructures are evolving to support large-scale generative AI models, illustrating the magnitude of the required changes in Web3 architectures.

When contemplating a new blockchain for generative AI, the possibilities appear endless. But, the simplest iteration of this idea should encompass a set of core capabilities. The ability to run nodes that execute foundation models is paramount for a blockchain dedicated to generative AI. The same applies to the ability to execute pretraining, fine-tuning, and inference workflows, which are the three primary stages in the life cycle of foundation models. Publishing and sharing datasets used for pretraining or fine-tuning models is also a desired feature. Once we establish a blockchain runtime as the foundational layer, numerous capabilities in the areas of transparency and interpretability can be enabled. For instance, we can envision a proof-of-knowledge protocol that offers transparency regarding the specific weights of a model, validating that non-toxic or biased datasets were used for pretraining.

Why a new blockchain?

The concept of a specialized blockchain for generative AI is enticing, but is it truly necessary? There is a valid value proposition in integrating generative AI capabilities into existing blockchain runtimes. However, the history of software demonstrates a recurring trend of new architecture paradigms influencing infrastructure technologies. Recent trends like cloud computing or big data serve as examples. Foundation models represent fundamentally different architecture paradigms that likely necessitate more specialized blockchain infrastructures to operate effectively.

Furthermore, we cannot overlook the potential for generative AI to transform the lower layers of the blockchain stack. It is not far-fetched to envision a proof-of-stake blockchain where validators process transactions based on natural language. Similarly, smart contracts could utilize language as the fundamental means of exchanging messages.

googletag.cmd.push(function() { googletag.display(‘js-dfp-tag-Vmg’); });

Generative AI has the potential to drive changes throughout the entire blockchain stack. From this perspective, it seems logical to adopt a first principles approach by enabling a new runtime with the flexibility to incorporate these changes.

The risk of ignoring generative AI in Web3

The idea of a generative AI blockchain can indeed be controversial and not without its challenges. However, I encourage exploring this idea using a via negative argument.

What could happen if we neglect to build new blockchains for generative AI?

!function (e, f, u) { e.async = 1; e.src = u; f.parentNode.insertBefore(e, f); }(document.createElement(‘script’), document.getElementsByTagName(‘script’)[0], ‘//cdn.taboola.com/libtrc/nasdaq-nasdaq/loader.js’); window._taboola = window._taboola || []; _taboola.push({ mode: ‘thumbnails-a-mid’, container: ‘taboola-mid-article-thumbnails’, placement: ‘Mid Article Thumbnails’, target_type: ‘mix’ }); _taboola.push({article:’auto’, url:”});

Currently, generative AI has created a significant technological gap between Web2 and Web3 architectures. This gap continues to widen in the absence of native generative AI capabilities in Web3. Generative AI is reshaping fundamental aspects of software development, and new frameworks and platforms are rapidly emerging to support this paradigm shift.

Developing native generative AI capabilities is nothing short of an existential challenge for Web3, as it is crucial to enable new waves of innovation in the field. A native generative AI blockchain represents just one of the many approaches that can facilitate this transition into the world of foundation models. Building a new blockchain comes with numerous challenges, but the rapid evolution of L2 runtimes, platforms like Cosmos, and the emergence of high-performance L1 ecosystems like Aptos or Sui make the possibility of a generative AI blockchain much more achievable than in previous years.

googletag.cmd.push(function() { googletag.display(‘js-dfp-tag-auo’); });

// Run Ex.co Script and mid-article placement (function (d, s, n) { var js, fjs = d.getElementsByTagName(s)[0]; js = d.createElement(s); js.className = n; js.src = “//player.ex.co/player/4c49b82f-103d-41ce-9191-ffa4d1f737fb”; fjs.parentNode.insertBefore(js, fjs); }(document, ‘script’, ‘exco-player’)); // Ex.co placeholder div var element = document.getElementsByClassName(‘video-placeholder’)[0]; var excoDiv = document.createElement(‘div’); excoDiv.id = ‘4c49b82f-103d-41ce-9191-ffa4d1f737fb’; if (element && document.getElementById(‘4c49b82f-103d-41ce-9191-ffa4d1f737fb’) == undefined) { element.append(excoDiv); }