В надпреварата за ускоряване на изкуствения интелект, компанията Cerebras от Силиконовата долина предприема необичайна стратегия: Станете големи.
Докато типичният компютърен чип е с размер на нокът, Cerebras' чип е с размерите на чиния за вечеря.
Дълбокото обучение, AI технология, която захранва гласови асистенти, самоуправляващи се автомобили и шампиони на Go, разчита на сложна&"невронна мрежа [GG" quot; софтуер, подреден на слоеве. Системите за дълбоко обучение могат да работят на един компютър, но най -големите системи са разпространени в хиляди свързани машини, понякога в големи центрове за данни, като тези, управлявани от Google. В голям клъстер до 48 сървъра с размер на кутия за пица се плъзгат в стелажи с височина до един човек; Рафтовете са подредени в редове и запълват сграда с размерите на склад. Невронните мрежи в тези системи могат да решат обезсърчаващи проблеми, но те също са изправени пред очевидни предизвикателства. Мрежа, която се размножава в клъстер, е като мозък, разпръснат в една стая и свързан заедно. Електроните се движат бързо, но въпреки това комуникацията между чиповете е бавна и консумира много енергия.
Ерик Вишрия, генерален партньор във фирмата за рисков капитал в Сан Франциско Benchmark, за първи път разбра проблема, когато чу Cerebras Systems, нова компания за компютърни чипове, да говори през пролетта на 2016 г. Benchmark е известен като ранен инвеститор в компании като Twitter, Uber и ebay - тоест в софтуер, а не в хардуер. Компанията разглежда около 200 стартиращи компании годишно и инвестира в едно." Играехме тази игра на целуване на хиляда жаби," Вишрия ми каза. В началото на речта си той реши да хвърли жабата обратно." Помислих си защо се съгласих с това?" Ние' няма да инвестираме в хардуер," той припомни мисленето." Глупаво е'"
Съоснователят на Cerebras Андрю Фелдман започна с корицата на слайда към слайда на екипа си и привлече вниманието на Vishria &: талантът му беше впечатляващ. След това Фелдман сравнява двата вида компютърни чипове. Първо, той разгледа графичните процесори или Gpus - чипове, създадени специално за създаване на 3D изображения. Днес системите за машинно обучение на' разчитат на тези графични чипове по различни причини. След това той разгледа централните процесори или cpus, чиповете с общо предназначение, които вършат по-голямата част от работата в типичен компютър." Третият слайд беше около' Gpus,' които всъщност са лоши за задълбоченото обучение - те просто са сто пъти по -добри от cpus." Cerebras излезе с нов тип чип, който не е предназначен за графика, но специално проектиран за изкуствен интелект.
Vishria е свикнал да чува пичове от компании, които планират да използват задълбочено обучение в областта на киберсигурността, медицински изображения, чатботове и други приложения. След разговора на Cerebras &, той разговаря с инженери във фирми, финансирани от Benchmark, включително Zillow, Uber и Stitch Fix; Казаха му, че имат проблеми с AI, защото отне твърде много време" влак" невронната мрежа. Google започна да използва свръхбързи" тензорни процесорни единици," или Tpus, специални чипове, предназначени за ИЗКУСТВЕНА интелигентност. Вишрия знаеше, че има златна треска и някой трябваше да вземе кирки и лопати.
Същата година Benchmark и Foundation Capital, друга фирма за рисков капитал, оглавиха кръг от 27 милиона долара за Cerebras, който събра близо 500 милиона долара. Други компании също правят така наречените ускорители за изкуствен интелект; Cerebras' конкурентите groq, Graphcore и Sambanova събраха над 2 млрд. долара капитал помежду си. Но Cerebras' подходът е уникален. Вместо да отпечата десетки вафли върху голямо парче силиций, да ги отреже и да ги свърже помежду си, компанията създаде гигантско" ниво на вафли" чип. Докато типичният компютърен чип е с размера на нокът, Cerebras е с размерите на чиния за вечеря и е най -големият компютърен чип в света.
Дори конкурентите намериха подвига впечатляващ." Това е нова наука," Найджъл Туун, изпълнителен директор и съосновател на Graphcore', ми каза." Това' е невероятно инженерно произведение. Това' е шедьовър." Междувременно друг инженер, с когото говорих, го описа като научен проект - голям за голямото &. В миналото компанията се е опитвала и не успява да произвежда гигантски чипове; Cerebras' планът представлява залог, че преодоляването на инженерните предизвикателства е възможно и си заслужава." Честно казано, за мен незнанието е предимство," Каза Вишрия." Не знам' не знам, ако знаех колко е трудно да правят това, което правят, ще имам смелостта да инвестирам."
Лесно е да се приеме за даденост, че компютрите стават все по -бързи. Това често се обяснява със закона на Мур &: моделът, установен през 1965 г. от пионера на полупроводниците Гордън Мур, според който броят на транзисторите на чип се удвоява всяка година или на всеки две години. Разбира се, законът на Мур' всъщност не е закон и инженерите работят неуморно, за да свиват транзисторите, като същевременно подобряват&архитектурата &; на всеки чип за създаване на по -ефективни и мощни дизайни.
Архитектите на чипове отдавна се чудят дали един-голям мащабен компютърен чип може да бъде по-ефективен от куп по-малки чипове, точно както град с концентрирани ресурси и плътни блокове е по-ефективен от предградие. Идеята е изпробвана за първи път през 60 -те години, когато Texas Instruments ограничава производството на чипове с ширина няколко инча. Но инженерите на компанията&се сблъскаха с проблеми с доходността. На всяка дадена силициева пластина производствените дефекти неизбежно застрашават определен брой вериги. Ако една вафла съдържа 50 чипа, компанията може да изхвърли лошите и да продаде добрите. Но ако всеки успешен чип зависи от работната схема на една -единствена вафла, много скъпи вафли ще бъдат изхвърлени. Texas Instruments намери решение, но технологията и нуждата все още не бяха налице'
През 80 -те години инженер на име Джийн Амдал се опита отново да реши проблема с основаната от него компания, наречена Trilogy Systems. Той се превърна в най -големия стартъп в историята на Силиконовата долина &, с около 250 милиона долара финансиране. За да се справи с проблема с доходността, Trilogy отпечатва излишни компоненти върху чипа. Този метод увеличава производството, но намалява скоростта на чипа. Междувременно Трилогията се бори по други начини. Амдал прегази мотоциклетист с ролса си Ройс, причинявайки правни проблеми; Неговият президент почина от мозъчен тумор; Проливните дъждове забавиха строителството на фабрики, ръждясали климатични системи и събиране на прах върху чипове. През 1984 г. Trilogy се отказва." Не знаех' не осъзнавах колко трудно би било," Синът на Амдал' каза пред The Times.
Ако технологията на Trilogy' е успешна, сега тя може да се използва за задълбочено обучение. Вместо това Gpus (чипове, използвани във видеоигри) решават научни проблеми в националните лаборатории. Повторното използване на gpus за AI зависи от факта, че невронните мрежи, макар и много сложни, разчитат на много умножение и събиране. Когато&невроните" в мрежата се задействат помежду си, те усилват или намаляват взаимно сигналите на' s, умножавайки ги по коефициенти, наречени тегла на връзката. Ефективен AI процесор ще изчислява много активирания паралелно; Той ги комбинира в поредица от числа, наречени вектори, или решетки от числа, наречени матрици, или блокове с по-големи размери, наречени тензори. В идеалния случай искате да умножите една матрица или тензор едновременно с друга. Gpus са проектирани да правят нещо подобно:
& quot; Сянката на Trilogy е толкова голяма," Фелдман ми каза наскоро &, че хората спират да мислят и започват да казват:' Това' е невъзможно.'" GPU компаниите, включително Nvidia, се възползваха от възможността да персонализират своите чипове за задълбочено обучение. През 2015 г. Фелдман и група компютърни архитекти започнаха да обсъждат идеята за по-големи чипове, след като съосновават производителя на компютърен сървър Seamicro, който продават на производителя на чипове AMD за 334 милиона долара. Те работиха по въпроса четири месеца в офис, зает от фирма за рисков капитал. Когато имаха очертание на жизнеспособно решение, те разговаряха с осем компании; Получих финансиране от Benchmark, Foundation Capital и Eclipse и започнах да наемам.
Cerebras' първата задача е да се решат производствените проблеми, които измъчват големите чипове. Първоначално чипът е бил цилиндричен слитък от кристален силиций с диаметър около метър, а стоманеният слитък се нарязва на пластини с дебелина по -малка от милиметър. След това веригата е" отпечатана" върху вафлата чрез процес, наречен литография. Чувствителните към ултравиолетовите лъчи химикали се отлагат внимателно върху повърхността и след това лъч UV светлина се проектира през подробен шаблон, наречен маска. Тези химикали реагират, образувайки вериги.
Обикновено зоната, покрита със светлина, излъчвана през маската, се превръща в чип. След това чипът се премества и светлината се проектира отново. След като са отпечатани десетки или стотици чипове, те се изрязват лазерно от пластината." Най -лесният начин да направите това е майка ви да извади кръгло тесто за бисквитки," - каза Фелдман." Тя има форма за бисквитки и внимателно нарязва бисквитките." Законите на физиката и оптиката правят невъзможно да се направи по -голяма форма за бисквитки. В резултат на това&разработихме технология, така че можете да общувате чрез малко тесто между две бисквитки."
В печатната система Cerebras, разработена в сътрудничество с TSMC, компанията, която произвежда чипа, ръбовете на бисквитките се припокриват, така че техните проводници са свързани. Резултатът е единичен" размер на вафлата" вафла, квадрат с меден цвят и 21 см от всяка страна. (Най-големите Gpus са с малко по-малък от 3 см в диаметър.) Cerebras произвежда първия си чип, Wafer-scale Engine 1, през 2019 г. Wse-2, представен тази година, използва по-плътна верига, с 2,6 трилиона транзистора, опаковани в 850 000 процесорни единици , или&"ядра &". (Най -добрите Gpus имат само няколко хиляди ядра, докато повечето cpus имат по -малко от 10.)
& "2,6 трилиона транзистора е изумителен," каза Aart de Geus, председател и съизпълнителен директор на Synopsys. Synopsys предоставя някакъв софтуер, който Cerebras и други производители на чипове използват, за да създават и валидират своите дизайни на чипове. De Geus казва, че при проектирането на чипове инженерите първо трябва да разгледат два основни въпроса:" Откъде идват данните?" Къде се обработва?" Когато чиповете бяха по -прости, дизайнерите можеха да отговорят на тези въпроси с молив върху маса за рисуване; Когато работите с днешните по -сложни чипове на &, въведете код, който описва архитектурата, която искат да създадат, след което преминете към инструменти за визуализация и кодиране." Помислете как изглежда къщата от покрива," каза де Гьоус." Гаражът близо до кухнята? Или е близо до спалнята? Искате го близо до кухнята - в противен случай' ще трябва да носите хранителни стоки през всеки ъгъл на къщата." След като е проектирал етажния план, той обясни:" можете да използвате уравнения, за да опишете случващото се в стаята."
Сложността на дизайна на чиповете е изумителна." Тук има много слоеве," де Гьос, с кръстосани кръгове и наслоени една върху друга, като голям надлез на магистрала. За инженерите на Cerebras, работещи в мащаба на вафла, сложността се увеличава. Synopsys' софтуерът помага под формата на изкуствен интелект: алгоритмите за съвпадение на шаблони идентифицират често срещани проблеми и предлагат решения; Програмата за оптимизиране премества стаята към по -бързо и по -ефективно подреждане. Ако твърде много платна се опитват да се вмъкнат в сграда с два блока, софтуерът позволява на инженерите да играят Робърт Моузес и да преместят блока.
В крайна сметка, казва Фелдман, има няколко предимства за дизайна на извънгабаритни чипове. Когато ядрата са на един и същ чип, те комуникират по -бързо: мозъкът на компютъра' сега е концентриран в един череп, а не разпръснат в една стая. По -големите чипове също се справят по -добре с паметта. Обикновено малък чип, готов за обработка на файл, първо трябва да получи файла от чип за споделена памет, разположен на друго място на платката; Само най -често използваните данни се кешират по -близо до дома. Описвайки ефективността на чиповете на ниво вафла, Фелдман предложи аналогия: Той ме помоли да си представя група съквартиранти (ядро), живеещи в общежитие (чип), които искат да гледат футболен мач (да вършат компютърна работа). За да гледат играта, казва фелдман, съквартирантите трябва да съхраняват бира в хладилника (данните се съхраняват в паметта); Cerebras държи хладилник във всяка стая, така че съквартирантите не трябва' да рискуват да отидат в общата кухня на общежитието' или Safeway. Това има допълнителното предимство, тъй като позволява на всяко ядро да обработва различни данни по -бързо." Така че мога да имам Bud в стаята си в общежитието," - каза Фелдман." В общежитието си можете да имате Schlitz."
И накрая, Cerebras трябва да преодолее проблемите с добива. Инженерите на компанията' използват трилогия' трикът: съкращаване. Но тук те имат предимство пред предшествениците си. Trilogy се опитва да направи общи чипове с много различни компоненти, така че окабеляването около един неуспешен компонент може да изисква свързване към отдалечена подмяна. На Cerebras' чип, всички ядра са идентични. Ако една бисквита е грешна, тези около нея са също толкова добри.