A laboratóriumi hiba, amely forradalmasíthatja a számítástechnikát

Ma valószínűleg feltettél egy kérdést egy nagy nyelvi modellnek, vagy elfogadtál egy kapcsolati javaslatot a LinkedIn-en, vagy megnéztél egy ajánlott videót a YouTube-on, vagy egy forgalmi előrejelzés alapján más útvonalat választottál munkába menet a Google Térképen. Más szavakkal, valószínűleg használtál mesterséges intelligenciát. De azt talán nem tudod, hogy mennyi energiát fogyasztott ez az interakció vagy miért. Az AI óriási mennyiségű adat feldolgozására van szüksége, amit általában nagy adatközpontokban végeznek, amelyekben több ezer GPU található, amelyek másodpercenként akár trillió műveletet is végre tudnak hajtani. De mindezek a GPU-k annyi energiát fogyasztanak, mint körülbelül 1,000 watt, darabonként. Összehasonlításképpen, ha van egy újabb okostelefonod, az valószínűleg kevesebb mint 1 wattot használ. Ez a kilowatt-érték a GPU-kat egy szintre helyezi a porszívók, mosogatógépek és tűzhelyek közé, de a nagy különbség az, hogy az adatközponti processzorok folyamatosan, éjjel-nappal üzemelnek. Alapvetően ennek a hatékonyságnak a hiánya részben azért van, mert a GPU-k megpróbálják a mesterséges neuronhálózatok működését szimulálni szoftver segítségével és milliárdnyi tranzisztorral, ami nagy mennyiségű adat mozgásához szükséges energiafelhasználást igényel. Ráadásul ezeknek a hálózatoknak a szimulált mesterséges neuronai még csak a biológiai neuronok összetett számítási viselkedésének egy töredékével sem rendelkeznek, amelyek a legenergiahatékonyabb számítástechnikai rendszert alkotják, amit ismerünk, azaz az emberi agyat. Az agy körülbelül egymilliószor energiatakarékosabb számos olyan összehasonlítható feladatban, amit az AI-nak szánunk. Annak érdekében, hogy megpróbáljuk elérni ezeket a hatékonyságokat, egy radikálisan más típusú számítástechnikát hívnak neuromorf mérnökségnek, amely arra törekszik, hogy olyan elektronikus alkatrészeket és áramköröket építsen, amelyek inkább az agy neuronjaival és az őket összekötő szinapszisokkal működnek. Hatalmas mennyiségű munka történt azért, hogy az elektronikát jobban biológiai neuronok és szinapszisok működéséhez hasonlóan tudják üzemeltetni. Néhány kutatás új, kísérleti eszközök kifejlesztésére összpontosított, de ezek még nem elég megbízhatóak nagy rendszerekben való alkalmazásra. Más kezdeményezések a neuronok és szinapszisok megvalósítására törekedtek, sok kölcsönös fém-oxid félvezető (CMOS) tranzisztor összekapcsolásával - amelyek a digitális logika munkásai - egyetlen neuron és szinapszis szimulálásához. De ez a megközelítés annyi tranzisztort (és néhány nagyméretű kondenzátort) igényel, hogy nagymértékben korlátozza a felépíthető rendszer méretét, ami megkérdőjelezi, hogy egy ilyen agy ihlette hardver valaha is skálázható és versenyezni tud-e a legmodernebb GPU-kkal. De végig ott volt egy mesterséges neuron és egy szinapszis - mindkettő egyetlen eszköz - a szabad szem elől rejtve. Tavaly találtuk meg őket. Mindkettő egy átlagos CMOS tranzisztor segítségével valósult meg - és nem is egy nagyon jóval. Ez a felfedezésük véletlen története és nagy ígéretük van a mesterséges intelligencia környezeti lábnyomának csökkentésére. Biológiai és mesterséges neuronok A modern digitális elektronika a bináris kód egyes és nulláit állítja elő és manipulálja fém-oxid félvezető mezőeffektus tranzisztorok működése révén. Az MOSFET-ek az utóbbi években fejlődtek, de klasszikus formájuk egy szilícium darabból áll, amelyet úgy dopoltak, hogy vagy pozitív (p-típusú), vagy negatív (n-típusú) töltéshordozók többletét tartalmazza. (A CMOS logika mindkét típusú tranzisztort tartalmaz.) Az eszköznek két terminálja van, amelyek a szilíciumhoz csatlakoznak, az ellentétes polaritású területek által erősen dopolt forráson és nyelőn keresztül. Egy másik terminál, a kapu, a szilícium tetején helyezkedik el, amely elválasztja a forrást a nyelőtől. A kapu önmagában nem csatlakozik közvetlenül ehhez a szilíciumhoz, hanem egy vékony szigetelő dielektrikum réteg felett helyezkedik el. Kiemelendő, hogy van egy negyedik terminál, amely a szilícium tömegéhez kapcsolódik; gondolj erre a bulk terminálra úgy, mint ami a chip alsó oldalával kapcsolódik. Általában nem kap túl sok figyelmet, de a történetünk szempontjából nagyon fontos. Amikor feszültséget alkalmaznak a kapu és a bulk terminálra földelve, a forrással és a nyelővel azonos polaritású töltéshordozók vonzódnak a csatornarégióhoz. N-típusú forrás és nyelő esetén ezek elektronok lesznek; p-típus esetén lyukak. Ezek jelenléte egy vezető csatornát képez, amely több nagyságrenddel csökkenti a forrás és a nyelő közötti ellenállást, és az eszköz bekapcsol. Amint a kapuban a feszültség növekszik, ez a fizikai jelenség egy olyan áramjelet termel, amely, ha a kapu feszültségével szemben ábrázolják, folyamatosan emelkedik. Ez a válasz ideális logikai kapuk, átalakítók, multiplexerek, memóriák és egyéb digitális áramkörök számára. De nem alkalmas a neuron viselkedésének utánozására. Valós idejű idegszövetben az agysejtek, amelyeket neuronoknak hívunk, egy sejt testébből, egy hosszú kinyúlásból, amelyet axonnak nevezünk, és rövid elágazó kinyúlásokból, amelyeket dendriteknek hívnak, állnak. E komponensek gyűjteményének viselkedése és számítása gazdag és széles, de a mesterséges neuronhálózatok reménye, hogy lemásolják ezt: Amikor a sejt testének feszültsége annyira megnő, hogy elér egy bizonyos küszöböt, egy önmagát terjesztő impulzus, amit akciós potenciálnak hívnak, végigszáguld az axonon. Az axon egy szinapszisban végződik, amely egy elektrokémiai kapcsolat az axon és egy másik neuron dendritjei között. Az akciós potenciál ideiglenesen megnöveli a következő neuron feszültségét, az összeg a szinaptikus kapcsolat erősségétől függ. Ha eléggé sok akciós potenciál érkezik ezekhez a dendritekhez egy adott időn belül - akár ebből a neuronból, akár másokból, amelyek szintén képezhetnek szinapszisokat ott - a sejt testének feszültsége felülmúlja a küszöböt, és kiváltja a saját akciós potenciálját. Az MOSFET Neuron Az írók által felfedezett szokatlan cselekvés érthető, ha figyelembe vesszük, hogy egy MOSFET rejtett bipolaris junciós tranzisztort tartalmaz. TRANSZISZTOR MAGATARTÁS Normál működés közben, ha a bulk terminál földelve van, a nyelőn növekvő feszültség folyamatosan növekvő áramhoz vezet. Amikor a feszültség csökken, az áram ugyanazon a lejtős úton követi. Bár néhány elektron- és lyuh pár keletkezik az áram silicon atomokkal való ütközésekor, ezeket eltávolítják, mielőtt felhalmozódnának. NSRAM MAGATARTÁS Ellenállás hozzáadása a bulk terminálhoz azt jelenti, hogy ezek a plusz lyukak felhalmozódnak, és megnövelik a bulk feszültséget a forráshoz képest. Amint ez a feszültség elér egy bizonyos értéket, a rejtett tranzisztor aktiválódik, ami növeli az áramot. Az áram magas marad, amíg a nyelő feszültsége nem csökken egy bizonyos pont alá. Ahhoz, hogy közelebb kerüljünk a valódi neuronok viselkedéséhez, a mesterséges neuronoknak áramcsúcsot kell előállítaniuk, amikor egy kritikus feszültségküszöböt átlépnek, majd gyorsan vissza kell relaxálniuk nyugodt állapotukba. Ennek a csúcsnak hirtelennek - nemlineárisnak - kell lennie. Az is kívánatos, hogy mutasson egy kis hiszterézist; azaz az aktiválási és relaxációs feszültségek különbözzenek, hogy biztosítsák, hogy az áram csak egy bizonyos ideig áramoljon. Amit egy mesterséges szinapszistól szeretnénk, ami két mesterséges neuron összekapcsolóját jelenti, bonyolultabb, de éppen olyan fontos. A fő dolog az, hogy vezetőképessége elektronikus úton állítható legyen. Az eszköz vezetőállapotainak lineárisan kell növekedniük és csökkenniük, és időtartamuk alatt stabilnak kell maradniuk. Egyetlen MOSFET, amely a szabványos működési mechanizmus alatt működik, nem képes reprodukálni ezen neurális tulajdonságok egyikét sem. Ehelyett ez úgy történt, hogy bonyolult áramkörökké egyesítettük őket. Eddig minden egyes neuront és minden egyes szinapszist több tucat, olykor pedig akár száz MOSFET összekapcsolásával valósítottak meg, ami nagyon hatékonytalan terület, teljesítmény és költség szempontjából. Az igényelt hely mennyiségének korlátozása érdekében a chipek multiplexelhetik jeleiket, sorban küldve őket neuronokhoz és szinapszisokhoz, de az ilyen soros feldolgozás további késedelmeket eredményez. Bár ezek a terület- és időszankciók olyan feladatokban, mint a hangfeldolgozás, számítógépes látás vagy egészségmonitorozás, a csúcstechnológiás agy ihlette mikrochipek akár ezerszeres energia csökkentéseket értek el a GPU-k vagy CPU-k feladatainak vivéséhez képest. Ha egyes eszközöket képesek volnánk neuronok és szinapszisok létrehozására, amelyeket könnyen gyárthatunk, talán célzottabb nagyszabású megoldásokat tarthatunk fenn az energiahatékonyság fenntartása mellett. A MOSFET újra feltalálása az AI számára 2024-ben a laboratóriumunkban egyik diák mért egy memória áramkört, amely egy tranzisztorból és egy memristorból állt – ez egy úgynevezett nemvolatilis memóriaeszköz, amelyet először 2008-ban állítottak elő. A diák memristor áramköre két dimenziós anyagból készült egy szilícium mikrochip tetején, amely MOSFET-eket tartalmazott. A MOSFET-eket egy kereskedelmi fémszerelvényben, a 180-nanométeres csomagolási technológiával hozták létre, amely a 2000-es évek elején csúcstechnológiás volt. Egy nap a diák elfelejtette csatlakoztatni a tranzisztor bulk terminálját. Amit megfigyelt, az egy hirtelen növekedés volt az árammal, amely nagy nemlinearitású, és önmagát relaxálta, amikor a feszültséget lecsökkentették (egy hiszterézis huroknak nevezett jelenség). Ez egy nagyon ígéretes neuron-szerű viselkedés volt! Miután egy eredménytelen hetet töltöttem el a viselkedés magyarázatának kitalálásával, megkértem Pazost, akkor a posztdoktorandusomat, hogy próbálja meg megfigyelni és szabályozni ezt a jelenséget chipekben memristorok nélkül. Ezúttal feszültséglöket alkalmaztunk – mint a neuron által termelt csúcsok – ahelyett hogy az áramszintet használtuk volna, amit a diák az első megfigyeléskor alkalmazott. Pazos új adatai segítettek megérteni, hogy mi történik. A kulcs az a gyakran figyelmen kívül hagyott negyedik, vagy bulk, terminál a MOSFET-nél. Normál működés alatt sok mozgó töltéshordozó gyorsan áthalad a csatornán, ütközve a szilícium atomokkal, szabad elektron- és lyukpárokat generálva – ezt a folyamatot hatás ionizációnak nevezzük. Az áramforrás és a nyelő között lévő potenciálkülönbség által létrehozott elektromos tér lehetővé teszi, hogy az új szabad elektronok a pozitívan torzított nyelő felé, míg a lyukak a bulk terminál felé mozduljanak, ami általában földelve van, eltávolítva a töltést. Azonban, amikor a tranzisztor bulk terminálja lebeg – el nem csatlakoztatva, ahogyan a diák kísérlete során volt – a hatás ionizáció által termelt lyukakat nem lehet a földre vezetni. Ehelyett felhalmozódnak a szilícium bulk részén, ami növeli a feszültségét. Akkor kezd igazán érdekessé válni a dolog. Hasznos itt úgy képzelni el a MOSFET-et, mint két különböző típusú tranzisztort, amelyek ugyanazt a fizikai teret foglalják el – az szándékosan létrehozott MOSFET-et és egy rejtett, bipoláris junciós tranzisztort. Egy bipoláris eszköz áramjelet továbbít két p-n junción keresztül, ebben az esetben a forrás és a csatorna egyik része, és a csatorna és a nyelő között. Ez a jel arányban áll egy kisebb árammal egy harmadik terminál felé, amely a bázis. Kísérletünkben ez a harmadik terminál a bulk volt. Ahhoz, hogy az áramot folytassunk egy bipoláris tranzisztoron, elég nagy potenciálkülönbségre van szükség a bázis és az egyik másik terminál között, hogy az áram keresztül tudjon menni a p-n junción. Tegyük fel, hogy ez a "küszöbfeszültség" 0,7 volt, bár a tényleges szám az eszköz geometriájától és a szilícium doppingtól függ. A mi eszközünkben ez a potenciálkülönbség a bulkben felhalmozódó lyukakból származik, mert az nem volt csatlakoztatva a földhöz. Amint elérte a küszöbfeszültséget, az eszköz éles vezetőképessé válik, hirtelenan növelve az áramot. Ez a hirtelen áramnövekedés végül leesik, amint a nyelő feszültsége csökken, mert a csökkenés csökkenti a bulkben keletkező lyukak ütemét. A fennmaradó többletlyukak újra kombinálódnak kósza elektronokkal vagy szivárognak el, végül a bulk feszültség csökken. Ez a lyukak felhalmozódásának, áramcsúcsának és lyukeltávolításának ciklusa hiszterézis hurkot teremt, nagyon hasonló módon, mint egy biológiai neuron elektromos viselkedése, ahogyan integrálja az ionáramokat, tüzel egy csúcsot, és visszatér a nyugalmi feszültségéhez. Kezdetben ezt a viselkedést csak néhány tranzisztoron figyeltük meg, és a relaxációs idő nagyon eltérő volt közöttük. Tehát, hogy jobban ellenőrizzük, módosítottuk a bulk terminál ellenállását egy második MOSFET segítségével. Egyszerűen az ellenállás beállítása hirtelen azt fedezte fel, hogy az összes tranzisztor ugyanolyan feszültségnél tüzel, alig bármilyen variabilitással. Más szavakkal, azt találtuk, hogy egyetlen szilícium tranzisztorral tökéletes elektronikus neuron viselkedést hozhatunk létre a bulk érintkezési ellenállás szabályozásával. Az ellenállás beállítása a gyártási során a szilícium dopolásával megvalósítható, de úgy gondoljuk, hogy a kéttranzisztoros cella - ahol az egyik a bulk ellenállást képviseli - sokkal nagyobb rugalmasságot kínál, mert elektronikus vezérlést tesz lehetővé. Biztosítani kellett, hogy a jelenség tartós legyen, különben ilyen eszköz haszontalan lenne. Örömünkre szolgált, hogy a vizsgált eszközök mindegyike több mint 10 millió cikluson keresztül működött. Egyik sem hibásodott meg a tesztjeink során. A MOSFET Színapszis Őszintén szólva, lenyűgözött minket. Tucatnyi kutatócsoport és cég világszerte több millió dollárt költött az elmúlt 20 évben, hogy ezeknek a neurális viselkedéseknek a lemásolására kísérleti memristor-szerű eszközöket és más dolgokat próbáljanak ki, eltérő sikerrel, főleg a megbízhatósági és költségproblémák miatt. Mi a legolcsóbb és legipari szabványos eszközben, a MOSFET-ben valósítottuk meg. Ez az eredmény olyan sokkoló volt, hogy úgy döntöttünk, hogy megerősítjük azt különböző gyárak mikrochipjeivel. Sikerült: Az összes viselkedés reprodukálható volt, és tökéletes hozamot értünk el ismét. Örültünk az eredményeknek, és már kezdtük a szabadalom beadását és megfigyeléseink írását a Nature folyóiratba, amikor a laborunk egy másik megdöbbentő felfedezést tett: Ugyanaz a fajta MOSFET szinapszként is működhet! Emlékezzünk arra, hogy normál működés mellett néhány elektron ütközik a szilícium atomokkal, hogy elektron- és lyukpárokat hozzon létre. Megjegyeztük, hogy a bulk ellenállás specifikus értékeinél a hatás ionizációból származó töltések jelentős része csapdába esik a kapu dielektrikumban. Ez a csapdázott töltés zavarja a MOSFET-en keresztüli áram áramlását, hatékonyan megváltoztatva az eszköz vezetőképességét. Fontos, hogy ez az új vezetőképesség stabil és tetszés szerint állítható. Ekkor realizáltuk, hogy a MOSFET szintén elektronikus szinapszisként is használható. Ahogyan a neuron tranzisztorban, a bulk terminál volt a kulcs. Egy negatív bulk-forrás feszültség elektronokat hajt a dielektrikumba, csökkentve a vezetőképességet. Egy pozitív egy lyukakat tol el, növelve azt. Neuromorf eszközből áramkörbe, majd rendszerbe Íme, hogyan működhetne együtt a MOSFET szinapszis és a MOSFET neuron, együtt neuroszinaptikus véletlenszerű hozzáférési memória (NSRAM) néven, hogy elérjen egy egyszerű neurális áramkört: Tegyük fel, hogy van egy áramköröd, amely három szinapszis MOSFET-ből és egy neuron MOSFET-ből áll. A szinapszisok már úgy lettek programozva, ahogyan azt leírtuk, így minden egy másfajta vezetőképességgel rendelkezik. Feszültségcsúcsokat különböző mintázatokban és frekvenciákon alkalmaznak mindegyik tranzisztor kapujára. Az ő nyelőikből olyan áramcsúcsok lépnek ki, amelyek amplitúdója a szinapszisok vezetőképességértékével módosítva van. A csúcsok a neuron MOSFET nyelőjéhez összegződnek. Minden csúcskal a hatásionizáció elősegíti a töltések felhalmozódását a szilícium bulk részén. Ennek egy része el fog szépen folyni, de ha elegendő csúcs érkezik elég rövid időn belül, a bulk feszültsége elér egy olyan értéket, ahol a "rejtett" tranzisztor egy áramcsúcsot indít el a MOSFET-en keresztül. Ez az áram pedig bemenetté válik más MOSFET szinapszisok számára, és így tovább. A viselkedés pontosan annak a típusú integrálásnak és tüzelésnek felel meg, amelyet a valós neurális áramkörök nyújtanak. A mi egyedi MOSFET elektronikus neuronaink és szinapszisaink versenyelőnye egyértelmű: Egy vagy két tranzisztorral kiválthatjuk az elektronikus jeleket, amelyek ma ipari szinten, tucatnyi vagy néha akár száz eszközt igényelnek. Ráadásul, ellentétben más új technológiákkal, megoldásunk teljes mértékben kompatibilis a mai szilícium gyártósorokkal, és a kulcsfontosságú mérési mutatókban 100% hozamot mutat, szinte nulla variabilitással. Funkcionális áramkörök építése az agy által ihletett számítástechnikához és AI-hoz ezen a technológián alapulva izgalmas és fáradságos is. Meg kell javítanunk számítógépes modelljeinket, hogy pontosabban hasonlítsunk a készülékek viselkedésére és törekedjünk a számítási hatékonyságra. Emellett pontos áramkör- és rendszer szintű szimulációkat kell végeznünk a számítási architektúrák érvényesítése érdekében, tervezni kell a perifériás áramköröket a jelek hajtásához és átalakításához, és több gyártási fordulón kell átesnünk a teljesítmény optimalizálása érdekében. De mindez megéri, mert olyan agy-ihlette mikrochipeket eredményezhet az AI számára, amelyek jobb energiahatékonysággal rendelkeznek, mint amivel most rendelkezünk. Ezek a chipek először a kisebb léptékű, "edge-AI" feladatokhoz illeszkednek, mint például a nagyobb intelligencia biztosítása az akkumulátoros rendszereknek. De ha skálázni tudjuk az ilyen chipeket, talán hosszú távon versenyben maradhatnak a csúcsmodern GPU-kkal.