Turbózd fel a BigQuery-t Python segítségével: A kezelt Python UDF-ek mostantól általánosan elérhetők.

Az SQL az iparági szabvány a nagy teljesítményű strukturált adatanalízishez. Azonban a komplex eljárási logika, tudományos számítások, fejlett karakterlánc-módosítások vagy gépi tanulási munkafolyamatok tiszta SQL-ben való kifejezése rendkívül kihívást jelenthet, ha nem éppen lehetetlen. Az ilyen típusú munkát jobban elvégezhetjük Python segítségével. Az adatelemzők gyakran vállalnak extra infrastrukturális menedzsment feladatokat — például testreszabott képek és konténerek fenntartását, valamint további számítási szolgáltatásokkal való munkát — csak azért, hogy egyszerű segédfunkciókat futtathassanak testreszabott Python kóddal és könyvtárral. Ma örömmel bejelentjük a BigQuery Kezelt Python Felhasználói Definiált Funkciók (UDF) általános elérhetőségét (GA). Ez a bevezetés jelentős mérföldkövet képvisel a BigQuery bővíthetőségi stratégiájában, lehetővé téve az adatokkal foglalkozó tudósok, mérnökök és elemzők számára, hogy közvetlenül és biztonságosan hajtsanak végre testreszabott Python kódot a BigQuery-ben, normál SQL lekérdezések vagy BigQuery DataFrame-ek (BigFrames) használatával Pythonban. Ezzel a kiadással a Python UDF-ek teljes mértékben támogatottak a termelési vállalati terhelések számára és teljes mértékben integrálva vannak a BigQuery számlázási SKU-jába. Az SQL és a Gazdag Python Ökoszisztéma Áthidalása A BigQuery Kezelt Python UDF-ek a BigQuery által kezelt szerver nélküli erőforrásokon futnak, amelyek automatikusan skálázódnak milliárd sorra, anélkül, hogy infrastrukturális beállításokra vagy konténerek kezelésére lenne szükség. A BigQuery automatikusan kezeli a Python kódod összesítési, képkészítési, biztonsági javítási, telepítési és végrehajtási folyamatait, így szuper egyszerű Python függvényeket használni az SQL-ben. Alapvető előnyök Rugalmasság: Közvetlenül hozzáférhetsz a hatalmas Python ökoszisztémához — beleértve a legjobb tudományos és matematikai könyvtárakat, mint a NumPy, SciPy, pandas, scikit-learn és még sok más — az SQL SELECT állításaidban. Szoros külső API integráció: Tisztítsd meg és gazdagítsd BigQuery tábláidat valós időben külső webes API-k vagy Google Cloud szolgáltatások, például a Cloud Translation, a Gemini Enterprise Agent Platform vagy testreszabott mikroszolgáltatások hívásával biztonságosan a lekérdezéseidben. Teljesen kezelt és szerver nélküli: A BigQuery kezeli az alapul szolgáló konténerinfrastruktúrát és dinamikusan automatikusan skálázza a teljesítményt. Kód példa Itt van egy példa egy Python UDF-re, amely egy népszerű Python csomagot — a beautifulsoup-ot — használ az HTML címkék eltávolítására. Ezt a funkciót a StackOverflow válaszainak feldolgozására használjuk, amelyek egy BigQuery nyilvános táblában találhatók: A lekérdezés módja: Haladó képességek Haladó felhasználók számára a Python UDF egy sor képességet ad hozzá a teljesítmény finomhangolásához és a használat figyeléséhez. Íme néhány példa. Vektorizált feldolgozás Pandas PyArrow-val Az áteresztőképesség maximalizálása érdekében a GA kiadás támogatja a vektorizált bemenetek közvetlen feldolgozását PyArrow RecordBatch-eként. Az adatoszlopok csomagban történő feldolgozása, ahelyett, hogy soronként történne, eltünteti a Python sorosítási és átkonvertálási költségeket, ami akár 10x teljesítménynövekedést eredményez adatintenzív számítások esetén. Konfigurálható konténer erőforrások A nehéz terhelésű adat tudomány és ML adat előkészítés érdekében mostantól 16 GB-ig memória és 4 vCPU-ig CPU erőforrást biztosíthatsz funkciónként. Ez lehetővé teszi a memóriaigényes munkaterhelések (például nagy sorozott modellek vagy geo-spatial adathalmazok betöltése) közvetlen futtatását a homokozóban. Testreszabható párhuzamosság Optimalizáld az áteresztőképességet és az erőforrások hatékonyságát az egyes konténereknél megadható egyidejű kérések konfigurálásával (akár 1,000 egyidejű művelet). Ez segít garantálni, hogy a skálázott végrehajtás rendkívül költséghatékony és kiválóan teljesít a nehéz párhuzamos terhelések alatt. Folyamatos naplók és valós idejű metrikák Könnyen hibakereshetsz és figyelheted a termelési munkaterheléseidet. A BigQuery konzol most közvetlen linket tartalmaz a lekérdezési eredményekből a valós idejű CPU, memória és párhuzamossági metrikákhoz a Cloud Monitoringban. Számlázás A BigQuery Kezelt Python UDF-ek a BigQuery Szolgáltatások SKU-jával kerülnek számlázásra. Ez a SKU teljes mértékben jogosult a BigQuery költési elkötelezettség alapú kedvezményekre (CUD), lehetővé téve a költséghatékonyság maximalizálását. Költségfigyelhetőséget is kaphatsz az INFORMATION_SCHEMA.JOBS-on keresztül, valamint a MANAGED_ROUTINE_EXECUTION és MANAGED_ROUTINE_BUILD számlázási címkék használatával. További részletekért lásd a dokumentáció árképzési szakaszát. Kezdéshez A BigQuery Python UDF-ekkel való kezdéshez először nézd meg a termék dokumentációját. Ezután próbáld ki a nyilvános BigQuery adatbázisban közzétett funkciókat. Például futtasd az alábbi kódot egy BigQuery projektben, hogy tokenizáld a BigQuery nyilvános adatain található országneveket. A háttérben a token UDF az o200k_base tokenizáló könyvtárat használja. Vagy próbálj ki egy kód laboratóriumot, hogy felfedezd a haladó forgatókönyveket. Ezután, hogy megtudd, hogyan kell megvalósítani más haladó tervezési mintákat, javasoljuk, hogy nézd át hivatalos nyilvános dokumentációs útmutatóinkat: Google Cloud vagy online szolgáltatások hívása (kapcsolatokkal): Ha biztonságosan szeretnél csatlakozni az első fél Google Cloud szolgáltatásokhoz, például a Gemini Enterprise Agent Platformhoz vagy a Cloud Translation-hez, vagy külső API végpontokhoz Cloud Resource kapcsolatok használatával, nézd meg a Google Cloud vagy online szolgáltatások hívása Python kód útmutatót. BigQuery DataFrame-ek (BigFrames) Python UDF-ek: Ha szeretnéd megtudni, hogyan írj, telepíts és skálázz testreszabott Python függvényeket natívan a standard Jupyter notebook vagy Colab környezetekből a BigQuery DataFrame-ek használatával, látogass el a Python függvények testreszabása BigQuery DataFrame-ekhez útmutatóhoz. Hozd ki a Python munkafolyamataidat az elszigeteltségből és közvetlenül a data warehouse szívébe!