Az SSIS oktatóanyaga az SQL Server Integration Services alapvető és haladó fogalmait tartalmazza. SSIS oktatóanyagunk kezdőknek és profiknak készült.
SQL Server integrációs szolgáltatás egy gyors és rugalmas adattárolási eszköz, amelyet adatkinyerésre, transzformációra és adatbetöltésre használnak. Ez megkönnyíti az adatok betöltését egyik adatbázisból egy másik adatbázisba, például SQL Server, Oracle, Excel fájlba stb.
Ebben az oktatóanyagban a következő témákat tárgyaljuk:
- Mi az SSIS
- Mi az adatintegráció
- Miért az SSIS
- Hogyan működik az SSIS
- Az SQL Server Integration Service követelményei
- Mi az az SSIS csomag?
- SSIS feladatok
- Példa adatáramlási feladatra
- Példa az Execute SQL Task-ra
Mi az SSIS?
- Az SSIS az SQL Server Integration Services rövidítése.
- Ez a Microsoft SQL Server adatbázisszoftverben elérhető összetevője, amely számos integrációs feladat elvégzésére szolgál.
- Ez egy adattárolási eszköz, amelyet adatkinyerésre, az adatok másik adatbázisba való betöltésére, átalakításokra, például tisztításra, összesítésre, adatok egyesítésére használnak.
- Az SSIS eszköz grafikus eszközöket és ablakvarázslók munkafolyamat-funkcióit is tartalmazza, mint például e-mail üzenetek küldése, ftp műveletek, adatforrások.
- Az SSIS-t az átalakítási és integrációs feladatok széles körének elvégzésére használják. Összességében az SSIS eszközt használják az adatmigrációhoz.
Az SSIS egy olyan eszköz, amelyet főként két funkció végrehajtására használnak:
Az SSIS az adatintegrációt több forrásból származó adatok kombinálásával hajtja végre, és egységes adatokat biztosít a felhasználóknak.
A munkafolyamat számos dolog elvégzésére használható. Néha bizonyos lépéseket kell végrehajtanunk, vagy egy adott útvonalat kell végrehajtanunk, amely vagy az időtartamon, vagy a csomagnak átadott paraméteren vagy az adatbázisból lekérdezett adatokon alapul. Használható az SQL Server adatbázisok karbantartásának automatizálására és a többdimenziós analitikai adatok frissítésére.
Mi az adatintegráció?
Az adatintegráció egy olyan folyamat, amelyet követve integrálhat több forrásból származó adatokat. Az adatok lehetnek heterogén adatok vagy homogén adatok. Az adatok lehetnek strukturáltak, félig strukturáltak vagy strukturálatlanok. Az adatintegrációban a különböző, eltérő adatforrásokból származó adatok integrálódnak, hogy értelmes adatokat képezzenek.
Néhány módszert használnak az adatintegráció eléréséhez:
Az adatintegráció előnyei:
Csökkenti az adatok bonyolultságát, ami azt jelenti, hogy az adatok bármilyen rendszerbe eljuttathatók. Az adatintegráció megőrzi a komplexitást, az áramvonalas kapcsolatokat, és megkönnyíti az adatok bármely rendszerbe történő eljuttatását.
Az adatok integritása nagy szerepet játszik az adatintegrációban. Az adatok megtisztításával és érvényesítésével foglalkozik. Mindenki kiváló minőségű és robusztus adatokra vágyik, ezért ennek eléréséhez adatintegrációs koncepciót alkalmazunk. Az adatintegráció segít a hibák, következetlenségek és duplikációk eltávolításában.
Az akadálymentesítés az adat-együttműködés alá tartozik. A hozzáférhetőség azt jelenti, hogy az adatok könnyen átalakíthatók, az emberek pedig könnyedén integrálhatják az adatokat projektekbe, megoszthatják eredményeiket, és naprakészen tarthatják az adatokat.
Azt is lehetővé teszi, hogy okosabb döntéseket hozzon. Az integrált adat a vállalaton belüli továbbítási folyamatra utal, hogy könnyebben megérthessük az információkat. Az integrált adatok sokkal egyszerűbbek és informatívabbak.
Miért az SSIS?
Az SSIS-t a következő okok miatt használják:
Az SSIS-t több adatforrásból származó adatok kombinálására használják, hogy egyetlen struktúrát hozzanak létre egy egységes nézetben. Alapvetően az adatok összegyűjtéséért, az adatok több adatforrásból való kinyeréséért és egyetlen adatforrássá való egyesítéséért felelős.
Az SSSIS egy olyan platform, amely képes nagy mennyiségű adat betöltésére Excelből egy SQL Server adatbázisba.
Az SSSIS eszköz szoros integrációt biztosít a Microsoft más termékeivel.
Az SSSIS eszköz olcsóbb, mint a legtöbb egyéb eszköz. Ellenállhat más alaptermékeknek, azok kezelhetőségének, üzleti intelligenciájának stb.
Az SSSIS lehetővé teszi az összetett hiba kezelését egy adatfolyamon belül. A hiba súlyosságától függően elindíthatja és leállíthatja az adatfolyamot. Hiba esetén akár e-mailt is küldhet az adminisztrátornak. Ha egy hiba megoldódott, kiválaszthatja a munkafolyamatok közötti útvonalat.
Hogyan működik az SSIS?
Tudjuk, hogy az SSIS két funkció platformja, azaz az adatintegráció és a munkafolyamat. Mind az adatátalakítási, mind a munkafolyamat-létrehozási feladatokat az SSIS csomag használja. Az SSIS csomag három összetevőből áll:
Működési adatok
Az operatív adatok több adatforrásból származó adatok integrálására szolgáló adatbázis, hogy további műveleteket hajtsanak végre az adatokon. Ez az a hely, ahol az adatokat tárolják az aktuális működéshez, mielőtt elküldik őket az adattárházba tárolásra, jelentésre vagy archiválásra.
gépirat mindegyik
ETL
- Az ETL az SSIS eszköz legfontosabb folyamata. Az ETL az adatok kibontására, átalakítására és adattárházba való betöltésére szolgál.
- Az ETL egy olyan folyamat, amely az adatok több adatforrásból való kihúzásáért, az adatok hasznos adatokká történő átalakításáért, majd az adatok adattárházban történő tárolásáért felelős. Az adatok tetszőleges formátumúak lehetnek xml fájlban, lapos fájlban vagy bármilyen adatbázisfájlban.
- Azt is biztosítja, hogy az adattárházban tárolt adatok relevánsak, pontosak, jó minőségűek és hasznosak legyenek az üzleti felhasználók számára.
- Könnyen elérhető, így az adattárház hatékonyan és eredményesen használható.
- A strukturált és strukturálatlan adatok több adatforrásból való lekérésével is segíti a szervezetet az adatvezérelt döntések meghozatalában.
Az ETL egy három szavas fogalom, de négy fázisra oszlik:
Elfog: A rögzítési fázist kivonatolási fázisnak is nevezik. Ebben a fázisban kiválasztja a forrásadatokat vagy metaadatokat, és az adatok bármilyen formátumúak lehetnek, például xml fájl, lapos fájl vagy bármilyen adatbázisfájl.
Bozót: Ebben a fázisban az eredeti adatokat ellenőrzik. Ellenőrzi az adatokat, függetlenül attól, hogy tartalmaznak-e hibákat vagy sem. Bizonyos mesterséges intelligencia technikák segítségével ellenőrzi az adatok hibáit vagy következetlenségét. Röviden: ellenőrzi, hogy a termék minősége megfelel-e vagy sem.
Átalakítás: Ez az ETL harmadik fázisa. Az átalakítás az a folyamat, amelynek során az eredeti formátumot a kívánt formátumba konvertálják. Az átalakítás az adatok modellezése vagy megváltoztatása a felhasználói igényeknek megfelelően. A változtatások lehetnek az oszlopok vagy sorok számának módosítása.
Betöltés és index: A negyedik fázis a terhelés és index. Betölti az adatokat és ellenőrzi a feldolgozott sorok számát. Az adatok betöltése után az indexelés kerül alkalmazásra. Az indexelés segít nyomon követni az adattárházba betöltött sorok számát. Az indexelés segít az adatok azonosításában is, függetlenül attól, hogy a megfelelő formátumban vannak-e vagy sem.
Adattárház
Az adattárház egyetlen, teljes és következetes adattár, amely több adatforrásból származó adatok kombinálásával jön létre.
Az adatbázis és az adattárház közötti különbség
A válasz lehet igen és nem is. Mind az adatbázis, mind az adattárház nagy adategységet és hasonló fizikai reprezentációt tartalmaz, de az Adattárház összetett lekérdezésének válaszideje gyorsabb, mint az adatbázisé.
Az SQL Server Integration Services követelményei
Az SQL Server Integration Services telepítéséhez a következő követelmények vonatkoznak:
- Telepítse az SQL Servert
- Telepítse az SQL Server Data Tools programot
Az SQL Server Data eszközök telepítéséhez kövesse az alábbi lépéseket:
1. lépés: Kattints a linkre https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 az SQL Server adateszközeinek letöltéséhez.
2. lépés: Ha rákattint a fenti linkre, az alábbi képernyő jelenik meg:
A fenti képernyőn válassza ki a telepíteni kívánt SSDT verziót.
3. lépés: A letöltés befejezése után futtassa a letöltött fájlt. A letöltött fájl futtatásakor az alábbi képernyő jelenik meg:
4. lépés: Kattintson a Tovább gombra.
5. lépés: Válassza ki a Visual Studio 2017-ben telepíteni kívánt Visual Studio példányt és eszközöket.
6. lépés: Kattintson a Telepítés gomb.
ekta kapoor színész
Mi az SSIS csomag?
A csomag egy alapvető blokk, ahol az SSIS-ben kódolunk. Itt a kód nem azt jelenti, hogy valamilyen programozási nyelven kódolsz; ez azt a fejlődést jelenti, amit csinálsz. A fejlesztés az SSIS csomagban történik. Az SSIS-t főleg az ETL-folyamathoz használják, az ETL-folyamatot pedig az SSIS-csomagon belül hajtják végre.
Az SSIS csomag három részből áll:
Az SSIS-csomagnak lesz néhány kapcsolata, és ezek a kapcsolatok különféle adatforrásokhoz való csatlakozásra szolgálnak.
Az SSIS-csomag két elemből áll, azaz vezérlőfolyamelemekből és adatfolyamelemekből. A vezérlőfolyamat-elemek kezelik a munkafolyamatokat. A munkafolyamat azt jelenti, hogy bizonyos feladatokat lépésenként hajtunk végre, így a sorrend a vezérlési folyamaton keresztül történik.
Az adatfolyam-elemek átalakításokat hajtanak végre.
SSIS feladatok
Az SSIS csomagban hozzáadhatjuk a feladatokat. A feladat egy munkaegység, és különböző típusú feladatokat kell elvégeznünk. Különféle típusú feladatok léteznek, de megvitatjuk az SSIS-ben leggyakrabban használt feladatokat:
Az SQL utasítások relációs adatbázissal szembeni végrehajtására szolgál.
Főleg az adatok egy vagy több adatforrásból történő kiolvasására, az adatok átalakítására szolgál, valamint egy vagy több célállomásra is betöltheti az adatokat.
SSAS kocka vagy táblázatos modell objektumainak feldolgozására szolgál.
Ez a feladat az ugyanazon a projekten belüli többi csomag meghívására szolgál. Még a változó értékeket is átadhatja a hívott csomagnak.
Lehetővé teszi egy alkalmazás vagy kötegelt parancsfájlok futtatását SQL Server Integration Servicesként. Használható a szabványos alkalmazások, például Microsoft Excel, Microsoft Word stb. megnyitására. A tömörített fájl kicsomagolására is használható.
Használható a fájlrendszerben végzett manipulációk végrehajtására, például fájlok áthelyezésére, fájlok törlésére, fájlok átnevezésére, könyvtár módosítására stb.
Az IFTP-feladatok a fájlokkal és mappákkal kapcsolatos műveletek végrehajtására szolgálnak. Például, ha el szeretné küldeni vagy fogadni a fájlt az FTP-kiszolgálóról a helyi könyvtárba, akkor a rendszer az SSIS FTP-feladatot használja.
Ez a feladat lehetővé teszi a végrehajtani kívánt .Net kód megírását.
Ez a feladat e-mail küldésére szolgál. Főleg akkor használatos, ha értesíteni szeretné a felhasználókat a feladat állapotáról, hogy az futó állapotban van-e, vagy valamilyen hiba történt.
Lássunk néhány működő példát egy adatintegrációs szolgáltatásra.
Példa adatáramlási feladatra
1. lépés: Először létrehozunk egy Excel fájlt a Microsoft Excelben. Tegyük fel, hogy a tanulói adatbázist Microsoft Excelben hozom létre, és a tanulói táblázat mezői a következők: tanulóazonosító, tanulónév, jegyek és nem.
2. lépés: Nyissa meg a Visual Studiot (SQL Server Data Tools).
3. lépés: Kattintson a Fájl lehetőségre, majd lépjen az Új->Projekt elemre.
4. lépés: Ha rákattint a Projektre, megjelenik az alábbi képernyő:
A fenti képernyőn kattintson a panel bal szélén megjelenő Integrációs szolgáltatások elemre, majd kattintson az Integrációs szolgáltatások projektre.
5. lépés: Kattintás után az Integrációs Szolgáltatások Projekt opció esetén a képernyő az alábbiak szerint jelenik meg:
A fenti képernyő öt lapból áll, például Control flow, Data flow, Parameters, Event Handler és Package Explorer. Már tárgyaltuk a vezérlési folyamatot és az adatfolyamot, mind a vezérlőfolyam, mind az adatfolyam létezik az SSIS-csomagban.
6. lépés: Az adatok importálásához először létre kell hoznunk az adatbázist, amelyben létrehozzuk a táblát az SQL Server adatbázisban. Mint tudjuk, az Excel fájlon belül elérhetőek a hallgatói adatok, és az adatokat SQL Server adatbázisba szeretnénk importálni. Ennek eléréséhez először létre kell hoznunk a táblát az SQL Serverben. Nyissa meg az SQL Server Management stúdiót.
7. lépés: Hozd létre a diák adatbázis. Kattintson a jobb gombbal az adatbázisra, majd kattintson a Új adatbázis választási lehetőség.
8. lépés: Írja be az adatbázis nevét az alábbi képernyőképen:
A StudentWarehouse-t adatbázisnévként adtam meg.
9. lépés: Kattintson a rendben gomb.
10. lépés: Most létrehozzuk a táblázatot a StudentWarehouse adatbázis. Kattintson a jobb gombbal a táblázatokra, majd kattintson az Új táblázatra.
11. lépés: Most hozzáadjuk a mezőket egy táblázathoz, például tanulói_azonosítót, tanuló_nevet, jegyeket és nemet. A student_id-t elsődleges kulcsként állítjuk be, amely egyedileg azonosítja az egyes sorokat.
A fenti képernyő azt mutatja, hogy négy mezőt adunk hozzá egy táblázathoz. Miután az összes mezőt hozzáadtuk egy táblázathoz, elmentjük a táblázatot egy hasznos név megadásával. Tegyük fel, hogy megadtam a tanulót táblázatnévként.
12. lépés: Menjen vissza a vizuális stúdióba. A vezérlési folyamat tartalmazza az adatfolyam-feladatot, húzza át az adatfolyam-feladatot a főablakba.
13. lépés: Amikor duplán kattintunk az Adatfolyam feladatra, a vezérlő automatikusan átkerül az adatfolyamra a Control Flow-ból, így azt mondhatjuk, hogy a Control Flow egy adatfolyam konténer.
14. lépés: Most már elvégezhetjük az átalakításokat az Adatfolyamban. A korábban létrehozott Excel-fájlból szeretnénk kivonni az adatokat, ezért húzza át az Excel-forrást a panel bal szélén megjelenő többi forrásból.
A fenti képernyőn azt látjuk, hogy az Excel-forráson belül megjelenik a piros kereszt, ami azt jelenti, hogy az összetevő az Excel-forrással van konfigurálva.
15. lépés: Az összetevő konfigurálásához kattintson jobb gombbal az Excel forrásra, majd kattintson a Szerkesztés lehetőségre, ahogy az alábbi képernyőképen látható:
16. lépés: Töltse ki az alábbi képernyőképen látható adatokat:
17. lépés: Az összes adat megadása után az alábbi képernyő jelenik meg:
18. lépés: Kattintson az Excel forrásra.
A fenti képernyőn két nyíl látható, a piros és a kék nyíl. A kék nyíl az Excel fájlból kapott tényleges adatokat, a piros nyíl pedig a hibákat jelöli. Most végre kell hajtanunk az átalakításokat, az átalakítások végrehajtása előtt pedig be kell töltenünk az adatbázist.
19. lépés: Az adatbázis betöltéséhez kattintson az Egyéb úti célokra, majd a Célra.
20. lépés: A cél hozzáadása után csatlakoztassa a forrást a célhoz.
21. lépés: A fenti lépésben észrevettük a piros keresztet az ADO NET Destinationben, ami azt jelenti, hogy nincs konfigurálva komponenssel. Kattintson a jobb gombbal az ADO NET célhelyre, majd kattintson a Szerkesztés lehetőségre, ahogy az alábbi képernyőképen látható:
22. lépés: Meg kell adnia a konfigurációkezelőt.
23. lépés: Kattintson a Új gombot a kapcsolatkezelő hozzáadásához. Amikor rákattint a Új gombot, az alábbi képernyő jelenik meg:
24. lépés: Adja hozzá a kiszolgáló nevét, és válassza ki az adatbázis nevét az SQL Serverről.
25. lépés: Kattintson az OK gombra.
26. lépés: Adja hozzá a tábla nevét, amelybe be szeretné tölteni az adatokat.
27. lépés: Az alábbi képernyőn rendelje hozzá a bemeneti forrás mezőjét a célforrás mezőjéhez.
jvm java-ban
28. lépés: A leképezés hozzáadása után a forrás csatlakozik a célhoz, ahogy az alábbi képernyőképen látható:
29. lépés: Kattintson a Rajt gombot az Integration Service Project futtatásához. A projekt futtatásakor az adatok betöltődnek a célhelyre, azaz SQL szerver .
Példa az Execute SQL Task-ra
- Kövesse az előző példa 2. lépésétől 5. lépéséig tartó lépéseket.
- Drag and drop a SQL Task végrehajtása a főablak bal szélső paneljén jelenik meg.
A fenti képernyőn azt látjuk, hogy a piros kereszt megjelenik az Execute SQL Task alatt, ami azt jelenti, hogy a Kapcsolatkezelő nincs konfigurálva a SQL Task végrehajtása . A beállításhoz hozzá kell adnunk a Kapcsolatkezelőt.
- A Kapcsolatkezelő hozzáadásához kattintson a jobb gombbal a Kapcsolatkezelőre, majd kattintson az Új kapcsolatkezelőre az alábbi képernyőképen látható módon:
- Válaszd ki a OLEDB Kapcsolatkezelő típusként, majd kattintson a gombra Hozzáadás gombot az alábbi képernyőképen látható módon:
- Miután rákattintott a Hozzáadás gombot, az alábbi képernyőképen látható képernyő jelenik meg:
A fenti képernyőn azt figyeljük meg, hogy az adatkapcsolat a StudentWarehouse adatbázis már elérhető, ahogy az előző lépésben létrehoztuk. Kattintson a rendben gomb.
- Ha az OK gombra kattint, az alábbi képernyő jelenik meg:
A fenti képernyőn meg kell adnia az olyan részleteket, mint a feladat neve, leírása, SQL utasítás (az SQL-feladat, amelyet el kell végeznie a táblán).
- A fenti képernyőképen a következő adatokat adtam meg:
A fenti esetben az insert parancsot az SQLStatementben adtam meg.
- Kattintson a rendben gomb.
- Amikor konfigurálja az összetevőt az SQL Task végrehajtásával, a piros kereszt eltűnik, ahogy az alábbi képernyőképen látható:
- Futtassa a projektet a gombra kattintva Rajt .
- Amikor rákattint a Rajt , a képernyő az alábbiak szerint jelenik meg:
A fenti képernyőn a pipa jelzi, hogy az SQL-feladat sikeresen befejeződött. Az előző lépésekben hozzáadott insert utasítás végrehajtásra került, és az adatok táblázatba kerülnek. azaz diák1.
- A feladat kimenete az alábbiakban látható
Előfeltétel
Az SSIS megtanulása előtt rendelkeznie kell az SQL Server alapismereteivel.
Közönség
SSIS oktatóanyagunk a kezdők és a profik számára készült.
Probléma
Biztosítjuk, hogy ebben az SSIS oktatóanyagban nem talál problémát. De ha bármilyen hiba vagy hiba van, kérjük, tegye közzé a hibát a kapcsolatfelvételi űrlapon.