A deep learning (mélytanulás) ma már gyakran az ipari képfeldolgozás központi eleme. Lehetővé teszi a precíz hibadetektálást, az intelligens minőségellenőrzést és az automatizált döntéshozatalt ott, ahol a hagyományos képfeldolgozási módszerek elérik a határaikat.
Ebben a cikkben bemutatjuk, hogyan épül fel egy működő deep learning gépi látás rendszer és mely komponensek szükségesek a megbízható üzemeltetéshez.
A deep learning gépi látás rendszerek felépítése
A deep learning rendszereket eleve neurális hálózat alapú működésre tervezik. GPU-alapú számítási kapacitásra, optimalizált keretrendszerekre és end-to-end tanulási megközelítésre épülnek. Ez nagyfokú rugalmasságot biztosít, ugyanakkor gyakran jelentős erőforrásigénnyel is jár.
A cél: end-to-end AI integráció a képrögzítéstől a döntéshozatalig
Egy deep learning gépi látás rendszer elsődleges célja a mesterséges intelligencia zökkenőmentes integrációja az összes folyamatlépésben:
- a nyers adatok rögzítésétől a kamera segítségével
- a képadatok valós idejű feldolgozásán át
- egészen az AI model által támogatott automatizált döntéshozatalig
Minden komponens kifejezetten deep learning használatra van optimalizálva. Ennek eredménye egy zárt rendszer, amely pontos, reprodukálható és skálázható eredményeket biztosít a nagy igényű ipari alkalmazásokban.
Deep learning folyamat: a képrögzítéstől az AI-alapú döntésig
Egy deep learning gépi látás rendszer teljesítménye szempontjából kulcsfontosságú az egyes komponensek megfelelő együttműködése. A tipikus munkafolyamat az alábbi egymást követő lépésekből áll:
- Képfelvétel – A kamera rögzíti a nyers képet, és kiváló minőségű képadatokat szolgáltat.
- Képadat-átvitel – A frame grabber veszteségmentesen és hatékonyan továbbítja a képadatokat a feldolgozó hardver felé.
- Előfeldolgozás – A pylon software vagy a camera belső funkciói optimalizálják a képet (pl. zajcsökkentés, debayering). A deep learning software átveszi az adatok vezérlését, konfigurálását és AI model segítségével történő elemzését.
- AI döntéshozatal – A Konvolúciós neurális hálózat (CNN) model elemzi a képet és döntést hoz (például hibadetektálás).
- Eredmény továbbítása – Az eredmények továbbításra kerülnek a vezérlő vagy egy magasabb szintű rendszer felé.
Az interfészek és integrációs megoldások biztosítják a modulok közötti zökkenőmentes kommunikációt, valamint az egyszerű beillesztést a meglévő gyártókörnyezetbe.
A folyamatlépések a képrögzítéstől az AI-alapú döntésig: 1. Képfelvétel | 2. Képadat-átvitel | 3. Előfeldolgozás | 4. AI döntéshozatal | 5. Eredmény továbbítása
A deep learning gépi látás rendszer hardver- és szoftverkomponensei
Egy deep learning rendszer több, technikailag összehangolt komponensből áll. Minden egyes elem jól meghatározott feladatot lát el és hozzájárul a rendszer teljesítményéhez és megbízhatóságához.
Deep learning hardver
A képfeldolgozó hardver a deep learning rendszer adatközpontja. A hardver kiválasztása a feldolgozási sebességtől, a rendszerköltségektől és a skálázhatósági igényektől függ. Alkalmazástól függően különböző platformok használatosak.
PC-alapú
- Előnyök: gyors beüzemelés, rugalmas, költséghatékony
- Tipikus alkalmazások: prototípusok, asztali vizsgálórendszerek
FPGA
- Előnyök: valós idejű működés, késleltetésmentes, robusztus
- Tipikus alkalmazások: gyártásközi minőségellenőrzés, gyártás
Beágyazott
- Előnyök: kompakt kialakítás, edge AI, alacsony fogyasztás
- Tipikus alkalmazások: mobil eszközök, decentralizált megoldások
Gépi látás kamera
A kamera a rendszer szíve. Ez rögzíti azokat a képadatokat, amelyeket később az AI model dolgoz fel. A magas képminőség elengedhetetlen a pontos eredmények eléréséhez.
Az olyan ipari kamerák, mint a Basler ace, Basler ace 2, Basler dart vagy Basler racer sorozat az alábbiakat kínálják:
- Magas felbontás és kiváló képminőség
- Támogatás elterjedt interfészekhez (GigE, USB 3.0, CoaXPress)
- Belső képelőfeldolgozás (pl. de-bayering, élesítés, zajcsökkentés)
- Reprodukálható eredmények megbízható deep learning alkalmazásokhoz
Frame grabber és képadat-kezelés
A frame grabber elengedhetetlen a nagy adatátviteli igényű vagy valós idejű alkalmazásoknál. Közvetlenül a kamerától veszi át a képadatokat és továbbítja azokat a feldolgozó rendszerhez.
Különösen FPGA processzorokkal kombinálva biztosít késleltetésmentes, robusztus és nagy sebességű képfelvételt és feldolgozást.
Deep learning szoftverek és eszközök
A szoftver teremti meg a kapcsolatot a hardver és az AI model között. Lehetővé teszi a kamerák integrációját, konfigurálását és vezérlését, valamint a deep learning modellek tanítását és futtatását.
pylon AI
A pylon AI egy nagy teljesítményű platform, amelyet kifejezetten Konvolúciós neurális hálózat (CNN) modellek hatékony ipari integrációjára fejlesztettek. Lehetővé teszi saját AI modellek egyszerű integrálását, optimalizálását és benchmarkolását közvetlenül a célhardveren.
pylon vTools képfeldolgozáshoz
A pylon AI-jal kombinálva a pylon vTools kész, alkalmazásspecifikus képfeldolgozás funkciókat kínál – például objektumfelismerés, OCR, szegmentálás és osztályozás – mélyreható programozási ismeretek nélkül. A vTools elérhető klasszikus algoritmusokra és mesterséges intelligencia megoldásokra építve is.
VisualApplets – FPGA programozás
FPGA-alapú rendszerek esetén a VisualApplets egy intuitív, grafikus fejlesztőkörnyezetet biztosít, amelyben komplex deep learning munkafolyamatok és képelőfeldolgozási lépések valósíthatók meg közvetlenül hardverszinten.
Ez a kombináció maximális rugalmasságot, skálázhatóságot és precizitást biztosít a teljes deep learning rendszer számára.
Döntéshozatal az AI model segítségével
A döntéshozatal fázisban jellemzően egy Konvolúciós neurális hálózat (CNN – Convolutional neural network) végzi a beérkező képadatok elemzését. A model több egymást követő rétegen keresztül dolgozza fel a kamera által rögzített képeket és releváns jellemzőket – például alakzatokat, éleket vagy textúrákat – nyer ki.
Ezt követi az osztályozás, szegmentálás vagy objektumfelismerés, az adott feladattól függően.
A pylon AI és a pylon vTools segítségével ez a folyamat automatizált és valós időben történik. Az AI model például hibás alkatrészeket azonosít, szöveget olvas le termékekről (OCR), vagy meghatározott objektumokat lokalizál a képen.
A döntéshozatal eredményei azonnal rendelkezésre állnak további folyamatokhoz, mint a válogatás, minőségellenőrzés vagy folyamatoptimalizálás.
A model minősége nagymértékben függ a képzési adatok minőségétől és a használt hardverre történő optimalizálástól. Ezért a lehető legjobb képminőség nemcsak a képfelvétel során fontos, hanem az AI tanításának alapját is képezi.
Rendszerintegráció és interfészek
Meghatározó tényezők a deep learning rendszerek teljesítményében
Az ipari deep learning gépi látás rendszerek sikeres megvalósítása nagyrészt a jól átgondolt rendszerintegráción és a megfelelő interfészek kiválasztásán múlik.
Zökkenőmentes hardverkommunikáció
Zökkenőmentes hardver–szoftver kommunikáció
A pylon software tanúsított drivereket és nagy teljesítményű interfészeket biztosít az AI döntéshozatala és a kamera hardver közötti megbízható kommunikációhoz. Ide tartozik többek között a GigE Vision, az USB3 Vision és a CoaXPress.
A pylon AI lehetővé teszi a konvolúciós neurális hálózatok (CNN) közvetlen integrálását a már bevált pylon képfeldolgozási folyamatba. Ez biztosítja a robusztus és hatékony adatfeldolgozást.
OPC UA vTool – ipari konnektivitás
Az OPC UA támogatás kulcsfontosságú a magasabb szintű vezérlőrendszerekhez való csatlakozáshoz. Lehetővé teszi az AI eredmények közvetlen továbbítását PLC vagy MES rendszerek felé.
Az OPC UA vTool segítségével a képfeldolgozási folyamat eredményeit közvetlenül egy OPC UA szerverre teheti közzé, így biztosítva a zökkenőmentes adatcserét.
Rugalmas architektúrák: peremszámítás és felhőintegráció
A deep learning rendszerek követelményei alkalmazásonként jelentősen eltérnek, ezért a rugalmas architektúrák elengedhetetlenek.
Peremszámítás (edge computing) – decentralizált alkalmazásokhoz
A késleltetés szempontjából kritikus, mobil vagy decentralizált alkalmazások esetében a beágyazott képfeldolgozási technológia lehetővé teszi az AI-modellek közvetlenül a periférián történő futtatását. Az olyan platformok, mint az NVIDIA® Jetson™, lehetővé teszik az AI-modellek azonnali futtatását az eszközön, biztosítva ezzel a maximális autonómiát, a minimális késleltetést és a hálózati kapcsolatoktól való függőség csökkentését.
Felhőintegráció a skálázhatóság és rugalmasság érdekében
Felhőintegráció – skálázhatóság és rugalmasság
Nagy adatvolument, elosztott tanítást vagy központosított rendszerkezelést igénylő alkalmazások esetén támogatott a vezető felhőplatformokkal való integráció, mint az Amazon Web Services (AWS), a Microsoft Azure és a Google Cloud Platform.
„A funkcionális deep learning képfeldolgozó rendszer általában egy kiváló minőségű képfeldolgozó kamerából, egy nagy teljesítményű képkapó eszközből, megfelelő képfeldolgozó hardverből, speciális mélytanulási szoftverből és egy optimalizált mesterséges intelligencia modellből áll. A megbízható, nagy teljesítményű interfészek biztosítják a rendszer zökkenőmentes integrációját. Termékeinkkel és szolgáltatásainkkal a képfeldolgozó mérnököknek és az alkalmazásukhoz mesterséges intelligencia megoldásokat használóknak szilárd alapot biztosítunk a kifinomult ipari képfeldolgozási projektekhez – a prototípus fejlesztésétől a sorozatgyártásig.”
Pauline Lux
Product Manager
