כדאי להכיר: StreamSets Data Collector
עוסקים ב- Big Data? כדאי להכיר:
StreamSets Data Collector הוא מוצר הכתוב בקוד פתוח, ונותן כלי להעברת מידע רב בצורה מתמשכת (continuous data pipelines) ומהירה בין כלים נפוצים, ללא צורך בכתיבת קוד (אך עדיין ניתן גם להוסיף קוד במידת הצורך).
המוצר מבוסס גירסא חינמית וגירסאות בתשלום הכוללות תמיכה של היצרן. המוצר מתאים להתקנה פנים-ארגונית (on-premises / self-hosted) ומתאים גם לרשתות סגורות.
המוצר מאפשר העברת כמות גדולה של מידע (Big Data) ממגוון כלים ומקורות מידע, ואל מגוון כלים, ובפרט העברת מידע מובנה (רלציוני) אל כלי NoSQL לא-רלציוניים.
לדוגמא: הכלי מאפשר העברת מידע מ- database רלציוני (relational database) אל database לא רלציוני (non-relational database) – למשל מ- SQL אל MongoDB — ובקלות יחסית.
StreamSets Data Collector
הכלי מאפשר להגדיר data pipelines בצורה ויזואלית וגם בעזרת שורת-פקודה (CLI). ניתן להגדיר מקורות (origins) ויעדים (destinations) , וכן ניתן להגדיר תהליכים לעיבוד המידע בתווך שבין המקורות ליעדים, כולל אפשרויות מובנות למניפולציות על המידע.
סקירה קצרה על המוצר – כולל הדגמה טכנית וכתוביות שהוספנו (זמן סרטון: 4 דקות)
מקורות לקבלת מידע (Origins):
Kafka, Amazon S3, Kinesis, Hadoop, Cloudara, Hortonworks, MongoDB, JDBC Query Consumer ,File Tail, HTTP Client, FTP client, Redis Consumer, Salesforce, MySQL Binary Log, HTTP Server, Elastic (Elasticsearch), TCP Server, Google BigQuery, SQL Server Change Tracking, MapR, UDP Multithreaded Source, Windows Event Log
יעדים להכנסת מידע (Destinations):
Kafka Producer, Amazon S3, Cassandra, Kinesis Producer, Hadoop FS Apache, Cloudera, Hortonworks, Elastic (Elasticsearch), Flume, JDBC Producer, HBase, Hive Streaming, Solr, RabbitMQ, InfluxDB, Kinesis Firehose, MongoDB, Apache Kudu, MapR, Redis, Microsoft Azure HDInsight, Salesforce, Microsoft Azure Data Lake Store, Google Cloud Bigtable, HTTP Client, WebSocket Client, MQTT Publisher, CoAP Client, Azure Event Hub Producer, Google Pub/Sub Publisher, Azure IoT Hub Producer, Google BigQuery, KineticaDB, Google Cloud Storage, Aerospike, Named Pipe
הכלי תומך גם בכתיבת קוד – בשפות הבאות:
Java, JavaScript, Jython, Groovy, Java Expression Language (EL), Spark
קישורים רלבנטים:
