Sie sind hier: Startseite » Markt » Unternehmen

Offener Standard für Data Lakes werden


Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud: Das Delta Lake Projekt wird an die Linux Foundation übergeben
Das zunehmende Engagement der Community zeigt die Begeisterung für Open Source und fördert branchenweite Innovationen für datengesteuerte Initiativen


Die Linux Foundation, die gemeinnützige Organisation, die Masseninnovationen durch Open Source ermöglicht, gab bekannt, dass sie Delta Lake hosten wird, ein Projekt, das sich auf die Verbesserung der Zuverlässigkeit, Qualität und Leistung von Data Lakes konzentriert. Delta Lake wurde von Tausenden von Organisationen übernommen und verfügt über ein florierendes Ökosystem von Unterstützern, darunter Intel, Alibaba und Booz Allen Hamilton. Um die Akzeptanz und die Beiträge zur Weiterentwicklung weiter zu steigern, wird Delta Lake zu einem Linux Foundation-Projekt und einem offenen Governance-Modell.

Jedes Unternehmen strebt danach, durch Data Science, Machine Learning und Analytics mehr Werte aus Daten zu ziehen, aber sie werden massiv durch die mangelnde Datensicherheit in den Data Lakes behindert. Delta Lake löst Herausforderungen bei der Datenzuverlässigkeit, indem es die Transaktionen ACID-konform macht und gleichzeitiges Lesen und Schreiben ermöglicht. Seine Fähigkeit zur Durchsetzung von Schemas trägt dazu bei, dass der Data Lake frei von korrupten und nicht konformen Daten ist. Seit seiner Einführung im Oktober 2017 wurde Delta Lake von über 4.000 Unternehmen angenommen und verarbeitet jeden Monat über zwei Exabyte an Daten.

"Delta Lake unter das neutrale Haus der Linux Foundation zu bringen, wird der vom Projekt abhängigen Open-Source-Community helfen, die Technologie zu entwickeln, die sich mit der Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud befasst", sagte Michael Dolan, VP of Strategic Programs bei der Linux Foundation. "Die Linux Foundation unterstützt Open-Source-Communities dabei, ein offenes Governance-Modell zu nutzen, um einen weitgefächerten Beitrag der Industrie und die Konsensbildung zu ermöglichen, was den Stand der Technik für Datenspeicherung und -zuverlässigkeit verbessern wird."

Die Mitbegründer von Databricks sind die ursprünglichen Entwickler des Open-Source-Projekts Apache Spark, der Unified Analytics-Plattform, die sich zum Standard für die groß angelegte Datenverarbeitung entwickelt hat. Der CEO und Mitbegründer von Databricks, Ali Ghodsi, zeigt sich begeistert, diese Reise mit dem Delta Lake Projekt erneut zu unternehmen. "Unser Team hat weiterhin Open-Source-Projekte entwickelt und unterstützt, weil wir wissen, dass dies der schnellste und umfassendste Weg zur Innovation ist. Um die Datenherausforderungen von Unternehmen zu bewältigen, wollen wir sicherstellen, dass dieses Projekt Open Source in der wahrsten Form ist. Durch die Stärke der Linux Foundation Community und die Beiträge sind wir zuversichtlich, dass Delta Lake schnell zum Standard für die Datenspeicherung in Data Lakes werden wird."

Delta Lake wird über ein offenes Governance-Modell verfügen, das die Beteiligung und den technischen Fortschritt fördert und einen Rahmen für eine langfristige Betreuung durch ein Ökosystem bietet, das in den Erfolg von Delta Lake investiert hat. Obwohl Delta Lake ursprünglich für die Zusammenarbeit mit Apache Spark konzipiert war, hat es eine florierende Community entwickelt, die Unterstützung für andere Open-Source-Datensysteme bietet. (Linux Foundation: ra)

eingetragen: 17.10.19
Newsletterlauf: 28.11.19

Linux Foundation: Kontakt und Steckbrief

Der Informationsanbieter hat seinen Kontakt leider noch nicht freigeschaltet.


Meldungen: Unternehmen

  • Festpreis-Strategie und Service Excellence

    Ein Jahr nach Aufnahme des operativen Geschäfts weitet die Tecman Deutschland GmbH, zertifizierter Microsoft-Technologiepartner, ihre Geschäftstätigkeiten aus und schließt eine strategische Partnerschaft mit der acadon AG, Krefeld. Im Microsoft-Partnernetzwerk positioniert sich Tecman Deutschland mit klarem Fokus und Differenzierungsmerkmal: ERP-Cloud-Projekte auf Basis von Microsoft Dynamics 365 Business Central werden zum Festpreis umgesetzt - inklusive bedarfsgerechter, zuverlässiger Servicepakete.

  • Digitale Souveränität der Sparkassen

    Die Finanz Informatik (FI), der Digitalisierungspartner der Sparkassen-Finanzgruppe, hat im Geschäftsjahr 2024 erfolgreich Zukunftsthemen rund um das digitale Banking der Sparkassen eingeführt. Im Mittelpunkt standen innovative, nutzerfreundliche digitale Banking-Lösungen für die rund 50 Millionen Kundinnen und Kunden der Sparkassen sowie Lösungen, die die Institute durch Standardisierung und Effizienzsteigerungen entlasten. Der Jahresbericht 2024 mit dem Motto "Zukunft. Digital. Machen" zeigt, wie stark sich die FI entwickelt hat, welche Projekte sie für ihre Kunden umgesetzt hat und welchen Beitrag sie zur digitalen Souveränität der Sparkassen leistet.

  • Integration im gesamten Azure-Ökosystem

    Das Daten- und KI-Unternehmen Databricks und Microsoft haben eine mehrjährige vorzeitige Verlängerung ihrer strategischen Partnerschaft bekannt gegeben. Damit bekräftigen sie ihr gemeinsames Ziel, Unternehmen dabei zu unterstützen, das volle Potential von Daten und künstlicher Intelligenz auszuschöpfen. Azure Databricks, seit 2018 ein Microsoft-Dienst, ist eine bewährte Plattform, die Tausenden von gemeinsamen Kunden modernste Daten- und KI-Funktionen auf einer sicheren und vertrauenswürdigen Plattform bereitstellt.

  • Daten- und KI-Souveränität hoch im Kurs

    Cyber Security, Cloud-Transformation und Künstliche Intelligenz wachsen im deutschen IT-Services-Markt weiterhin am stärksten. Das ist eines der Ergebnisse der aktuellen Lünendonk-Studie "Der Markt für IT-Dienstleistungen in Deutschland 2025". Bei der q.beyond AG gehören diese Geschäftsfelder zu den Kernkompetenzen. Der Studie zufolge zählt das Unternehmen auch in diesem Jahr zu den führenden IT-Service-Unternehmen in Deutschland.

  • Zusammen an der europäischen Cloud arbeiten

    In einer Zeit, in der die digitale Souveränität Europas zunehmend unter geopolitischem und wirtschaftlichem Druck steht, startet die Initiative Sovereign European Cloud API (SECA API) die nächste entscheidungsrelevante Phase. Die Gründungsmitglieder Aruba, IONOS und Dynamo haben einen "Call for Comments" mit klarer Botschaft veröffentlicht: Es ist jetzt an der Zeit, einen wirklich offenen, interoperablen Cloud-Standard für Europa zu schaffen. Interessierte können sich bis Mitte September an der Weiterentwicklung von SECA beteiligen.

  • Cloud-Lösungen im Dokumentenmanagement

    DocuWare, Anbieterin von Lösungen für Dokumentenmanagement und Workflow-Automatisierung, blickt auf ein erfolgreiches Geschäftsjahr 2024 zurück. Sowohl Umsatz als auch die Anzahl der Kunden weltweit sind erneut gestiegen. Im Geschäftsjahr 2024 ist DocuWare weitergewachsen. Die Cloud-Umsätze stiegen im Vergleich zum Vorjahr um 25 Prozent, der weltweite Gesamtumsatz um 16 Prozent. Auch die Kundenzahlen entwickelten sich positiv: über 3.000 neue Kunden entschieden sich für DocuWare, davon rund 2.800 für die "DocuWare Cloud". Das unterstreicht den anhaltenden Trend zu flexiblen und skalierbaren Cloud-Lösungen im Dokumentenmanagement. Insgesamt vertrauen mittlerweile mehr als 20.000 Kunden weltweit auf DocuWare.

  • Risikominimierung in der Cloud

    Tenable gibt bekannt, dass es im ersten IDC MarketScape: Worldwide Cloud-Native Application Protection Platform (CNAPP) 2025 Vendor Assessment (Dokument-Nr. US53549925, Juni 2025) als "Major Player" eingestuft wurde. Die Einstufung von Tenable als "Major Player" im IDC MarketScape basiert auf einer umfassenden Analyse der Unternehmensstrategie und technologischen Leistungsfähigkeit. In die Bewertung flossen unter anderem strukturierte Gespräche, Interviews mit Marktteilnehmern sowie direktes Feedback von Endanwendern ein.

  • Best-Practice-Methoden für AWS-Sicherheit

    BeyondTrust hat eine mehrjährige strategische Kooperationsvereinbarung (Strategic Collaboration Agreement, SCA) mit Amazon Web Services (AWS) abgeschlossen. Ziel der Zusammenarbeit ist es, die strategische Partnerschaft zwischen beiden Unternehmen zu vertiefen, gemeinsame Innovationen voranzutreiben, die Marktreichweite zu erweitern und ein nachhaltiges Wachstum zu fördern.

  • Cybersecurity und Compliance

    Claroty hat mit dem C5 (Cloud Computing Compliance Criteria Catalogue)-Testat eine der höchsten Auszeichnungen für Cloud-Sicherheitsstandards in Deutschland erhalten. Der Spezialist für die Sicherheit cyber-physischer Systeme (CPS) hat dabei die strengen, vom Bundesamt für Sicherheit in der Informationstechnik (BSI) definierten Anforderungen erfüllt und unterstreicht damit seine Zielsetzung, Cybersecurity und Compliance durch eine sichere und regelkonforme Cloud bereitzustellen.

  • Bechtle erhält C5-Testat gemäß BSI-Kriterien

    Bechtle hat erfolgreich das C5:2020-Testat gemäß den Kriterien des Bundesamts für Sicherheit in der Informationstechnik (BSI) erhalten. Die unabhängige Prüfung bestätigt, dass Bechtle die strengen Anforderungen des C5-Kriterienkatalogs (Cloud Computing Compliance Criteria Catalogue) erfüllt und damit höchsten Ansprüchen an Informationssicherheit beim Betrieb von Cloud-Services entspricht. Dazu zählen insbesondere auch Maßnahmen zum Schutz vor Cyberangriffen und zur Sicherstellung der Datenintegrität.

Wir verwenden Cookies um unsere Website zu optimieren und Ihnen das bestmögliche Online-Erlebnis zu bieten. Mit dem Klick auf "Alle akzeptieren" erklären Sie sich damit einverstanden. Erweiterte Einstellungen