Xổ số Hồ Chí Minh vip-Xstv 11/03/2022 Hãy nói về lịch s ử của hệ thống dữ liệu lớn.
Vị Trí:Xổ số Hồ Chí Minh vip > Kqxs Lâm Đồng > Xstv 11/03/2022 Hãy nói về lịch s ử của hệ thống dữ liệu lớn.
Xstv 11/03/2022 Hãy nói về lịch s ử của hệ thống dữ liệu lớn.
Cập Nhật:2022-07-31 10:42    Lượt Xem:89

Xstv 11/03/2022 Hãy nói về lịch s ử của hệ thống dữ liệu lớn.

Dừng lại Những năm gần đây, với sự phát triển nhanh của dữ liệu lớn, nhiều cộng đồng nguồn mở nổi tiếng đã xuất hiện, bao gồm cả Hadoop, Storm, và sau đó là tia lửa, tất cả đều có các viễn cảnh ứng dụng riêng. Sparky đã tạo thành tiền lệ của bộ nhớ tính toán và chiến thắng sự phát triển nhanh chóng của bộ nhớ tính với bộ nhớ như một cá độ. Vẻ phổ biến gần như che giấu bóng tối của các hệ thống khác được phân phối. Giống như Flink, nó phát triển thầm trong thời gian này Description Trong một số cộng đồng ở nước ngoài, nhiều người chia động cơ tính toán của dữ liệu lớn thành bốn thế hệ. Tất nhiên, nhiều người sẽ không đồng ý. Hãy suy nghĩ và thảo luận chuyện đó trong lúc này. Description Truyền: 2mm; Độ bão hoà: The first generation of computer động cơ is certainIy Mapreducer mains by Hadoop. Nó phân chia tính toán thành hai giai đoạn: sơ đồ và giảm. Để áp dụng trên, chúng ta phải tìm cách để chia thuật to án, thậm chí còn phải thực hiện kết nối chuỗi các việc làm nhiều lần trong ứng dụng trên để hoàn thành một thuật toán hoàn chỉnh, như tính toán lặp tiếp. Description Giới thiệu Thư mục hiện thời là một mô hình lập trình cho việc vận hành song song các nhóm dữ liệu lớn (lớn hơn cả 1lao). Ý: Bản đồ% 2Quot; Và% 2cquot; Giảm (giảm)% 2Quot;Xstv 11/03/2022, Những ý tưởng chính của họ được mượn từ các ngôn ngữ lập trình chức năngXstv 11/03/2022, cũng như các tính năng mượn từ các ngôn ngữ vector. Rất dễ dàng cho lập trình điều hành chương trình riêng trên hệ thống phân phối mà không phân phát chương trình song. Sự ứng dụng phần mềm hiện thời là chỉ định một hàm bản đồ để vẽ một cặp giá trị chìa khóa thành một nhóm mới của các cặp giá trị chìa khóa, và chỉ ra một hàm giảm giá trị hiện thời để đảm bảo mỗi cặp giá trị chìa khóa đã được vẽ chia sẻ cùng một nhóm. Description Chế độ bó Name Thế hệ 2% 2mm đâu;% 2mm; Vòng phụ (tez) Comment Theo những bất lợi này, sự xuất hiện của hệ thống hỗ trợ DAG đã được thúc đẩy. Do đó, bộ khung hỗ trợ DAG được chia ra thành động cơ tính toán thứ hai. Ví dụ như là tez và nhầy nhụa ở cấp trên. Ở đây chúng ta sẽ không phân biệt được sự khác nhau giữa các dụng cụ DAG khác nhau, nhưng trong thời điểm đó, hầu hết chúng là các công việc xử lý hàng loạt. Description Giới thiệu Nói ra từ Sở thuật của Apache là cơ s ở hứng bẩn của Apache, nói chuyện này tới phần chấp thuật của Apache, nó được phân chia ra vào phần công việc DAG. Nó tới trực phẩm điểm với thẽ. Những hoạt động này có thể là một tổ chức lớn sau khi được tập hợp bởi một số chương trình điều khiển. Description Chế độ bó 1 tez='ÔNG (1) +ÔNG (2)... So với MR, độ hiệu quả đang được cải thiện. Dừng lại Truyền: 2mm; Đốm Tiếp theo là hệ thống máy tính thứ ba đại diện cho tia lửa. Các đặc điểm của máy tính sản xuất thứ ba chủ yếu là sự hỗ trợ DAG trong công việc (không phải trong mọi công việc) và nhấn mạnh vào tính toán thời gian thực. Ở đây, nhiều người cũng sẽ nghĩ rằng máy tính thứ ba cũng có thể vận hành các công việc sản xuất hàng loạt tốt. Description Giới thiệu The Spark là một bộ phận sản xuất song trí nhớ (2) được phát triển bởi Đại học California, Berkeley amp Lab (thuật toán, máy, và nhân viên Lab) Sử dụng biểu tượng. Nó là một ngôn ngữ hướng đối tượng và thiết lập chức năng, nó có thể dễ dàng vận hành các nhóm dữ liệu phân phối như các vật thể tập hợp cục bộ. Nó có các đặc điểm theo đây. Description Tốc độ chạy nhanh: có động cơ thực hiện DAG, hỗ trợ tính toán lặp lại dữ liệu trong bộ nhớ. Các dữ liệu chính thức cho thấy nếu dữ liệu được đọc từ đĩa, tốc độ này tăng hơn mười lần so với với độ của Hadoop MapGiảm. Nếu dữ liệu được đọc từ bộ nhớ, tốc độ có thể cao hơn trăm lần. Có khả năng sử dụng tốt: Spark không chỉ hỗ trợ Scala để viết ứng dụng, mà còn hỗ trợ Java, Python và các ngôn ngữ khác. Scala là một ngôn ngữ có hiệu quả và rộng có thể xử lý phức tạp bằng mật mã đơn giản. Mạnh tính đa năng: hệ sinh thái ánh sáng, BDAs (bộ phân tích dữ liệu Berkeley) chứa các thành phần như lõi năng nổ, hộp năng côn cầu, ánh sáng SQL, phát thanh, cuốn le và graphhx. Các thành phần này liên quan đến bộ bộ phận bộ phận dữ liệu bộ nhớ được cung cấp bởi lõi năng lượng, ứng dụng xử lý ánh sáng, dữ liệu thời gian thực của dòng ánh sáng, mã số hoá động cơ bật lửa SQL, máy học của lib hay TIFF và xử lý đồ thị của graphhx. Chạy bất cứ đâu: tia sáng có khả năng thích ứng mạnh. Nó có thể đọc và viết dữ liệu bản xứ với HDVF, Cassandra, HBO, S3 và kỹ thuật như là lớp cố định, và có thể lên lịch làm việc với mesos, sợi và chính nó như quản lý tài nguyên để hoàn thành tính ứng dụng tia sáng. Chế biến bó, xử lý luồng, hệ thống SQL cấp cao API Với DAG Tính toán và chức năng bộ nhớ lặp lại được cải tiến đáng kể so với lần trước Thế hệ 4% 2mm;% 2mm; Đá Trình sinh ra của động cơ tính toán thế hệ thứ ba đã thúc đẩy việc phát triển nhanh các ứng dụng cấp cao, như hiệu quả của các tính toán phiên bản khác nhau và hỗ trợ chạy thoát tính toán và mã SQL. Flink được sinh ra trong thế hệ thứ tư. Điều này nên được phản ánh chủ yếu trong việc hỗ trợ các phương trình hóa học Flink và các trình độ thời gian còn lại. Đương nhiên, Flick cũng có thể hỗ trợ các công việc hàng loạt và các hoạt động DAG. Description Giới thiệu Flink sinh ra trong khí quyển, một dự án nghiên cứu dữ liệu lớn ở Châu Âu. Dự án này là một dự án nghiên cứu của viện công nghệ Berlin. Trong những ngày đầu, Flink thực hiện các tính to án s ản xuất hàng loạt, nhưng ở 2004, những thành viên cốt lõi của bán cầu phương Khí độc lập ra Flink, đóng góp Flink cho Apache trong cùng năm, và sau đó trở thành dự án dữ liệu lớn của Apache. Cùng lúc đó, hướng chính của phương pháp xử lý máy tính Flink được bố phát, tức là sử dụng máy tính phát nhanh để làm mọi dữ liệu lớn, đó là nền tảng của công nghệ Flink. Description Dừng lại Một cỗ máy dữ liệu lớn tập trung vào mảng xử lý luồng, bắt đầu xuất hiện trong ngành dữ liệu nguồn mở. Khác với máy tính bão, phát tia lửa và những động cơ xử lý chạy thoát khác, nó không chỉ là một máy tính tốc độ cao và chậm, mà còn cung cấp nhiều chức năng tiên tiến. Ví dụ, nó cung cấp tính chuẩn chú ý, hỗ trợ quản lý bang, hỗ trợ ngữ pháp dữ liệu chắc chắn, và hỗ trợ ẩn chứa dựa trên thời gian các sự kiện để xử lý dữ liệu chậm trễ hoặc không có lệnh. Description Chế biến bó, xử lý luồng, hệ thống SQL cấp cao API Với DAG Hiệu suất cao và độ tin cậy của máy tính The article is reproducted from \ Dừng lại Nói ra thì, Description