??? ????? Big Data ? ??? ? ???? ?????????

Big Data ???????? ????? ?????? ??????, ??????? ?????????? ???????????? ????????????? ???????? ??-?? ???????? ??????, ???????? ????????? ? ???????????? ????????. ???????? ?????????? ??????????? ?????????? ????????? ?????????? ?? ?????????????? ????????.

?????? ? ???????? ??????????? ???????????? ????????? ??????. ??????? ?????????? ???????? ? ???????????????. ????? ?????????? ??????? ?? ?????????. ????? ????? ??????????? ???????? ????????? ??? ????????? ???????????????. ???????? ??? — ????????????? ?????? ??? ????????? ???????.

?????????? Big Data ????????? ?????? ???????? ???????????? ???????????. ????????? ???????? ??????? ??????????????? ??????????. ????????? ??????? ????????? ?????????? 1win ? ?????? ??????????? ???????. ??????????? ????????? ?????????? ???????????? ??? ??????????? ????????.

???????? ??????? Big Data

???? ??????? ?????? ???????????? ?? ???? ??????? ???????????????, ??????? ??????? ????? V. ?????? ???????? — Volume, ?? ???? ????? ????????. ????? ??????????? ????????? ? ????????? ???????? ???????????. ?????? ???????? — Velocity, ???????? ???????? ? ???????????. ?????????? ???? ????????? ???????? ?????? ?????? ???????. ?????? ?????????????? — Variety, ????????????? ???????? ??????????.

????????????????? ???????? ??????????? ? ???????? ? ??????? ????????? ? ??????. ??????????????????? ?????? ?? ???????? ??????? ???????? ??????. ??????????, ???????????, ?????????? ????? ????????? ? ???? ?????????. ????????????????????? ???????? ????? ?????????? ?????????. XML-????? ? JSON-????????? 1win ???????? ???????? ??? ?????????????? ????????.

?????????????? ??????? ?????????? ????????? ???????? ?? ???? ????? ?????????. ???????? ????????????? ????????? ??????? ??? ?????????? ?????????. ???????????????? ???????? ????????? ?????????? ?????????????????? ??? ????? ????????. ?????????????????? ??????????? ??????????? ???????? ??? ?????? ?? ????? ???????????. ??????????? ??????? ??????? ???????? ?? ????????????? ??????? ??? ?????????? ???????????? ? ??????????? ?????????.

??????? ???????????? ??????

???????? ????????? ??????????? ?????? ?? ?????? ??????????. ?????? ???????? ?????????? ????????????? ???? ???????? ??? ???????????? ?????????.

???????? ??????? ??????? ?????????? ??????????:

• ?????????? ???? ????????? ????????? ??????, ????????, ?????? ? ?????????? ? ?????????? ????????. ??????? ????????? ?????, ??????? ? ?????????.
• ???????? ????? ??????????? ????? ??????????, ??????? ? ?????????. ??????? ?????????? ??????????? ???????? ????????????. ??????????? ??????? ???????? ???????? ? ??????????? ? ??????????????????.
• ?????????????? ??????? ?????????? ???????? ???????? ? ??????. ?????????? ????????? ????????? ??????????. ??????????? ????????? ?????? ??????? ? ???????? ??????????? 1??? ??? ????????? ???????????.
• ???-??????? ???????? ??????? ??????????, ????? ? ????????? ?? ????????. ????????? ????????? ???????????? ??????? ???????????.
• ????????? ????????? ???????? ?????????????? ???????? ? ???????? ?? ?????????? ????????????.

??????? ????? ? ?????????? ????????

?????????? ???????? ?????????? ???????????? ?????????????? ???????????? ????????. API ???? ???????? ?????????????? ????????? ?????????? ?? ????????? ????????. ???-????????? ????????? ?????? ? ????????-???????. ??????????? ?????????? ???????????? ???????????? ??????????? ???????? ?? ??????????? ? ?????? ??????????? ???????.

????????? ?????????? ???????????? ?????? ??????????? ?? ????????? ?????. ??????????? ???? ?????????? ?????? ? ???????? ?? ???????. NoSQL-????????? ????????? ?????????? ????? ??? ??????????????????? ??????????. ???????????????????????? ???? ?????? ?????? ? ???? JSON ??? XML. ???????? ??????? ???????????? ?? ?????????? ???????????? ????? ?????????? 1??? ??? ???????????? ?????????? ?????.

?????????????? ???????? ????????? ????????? ???????? ?? ????????? ?????. Hadoop Distributed File System ????????????? ????? ?? ????? ? ????????? ?? ??? ????????????. ???????? ??????? ????????????? ??????????? ?????. Amazon S3, Google Cloud Storage ? Microsoft Azure ????????????? ??????????? ?? ?????? ????? ????.

??????????? ???????? ????????? ? ????????? ???????????? ????????. ????????? ????????? ?????????? ???????? ? ??????????? ?????? ??? ????????????? ???????. ????????????? ?????????? ??????? ????????????? ?????? ?? ????????? ?????.

???????? ????????? Big Data

Apache Hadoop ?????????? ????? ??????? ??? ?????????????????? ??????????? ??????? ????????. MapReduce ????????? ???????? ?? ????? ???????? ? ?????????? ?????????? ????????? ?? ???????????? ?????. YARN ???????????? ????????????? ???????? ? ????????? ???????? ????? 1??? ??????. Hadoop ??????????? ????????? ?????? ? ?????????? ???????????????????.

Apache Spark ????????? Hadoop ?? ?????????????????? ????????? ????????? ?????????????? ??????????? ??????. ?????????? ????????? ???????? ? ??? ??? ??????? ????????? ????????. Spark ???????????? ???????? ??????, ?????????? ?????????, ???????? ???????? ? ??????? ??????????. ???????????? ????? ??????? ?? Python, Scala, Java ??? R ??? ?????????? ????????????????? ??????????.

Apache Kafka ????????????? ????????? ???????? ?????? ????? ???????????. ??????? ?????????????? ???????? ????????? ? ??????? ? ??????????? ?????????. Kafka ????????? ????? ??????? 1 win ??? ???????? ??????? ? ?????????? ? ????? ????????? ????????? ??????.

Apache Flink ???????????? ?? ????????? ????????? ?????????? ? ?????????? ???????. ??????? ????????? ??????? ?? ???? ?? ??????????? ??? ?????????. Elasticsearch ?????????????? ? ???????????? ?????? ? ???????? ????????. ?????????? ???????????? ?????????????? ?????? ? ????????????? ??????? ??? ?????, ?????????? ? ??????????.

???????????? ? ???????? ????????

???????????? ??????? ?????????? ???????? ?????? ????????? ?? ????????????? ????????. ???????????? ???????? ???????????? ???????????? ?????. ????????????????? ???????? ???????? ??????? ??????????. ??????????????? ?????? ????????????? ??????? ?????? ?? ???? ???????? ??????????. ?????????????? ????????? ?????????? ??????????? ????????.

???????? ???????? ???????? ????????? ??????????????? ? ??????. ????????? ?????? ?? ???????? ? ??????????? ????????????? ????????????. ?????????????? ???????? ?????????? ?????????????? ?????? ??? ??????????. ?????? ?????????? ????????? ????????? ??? ???????? ??????????.

????????????? ???????? ???????? ??????? ????????? ? ????????????? ??????. ????????????? ????????? ?????? ?????? ??? ??????????? ????????. ???????? ? ????????????? ???????? ??????? ??????? 1 win ??? ?????????? ????????.

???????????? ???????? ??????????? ????????? ???? ??? ????????? ????????. ?????????? ???? ??????? ??????. ???????????? ???? ?????????????? ?????????? ??????? ? ????????? ????.

??? ?????????? Big Data

????????? ??????? ?????????? ?????????? ???????? ??? ????????? ???????????????? ??????????????. ???????? ??????????? ?????????? ???????????? ? ????????? ???????????? ????????????. ????????? ????????? ????? ?? ????????? ? ???????? ??????????? ??????. ???????? ????????? ??????????? ??????????? ??? ????????????????? ???????????? ?????????.

?????????? ??????? ??????????? ?????? ??? ??????????? ????????? ??????????. ?????????? ????????? ???????? ????????? ????????????? ? ????????? ???????????? ??????????? ? ???????? ???????. ????????? ???????? ????????? ?????????? ????????? ?? ?????? ???? ????????. ????????? ????????? ????????? ??? ??????????????? ????????? ?????????.

???????? ?????????? ?????????? ??? ??????????? ????????????? ???????????. ???????? ?????????? ??????????? ?????????? ???????????? ? ?????????? ????????? ???????? ?????????. ???????????? ????????? 1 win ???????????? ???-?????????????????? ??? ???????? ??????????????????? ???????. ??????? ??????? ????????? ????????? ???????? ? ????????????? ? ??????????? ??????????.

????????????? ????????? ???????? ??????????? ???????? ? ??????? ????????? ??????????. ??????????? ??????? ???????? ??????? ? ???? ???????????????. ???????????????? ?????????? ???????????? ?????????????? ????????????? ? ???????????? ???????????. ????????????? ??????? ????????? ????? ?? ?????????? ? ????????? ????????.

?????? ?????? ? ???????????

??????????? ??????? ?????????? ???????????? ???????????? ????? ??? ???????????. ?????? ???????? ???????? ?????? ?????????? ???????????, ?????????? ?????? ? ?????? ????????????????. ?????? ?????? ????????? ?????????? ???? ? ????? ? ???????????? ???????. ?????????????? ???????? ???? ??? ??????? ?????? ????????.

???????????? ???????? ?????? ?? ???????????????????? ?????????. ????????? ???????????? ???????? ? ???????? ?????? ??? ??????????? ????. ??????????? 1win ???????? ?????????? ??? ???????? ?? ???? ? ?????????? ?? ?????. ?????????????? ?????????????? ????????????? ???????? ??????????? ????? ??????? ???????.

??????????? ???????? ?????? ??????? ????????? ?????? ??????. ??????????? ???????? GDPR ???????????? ????????? ???????? ?? ????????? ??????. ??????????? ??????? ????????? ????????????? ? ??????? ????????????? ??????. ???????? ?????? ???? ?? 4% ?? ?????????? ???????.

???????????? ??????? ?????????? ???????? ?? ???????? ????????. ??????? ????????? ?????, ?????????????? ? ???????????? ?????????. ???????????????? ?????????????????? ????????? ?????????????? ????????? ? ??????. ??????? ????????? ??????????? ???????? ??? ????????????? ?????????? ????????? ??????. ???????? ????? ????????? ????? ?????????? ?? ???????? ???????????????? ????????.

??????? ?????????? ?????????? ??????????

????????? ?????????? ???????? ?????? ???????? ??????. ????????? ?????? ????????? ??????? ??????? ?? ??????? ?????? ???. ???????? ??????? ???????????? ????????, ????????? ????????? ? ????????? ?????????? ????. ??????????? ?????????? ????????? ? ?????????? ????????? ?????.

????????? ??????? ?????????? ????????? ?????????? ????? ? ?????? ????????. ??????? ??????????? ?????????? ???????? ??? ???????? ? ??????. ?????? ????????? ????? ? ????????? ?????????? ???????. ?????????? ?????????? ????????? ????????????? ? ????????????? ????????? ??????????? ?? ?????.

????????????? ????????? ?????????? ???????????? ???????????? ?????????????? ????????. ?????????????????? ???????? ???????? ????????? ??????????? ?????? ??? ??????? ??????????????. ????????? ??????????? ?????????? ????????????? ?????????? ??? ?????????? ??????????. ????????? ???????? ???????????? ????????????? ? ????????? ??????? ? ???????.

?????????????????? ???????? 1win ???? ???????? ??????? ?? ??????????? ?????? ??? ????????????? ??????????. ??????? ??????? ?????? ??????????? ??????, ???????? ???????????. ???????? ???????????? ????????? ?????? ? ?????????????? ??????????. ???????? ???????????? ?????????? ???????? ? ?????? ?? ?????????.