??? ????? Big Data ? ??? ? ???? ?????????

Big Data ???????????? ????? ??????? ??????????, ??????? ?????????? ???????????? ???????? ????????? ??-?? ????????????? ???????, ???????? ??????? ? ????????????? ????????. ???????? ???????? ????????? ?????????? ????????? ?????? ?? ?????????????? ??????????.

???????????? ? ??????????? ??????????? ?????????? ????????? ???. ????????????? ?????????? ???????? ? ?????????????. ????? ?????????? ??????? ?? ????????????. ????? ????? ??????????? ?????????? ????????? ??? ?????????? ????????????. ??????????? ???? — ??????????? ?????? ??? ????????? ???????.

?????????? Big Data ????????? ???????????? ??????????? ???????????????? ???????????. ???????? ???? ????????????? ??????????????? ????????. ????????? ??????? ????????? ???????? ??????? ?????? ? ?????? ????????? ???????. ??????????? ?????????? ?????????? ?????? ??? ????????? ???????????.

???????? ??????? Big Data

????????? ??????? ?????? ????????? ?? ???? ??????????????? ?????????, ??????? ?????????? ????? V. ?????? ????? — Volume, ?? ???? ????? ??????????. ???????? ??????????? ????????? ? ????????? ???????? ?????????. ?????? ???????? — Velocity, ???? ????????? ? ???????????. ?????????? ????????? ?????????? ???????? ?????????? ?????? ???????. ?????? ??????????? — Variety, ???????????? ???????? ??????.

????????????????? ?????? ???????????? ? ???????? ? ??????????? ????????? ? ??????. ??????????????? ?????????? ?? ????? ??????? ????????????? ??????. ??????????, ???????????, ?????????? ????? ??????????? ? ???? ??????. ????????????????????? ?????????? ???????? ????????? ?????????. XML-????? ? JSON-????????? ?????? ????? ??????? ??? ?????????????? ????????.

??????????? ??????????? ?????????? ?????? ?????????? ?? ???????????? ???????? ?????????. ???????? ????????????? ???????????? ??????? ??? ???????????? ???????. ???????????????? ?????????? ????????? ?????????? ?????????????????? ??? ?????????? ?????????. ?????????????????? ???????????? ??????????? ?????????? ??? ?????? ?? ????? ?????????. ???????????? ??????? ????????? ?????????? ?? ????????? ????? ??? ???????? ???????????? ? ??????? ??????????.

?????? ???????? ??????????

??????????? ????????? ??????????? ?????? ?? ????????? ???????. ?????? ????????? ?????????? ?????????? ???? ?????? ??? ????????????? ?????????.

??????? ?????????? ??????? ?????? ????????:

• ?????????? ????????? ?????????? ????????? ?????????, ??????, ????? ? ?????????? ? ?????????? ?????????. ????????? ?????????? ?????, ??????? ? ?????????.
• ???????? ????? ?????????? ????? ???????, ??????? ? ???????. ??????? ??????? ????????? ?????????? ????????. ???????????????? ???????????? ???????? ???????? ? ??????????? ? ????????.
• ?????????????? ??????? ???????????? ???????? ???????? ? ??????. ?????????? ??????? ????????? ????????. ??????-???????? ?????? ??????? ??????? ? ???????????? ??????????? ?????? ??? ?????????????? ???????????.
• ???-??????? ????????? ?????? ?????????, ????? ? ???????? ?? ??????. ????????? ?????? ??????????? ??????? ????????.
• ????????? ??????? ???????? ?????????????? ?????????? ? ?????????? ?? ???????????? ????????????.

??????? ?????????? ? ?????????? ????????

?????????? ??????? ???????? ???????????? ??????? ???????????? ????????. API ???? ?????????? ?????????????? ???????? ?????? ?? ??????? ????????. ???-????????? ????????? ???????? ? ????????-???????. ????????? ?????????? ??????????? ???????????? ????????? ???????? ?? ???????? ? ?????? ?????????? ???????.

??????? ???????? ??????? ?????????? ??????????? ?? ????????? ???????. ??????????? ??????? ????????????? ?????????? ? ???????? ?? ????????????. NoSQL-????????? ?????????? ?????? ?????? ??? ??????????????? ????????. ???????????????????????? ??????? ?????? ?????? ? ????????? JSON ??? XML. ???????? ??????? ??????????????? ?? ???????? ?????????? ????? ?????????? ?????? ??? ??????? ?????????? ????????.

?????????????? ???????? ??????? ????????? ?????????? ?? ????????? ????????. Hadoop Distributed File System ????????????? ????? ?? ???????? ? ????????? ?? ??? ????????????. ???????? ????????? ????????????? ?????????? ?????????. Amazon S3, Google Cloud Storage ? Microsoft Azure ????????????? ?????? ?? ???????????? ??????? ????.

??????????? ??????????? ????????? ? ????? ?????????????? ????????. ????????? ????????? ?????????? ?????? ? ??????????? ?????? ??? ????????????? ?????????. ????????????? ????????? ??????? ????????????? ??????? ?? ????????? ?????.

??????????? ????????? Big Data

Apache Hadoop ?????????? ????? ?????????? ??? ?????????????????? ??????? ??????? ??????????. MapReduce ????? ?????? ?? ?????? ????????? ? ????????? ?????????? ??????????? ?? ?????? ????????. YARN ???????????? ????????????? ???????? ? ???????????? ???????? ????? ?????? ????????. Hadoop ??????????? ????????? ?????? ? ??????? ???????????????????.

Apache Spark ??????????? Hadoop ?? ???????? ??????????? ????????? ????????????? ??????????? ??????. ????????? ????????? ???????? ? ??? ??? ??????? ??????????? ??????. Spark ???????????? ???????? ???????????, ?????????? ??????, ???????? ???????? ? ???????? ??????????. ???????? ??????? ????????? ?? Python, Scala, Java ??? R ??? ?????????? ????????????????? ???????.

Apache Kafka ????????????? ?????????? ???????? ?????? ????? ????????????. ????????? ?????????????? ???????? ??????? ? ??????? ? ?????????? ?????????. Kafka ?????????? ?????? ??????? vulkan ??? ??????????? ??????? ? ?????????? ? ??????? ?????????? ????????? ??????????.

Apache Flink ???????????????? ?? ????????? ??????????? ?????????? ? ?????????? ???????. ??????? ??????????? ???????? ?? ???? ?? ?????? ??? ??????????. Elasticsearch ????????????? ? ????????? ?????????? ? ??????? ?????????????. ??????? ???? ?????????????? ?????????? ? ????????????????? ??????? ??? ???????, ??????????? ? ??????????.

????????? ? ???????? ????????

????????? ??????? ?????????? ??????? ???????? ?????????????? ?? ??????? ??????????. ???????????? ????????? ????????????? ???????????? ????????????. ??????????????? ?????? ????????????? ????? ?????????. ???????????????? ????????? ????????? ??????? ???????? ?? ???? ??????????? ??????????. ???????????????? ????????? ???????????? ????????? ????.

???????? ???????? ?????????????? ??????????? ???????????? ? ?????????. ??????? ?????? ?? ???????? ? ???????? ???????? ?????????. ?????????????? ???????? ??????????? ??????????? ?????????? ??? ?????????????. ?????? ?????????? ?????? ???????? ??? ???????? ????????.

??????????? ???????? ?????????? ????????? ???????? ? ????????????? ??????. ????????????? ????????? ??????? ?????? ??? ?????????? ????????. ???????? ? ????????????? ?????????????? ??????? ????? vulkan ??? ???????????? ???????.

???????? ???????? ???????? ????????? ???? ??? ????????????? ?????????. ?????????? ???? ??????? ??????????. ???????????? ???? ??????????? ?????????? ?????????????????? ? ??????????????? ????.

??? ??????????? Big Data

???????? ??????? ????????? ??????? ?????????? ??? ????????? ??????????? ???????????. ????????? ????????? ?????????? ??????? ? ????????? ??????????????????? ????????????. ????????? ????????? ??????????? ?? ??????? ? ?????????????? ????????? ??????. ????????? ??????????? ?????????? ??????????? ??? ????????? ?????????? ?????????.

?????????? ????? ???????? ????????? ??? ????????????? ?????????????? ????????. ????????? ??????????? ?????????????? ?????????? ???????? ? ????????? ???????????? ???????? ? ???????? ???????. ?????????? ???????? ??????????? ?????????????????? ????????? ?? ?????? ???? ????????. ?????????? ??????????? ?????? ??? ??????????? ???????? ???.

??????????????? ???????? ?????????? ??? ??????????? ??????????? ????????. ??????????? ?????????? ????????? ????? ???????? ? ???????? ????????? ??????? ????????. ???????? ??????? vulkan ???????????? ???-?????????????????? ??? ???????? ???????????? ???????. ??????? ??????? ????????? ??????? ???????? ? ????????????? ? ??????????? ??????????.

???????????? ??????? ?????????????? ????????????? ??????????? ? ??????? ???????? ????????. ??????????? ????????? ??????? ??????? ? ?????? ?????????. ????? ?????? ????????? ????????????? ????????????? ? ????????? ???????????. ????????????? ??????? ???????????? ?????? ?? ?????? ? ????????? ???????.

????????? ?????? ? ???????????

??????????? ??????? ?????? ???????????? ???????????? ????????? ??? ???????????. ??????? ?????? ???????? ?????????????? ?????????? ???????????, ????????? ????????? ? ???????????? ????????????????. ?????? ?????? ????????? ????????? ????? ? ?????? ? ?????????? ???????. ???????????????? ??????? ??????? ??? ????????? ?????? ??????????.

?????????? ???????? ???????? ?? ???????????????????? ???????. ?????? ?????????????? ?????????? ? ???????? ??? ??? ??????????? ??????. ??????????? ?????? ???????? ???????? ??? ?????????? ?? ???? ? ?????????? ?? ????????. ?????????????? ????????????? ?????????? ???????? ????????????? ????? ????????? ?????.

??????????????? ???????? ?????? ?????????? ??????????? ?????????????? ??????????. ??????????? ????????? GDPR ????????????? ???????????? ???????? ?? ?????????? ??????. ???????? ????????? ???????? ???????? ? ?????????? ?????????????? ??????. ????????????? ?????? ????????? ?? 4% ?? ????????? ???????.

???????????? ??????? ??????????????? ???????? ?? ????????????? ????????. ?????? ????????? ???????, ?????? ? ?????????????? ????????. ???????????????? ??????????? ?????? ?????????????? ??? ? ???????. ?????? ???? ???????????? ?????? ??? ???????????? ?????????? ????????? ???????. ?????????? ??????????? ????????? ????? ??????????? ?? ?????? ???????????????? ??????????.

??????? ?????????? ?????????? ??????

????????? ???????? ?????????????? ????????? ??????? ????????. ????????? ?????????? ??????????? ??????? ??????? ?? ??????? ?????? ???. ?????????? ??????? ???????????? ????????, ????????? ????? ? ??????????? ?????????? ????????????. ??????????? ??????????? ????????? ? ???????? ????????? ?????.

??????? ???????? ?????????? ????????? ?????????? ????? ? ?????? ????????????. ??????? ??????????? ?????? ????????? ??? ?????????? ? ??????. ?????? ???????????? ???????? ? ????????? ?????????? ???????. ?????????? ?????? ????????? ??????? ? ????????????? ????????? ??????????? ?? ?????.

????????????? ????????? ???????????? ???????????? ???????????? ????????????? ??????. ?????????????????? ???????? ???????? ???????? ????????? ?????? ??? ??????????? ??????????. ????????? ?????? ?????????? ????????????? ?????? ??? ?????????? ??????????. ????????? ?????????????? ?????????? ??????? ? ????????? ??????????? ? ???????.

???????????? ???????? ?????? ????????? ??????? ??????? ?? ?????????????? ????????? ??? ????????????????? ??????????. ??????? ??????? ?????? ??????????? ??????????, ??????????? ???????????. ???????? ??????????? ????????? ?????????? ? ?????????????????? ????????????. ?????????? ??????????? ????????????? ???????? ? ???????????? ?? ????????.